[ 트러블 슈팅 ] Elasticsearch 인덱스 삽입 및 조회 실패 문제 해결기 (인덱스, 매핑, ID 중복)

Elasticsearch 데이터 삽입 및 조회 문제 해결 과정

 

Elasticsearch에 CSV 데이터를 삽입하고 조회하는 과정에서 데이터가 조회되지 않아 원인을 분석하고 해결했던 과정을 정리해 봤다.

발생한 문제와 원인 분석

1.  인덱스 네이밍 불일치 문제

문제 상황

• Elasticsearch에서 인덱스를 생성할 때는 "job-opening"으로 설정했지만, 데이터를 조회할 때는 "job_opening"으로 조회하는 실수를 범했다.
• Kibana에서 조회 시 데이터가 나타나지 않았다.

해결 방법

 

• 인덱스명을 상수(static final)로 정의하여, 생성과 조회 시 일관성을 유지했다.

public static final String INDEX_NAME = "job-opening";

 

---

2. 동적 매핑(@Postconstruct 실행 순서) 문제

문제 상황

• CSV 데이터 삽입 로직을 @PostConstruct로 구현했기 때문에 애플리케이션 실행 초기 단계에 인덱스가 미리 생성되어 버렸다.
• 그 결과, 원래 Integer 타입이어야 할 필드가 Elasticsearch에서 자동으로 동적 매핑되어 keyword 타입으로 저장되었다.

해결 방법

• CSV 데이터 삽입 로직을 애플리케이션 이벤트 리스너(ApplicationListener) 등을 활용하여 실행 순서를 명확히 정의하여 인덱스가 미리 생성되지 않도록 한다.
• CSV 데이터를 수동으로 넣는 별도의 API를 만들어 관리한다.

---

3. Insert 대신 Update 쿼리 실행 문제

문제 상황

• 데이터 삽입 시 Elasticsearch에서 문서의 _id가 중복되어 기존 데이터를 덮어쓰는(Update) 현상이 발생했다.

원인 분석

• CSV 데이터를 Elasticsearch에 삽입할 때 _id 필드를 고정된 값으로 설정하여 문서가 계속 덮어쓰기 되었다.

---

정리

• 인덱스 이름은 반드시 상수를 활용해 일관되게 관리하기
• 인덱스의 데이터 타입은 사전에 정확히 매핑하기 (@PostConstruct 대신 이벤트 리스너나 수동 API 활용)
• Elasticsearch 문서 _id 필드는 중복되지 않게 관리하기