[트러블슈팅] N-gram과 Edge-Ngram을 함께 썼더니? 검색 정확도 문제와 해결 과정

💥 예상치 못한 검색 결과? N-gram + Edge-Ngram이 만든 문제

 

🔍 발생한 문제

처음에는 검색 기능을 강화하기 위해 부분 검색(N-gram)과 자동 완성(Edge-Ngram) 두 기능을 동시에 Elasticsearch에 적용했다.
검색어가 중간에 포함된 단어도 찾고, 동시에 입력한 글자의 앞부분으로 자동 완성까지 되도록 한 것이었다.

하지만... 실제 검색에서 예상하지 못한 결과가 등장하기 시작했다.

📌 예시 1) 검색어: 미노

미노가 포함된 정확한 단어를 찾고 싶었지만,
N-gram과 Edge-Ngram이 함께 적용된 필드가 조회 결과를 만들어냈다.
결과적으로 관련 없는 키워드까지 포함된 결과가 노출되었다.

📌 예시 2) 검색어: 카드

카드를 검색했을 때, 카드와 무관한 카로 시작하는 단어까지 포함된 검색 결과가 함께 조회되었다.
Edge-Ngram이 단어의 앞부분을 기준으로 자동완성을 생성하면서, 입력한 단어의 일부만 일치해도 결과에 포함되는 현상이 발생했기 때문이다.

 

📌결과적으로, 두 분석기를 함께 사용하는 구조에서는 검색어의 앞부분만 일치하거나 불필요한 토큰이 생성된 경우에도 의도하지 않은 결과가 과도하게 노출될 가능성이 높아졌다.

 

 

❗ 원인 분석

N-gram은 문자열을 n글자 단위로 잘라서 부분 검색을 지원하는 분석기다.
예시: "카드" → ["카드", "카", "드"]

Edge-Ngram은 입력의 앞부분부터 일정 길이만큼 분할해 자동 완성 후보를 만드는 데 사용된다.
→ "카드" → ["카", "카드"]

이 두 분석기를 하나의 필드에 동시에 적용하게 되면 Elasticsearch는 다음과 같이 동작한다.
✅ 검색어가 포함되었는지 여부와는 관계없이 앞글자만 일치하거나 형태적으로 비슷한 토큰이 생성되면 해당 문서도 검색 결과에 포함된다.
결국, 검색어 "카드"를 입력했을 때 카페, 카카오, 카드사처럼 의도하지 않은 결과까지 모두 노출되는 현상이 발생하게 된 것이다.

 

 

🤔 고민한 해결 방향

✅ 부분 검색과 자동 완성 기능 분리 적용
     👉 하나의 필드에서 N-gram과 Edge N-gram을 함께 적용하지 않고, 검색 목적에 따라 필드와 API를 분리하기로 했다.
     👉 부분 검색은 정확한 키워드 매칭에 집중
     👉 자동 완성은 사용자 입력 초반에만 반응하도록 분리 처리
     👉 두 기능이 서로의 검색 정확도를 방해하지 않도록 설계

✅ Nori 분석기를 활용한 한글 형태소 기반 검색 도입
     👉 한국어의 의미 단위(형태소)를 기준으로 텍스트를 분석하고, 불필요한 토큰 생성을 줄여 정확도를 높인다.
     👉 "백엔드 개발자" → [백엔드, 개발, 자] 형태소로 분리
     👉 "개발자가" → 조사/어미를 제거하여 [개발, 자]로 정제
     👉 사용자 사전 등록도 가능해 직무 용어 최적화에 유리

이러한 방향 설정을 기반으로 인덱스 구조를 다시 설계하고, 검색 API를 목적별로 분리하게 되었다.