[기능 개선] 자동 완성 + 부분 검색, 같이 쓰면 안 되는 이유 (feat. Nori 적용)

🔍 한글 형태소 분석기로 검색 정확도 개선하기: Nori + 자동완성 분리 전략

 

💭 문제 인식

기존에는 채용 공고 검색에 부분 검색(N-gram)과 자동 완성(Edge N-gram) 기능을 함께 적용하고 있었다.
기본적인 검색은 가능했지만, 사용자가 기대하는 정확한 검색 결과를 반환하지 못하는 경우가 종종 발생했다.

📌 예시

사용자가 "카드"라는 단어를 포함한 채용 공고를 찾고 싶을 때, 자동 완성 기능이 함께 동작하면서
카로 시작하는 전혀 다른 채용 공고들까지 함께 검색되는 문제가 발생했다.

결과적으로 원하는 결과보다 너무 많은 데이터가 함께 노출되면서 사용자는 정확한 검색이 어렵다는 인상을 받게 되었다.

 

🧱 기존 인덱스 구조의 한계

기존 인덱스 설정에서는 title, requiredSkills 등의 필드에 다음 두 분석기를 함께 적용하고 있었다.

✅ ngram_analyzer → 부분 검색용
✅ autocomplete_analyzer → 자동 완성용

"title": {
  "type": "text",
  "fields": {
    "ngram": { "type": "text", "analyzer": "ngram_analyzer" },
    "autocomplete": { "type": "text", "analyzer": "autocomplete_analyzer" }
  }
}

📌 이 구조는 단어의 일부분만 입력해도 검색이 가능하다는 장점이 있었지만, 문제는 두 기능이 같은 검색 API에서 동시에 작동하면서 검색 결과의 정밀도가 크게 떨어지는 현상이 발생했다는 점이다.

사용자가 정확하게 특정 키워드를 검색하더라도 자동 완성용 토큰이 함께 조회되며 원하지 않는 데이터가 과도하게 포함되는 문제로 이어졌다.

 

🧠 해결 방향: Nori 형태소 분석기 + 기능 분리

한국어는 영어와 달리 조사, 어미, 복합어 등 구성 방식이 복잡하기 때문에
단순한 N-gram 분석기만으로는 정확한 의미 단위 분석에 한계가 있다.

그래서, 다음과 같은 개선 방향을 설정했다.

✅ Nori 형태소 분석기를 도입
      👉 한국어를 형태소 단위로 분석하여 보다 의미 중심의 검색이 가능하도록 개선
      👉 "개발자가" → [개발, 자]
      👉 조사/어미 제거 + 사용자 사전 등록도 가능
✅ 자동 완성 기능은 별도의 API로 분리
      👉 검색 정밀도에 영향을 주지 않도록 기능적 책임을 분리
      👉 정확한 키워드 검색과 혼동되지 않게 설계

  

🧪 Nori 분석기 적용

Elasticsearch에서는 한국어 형태소 분석을 위해 Nori 분석기와 Nori Tokenizer를 제공한다.

항목	Nori 분석기	Nori Tokenizer
역할	한글 텍스트를 형태소로 분리하는 완성형 Analyzer	형태소 단위로 Tokenizing만 수행
예시	백엔드 개발자 → [백엔드, 개발, 자]	자바 개발자 → [자바, 개발, 자]

📌 조사 및 어미 제거, 사용자 사전 설정, 복합어 처리 등 다양한 한글 처리 기능 제공

 

⚙️ 변경된 인덱스 구조

"title": {
  "type": "text",
  "fields": {
    "morph": {
      "type": "text",
      "analyzer": "nori_analyzer"
    },
    "autocomplete": {
      "type": "text",
      "analyzer": "autocomplete_analyzer"
    }
  }
}

🔍 필드 설명

✅ morph
      👉 정확한 검색을 위한 Nori 형태소 기반 분석 적용
      👉 사용자가 입력한 키워드를 의미 단위로 해석하여 정밀한 검색 가능
✅ autocomplete
      👉 자동 완성을 위한 Edge-Ngram 분석기 적용
      👉 입력값의 앞부분을 기준으로 자동 완성 검색 제공

📌 이 설정으로 한글 텍스트도 의미 단위로 정확하게 검색할 수 있고, 자동 완성 기능은 별도 API로 분리되어 검색 결과에 영향을 주지 않도록 분리 설계되었다.

 

🔄 자동완성 기능 분리 및 개선

자동완성 기능은 Edge N-gram 필터를 활용하여 입력한 단어의 앞부분만으로도 검색이 가능하게 구현했다.

"filter": {
  "edge_ngram_filter": {
    "type": "edge_ngram",
    "min_gram": 1,
    "max_gram": 25
  }
}

📌 예시

"프론트엔드 개발자" → ["프", "프론", "프론트", "프론트엔", "프론트엔드"] 로 분해
✅ 사용자가 "프론"만 입력해도 "프론트엔드 개발자"가 포함된 채용 공고가 자동으로 추천된다!

✂️ 기능 분리로 정확도 확보

이전에는 자동 완성 필드가 일반 검색과 함께 동작하면서 원하지 않는 결과가 함께 조회되는 문제가 있었다.
이번 개선에서는 자동 완성 기능을 별도의 API로 분리하여 정확한 키워드 검색 결과와 혼합되지 않도록 처리했다.

 

 

✅ 결과 및 확인

📌 개선 적용 후, 기능은 각각의 목적에 맞게 명확하게 분리되어 동작했다.

🔎 일반 검색 (Nori 분석기 적용)
      👉 "카드" 키워드로 검색 시 정확히 "카드"를 포함하는 채용 공고만 조회

✨ 자동완성 (Edge-Ngram)
       👉 "카"만 입력해도 "카드", "카카오" 등 관련 결과를 제공

이제는 검색과 자동 완성이 서로 방해하지 않고, 각자의 역할에 충실하게 동작한다!

 

 

✍ 회고

이번 작업을 통해 한글 검색 환경에서도 정확도와 사용자 경험을 모두 고려한 검색 구조를 설계하고 구현할 수 있었다.

💡 핵심 정리

✅ 형태소 분석(Nori) + 자동완성(Edge-Ngram)
✅ 검색 목적별 필드 분리 + 기능 API 분리

 

이번 경험을 통해 Elasticsearch의 유연한 인덱스 설계와 확장성 높은 검색 기능을 직접 다뤄보면서 실전 감각도 키울 수 있었다.
앞으로는 다양한 텍스트 기반 기능에서 언어 특성과 검색 목적에 맞는 구조 설계가 얼마나 중요한지 더 깊이 고민하게 될 것 같다.