[ TIL ] 최종 프로젝트_Day 23

오늘 진행한 내용들 🧐 

Elasticsearch 부분 검색 + 자동 완성 공부하기 & 구현하기

Nori 분석기는 한글을 형태소 단위로 분석한다.
n-gram 분석기를 통해 텍스트를 일정한 길이의 부분 문자열로 나누어 인덱싱할 수 있다.

• min_gram - 최소
• max_gram - 최대

→ 그렇다면 우리 프로젝트에서도 tokenizer를 활용해서 부분 검색 + 자동 완성 기능을 써볼 수 있지 않을까?

 

고민 사항

Q. Nori-분석기는 한글 형태소로 분석하기 때문에 만약 형태소가 아닌 단어를 입력하게 되면 원하는 결괏값을 얻지 못하는 걸까?

A.

Nori 분석기는 형태소를 기준으로 분리하기 때문에, 형태소가 아닌 단어는 원하는 결과가 나오지 않을 수 있다!

사용자 사전 등록이나 ngram 분석기를 활용하여 해결 가능하다.

Q. 그렇다면 Ngram 분석기가 부분 검색 또는 오타 검색에 더 유리하지 않을까..?

A.

Ngram은 분석기는 부분 검색과 유사 검색에 강점이 있다!

Ngram 분석기는 부분 문자열 단위로 색인하기 때문에, 검색어의 일부만 입력해도 결과를 찾을 수 있다.

글자 단위로 색인하기 때문에 오타가 포함된 경우에도 유사한 단어를 검색할 수 있다.

그래서 색인은 Ngram으로 하고, 검색은 Standard를 이용한다. → 검색 시에도 Ngram을 이용하면 검색어가 분리되어 검색될 수 있으므로 불필요한 결과가 포함될 수 있다.

분석기	Nori 분석기 (형태소 분석)	Ngram 분석기 (부분 검색, 유사 검색)
특징	한글 문장을 형태소 단위로 분리	입력된 문자열을 일정 길이(예: 2~5글자)로 잘라서 저장
장점	한국어 문장에서 의미 있는 단어(형태소)는 제대로 검색되지 않을 수 있다.	너무 짧게 설정하면 불필요한 검색 결과가 많아질 수 있다.

Q. 왜 ngram-분석기를 사용했을 때 부분 문자열이 일치하면 알려줄까, 오타로 입력했는데 되는 이유를 알아야 한다!

A.

Ngram 분석기는 단어를 작은 조각으로 쪼개서 색인하기 때문에 부분 일치가 가능하다!

작은 조각들이 겹치기 때문에 일부 오타가 있어도 비슷한 단어를 검색할 수 있다.

Ngram 분석기의 동작 원리는 슬라이딩 윈도우 기법을 사용하여 입력된 문자열을 일정한 길이로 잘라서 색인한다. 그래서 검색어의 일부만 입력해도 검색이 가능하다.

오타가 있어도 검색이 되는 이유는 일부 문자가 틀려도 유사한 조각들이 겹쳐 있기 때문에 검색이 가능하다!

일부가 일치하면 검색이 가능한 것이다!

이러한 이유로 Ngram 분석기는 단어를 조각내어 저장하기 때문에 일부만 일치해도 검색이 가능하고, 오타 검색에도 강하다!

Q. 그렇다면 json 파일과 @Setting 어노테이션으로 Ngram 분석기 적용이 완료되는 것인가? 따로 더 추가해야 하는 코드나 파일은 없는 건가? Ngram 적용 후 기존 API를 통해 검색을 실행하면 부분 검색, 오타 검색도 가능할까?

A.

추가적인 설정이 필요할 수도 있다!

오타 검색을 완벽하게 지원하려면 추가적인 튜닝이 필요하다.

 

최종적으로 Elasticsearch 인덱싱을 kibana에서 직접 진행했고 데이터 삽입 후 부분 검색 + 자동 완성을 확인할 수 있었다.
하지만 문제점은 자동 완성으로 인해 연관된 데이터들이 모두 찾아지는 문제가 있어서 추후 개선이 필요할 것 같다.

 

내일 계획 ⏰

• Elasticsearch 자동 완성 + 부분 검색 기능 개선하기

+ 추가 계획이 생길 수도 있습니다~_~