[ TIL ] 최종 프로젝트_Day26

오늘 진행한 내용들 🧐 

한글 형태소 분석을 활용한 조회 개선 + 자동 완성 API 분리하기

Nori 분석기 & Nori Tokenizer
개념

개념	Nori 분석기	Nori Tokenizer
설명	Elasticsearch에서 제공하는 한글 전용 형태소 분석기	한글을 형태소 단위로 분리하는 Tokenizer
요약	한글을 분석하는 완성된 분석기 (Analyzer)	형태소 단위로 단어를 나누는 Tokenizer
설정 방식	analyzer: "nori"	tokenizer: "nori_tokenizer"

Nori 분석기

한글 텍스트를 형태소 단위로 분리한다.

• "백엔드 개발자" → ["백엔드", "개발", "자"]

어미, 조사를 제거할 수 있다.

• "개발자가" → ["개발", "자"]

사용자 사전 추가가 가능하다.

• ex) "AI개발자" → "AI", "개발자"가 아닌 "AI개발자"로 유지 가능하다.

Nori Toeknizer

형태소 단위로 단어를 나눈다.

• "자바 백엔드 개발자" → ["자바", "백엔드", "개발", "자"]

복합어 처리가 가능하다.

• mixed, discard, none 모드를 지원한다.

---

기존 검색 방식의 한계

👉🏻 채용 공고 제목: 부분 검색(Ngram) + 자동 완성(Edge_Ngram) 기능을 적용했다.
하지만….. 부분 검색 + 자동 완성 검색은 사용자가 원하는 정확한 데이터를 제공해주지 않았다…

"카드"로 검색한 결과

• 부분 검색(Ngram) 적용 → 카드를 포함하는 검색이 가능하다.
• 자동 완성(Edge-Ngram) 적용 → 카를 입력하면 카드, 카카오 등이 자동 완성된다.

제목에 카드가 들어간 채용 공고를 원했지만 자동 완성 검색 기능과 합쳐져서 카 로 시작하는 채용 공고도 함께 찾아오게 되는 일이 발생했다.

---

기존 조회 방식 개선

👉🏻 채용 공고 제목: 한글 형태소 검색(Nori) + 자동 완성(Edge-Ngram) 기능
👉🏻 채용 공고 회사명: 한글 형태소 검색(Nori) + 자동 완성(Edge-Ngram) 기능
👉🏻 채용 공고 자격 요건: 자동 완성(Edge-Ngram) 기능
이제 회사명과 제목 필드에 nori_analyzer를 적용해서 의미 기반의 검색이 가능해졌다.

그래서 채용 공고의 제목도 한글, 회사명도 한글로 이루어져 있어서 한글 형태소로 분석해서 검색한다면 좀 더 정확한 데이터 조회가 가능하지 않을까 생각했다.
또한 조회 결과에 방해되는 자동 완성 기능은 다른 API로 분리하기로 했다.

한글 형태소 검색 쿼리

위의 쿼리를 추가하고 한글 형태소로 검색어를 입력 시 정확하게 원하는 데이터만 찾을 수 있는 것을 확인할 수 있었다.

"카드"로 검색한 결과

카드가 포함된 채용 공고만 조회할 수 있다!!!

 

주말 계획 ⏰

• 모의 면접 대체 영상 촬영하기 (일요일 21시까지)
• 트러블 슈팅 정리하기
• 키워드 인덱스 적용해보기

+ Elasticsearch 기술 블로그 작성해보기
+ 추가 계획이 더 생길 수도 있습니다 ~_~