n-gram2 [๊ธฐ๋ฅ ๊ฐ์ ] ์๋ ์์ฑ + ๋ถ๋ถ ๊ฒ์, ๊ฐ์ด ์ฐ๋ฉด ์ ๋๋ ์ด์ (feat. Nori ์ ์ฉ) ๐ ํ๊ธ ํํ์ ๋ถ์๊ธฐ๋ก ๊ฒ์ ์ ํ๋ ๊ฐ์ ํ๊ธฐ: Nori + ์๋์์ฑ ๋ถ๋ฆฌ ์ ๋ต ๐ญ ๋ฌธ์ ์ธ์ ๊ธฐ์กด์๋ ์ฑ์ฉ ๊ณต๊ณ ๊ฒ์์ ๋ถ๋ถ ๊ฒ์(N-gram)๊ณผ ์๋ ์์ฑ(Edge N-gram) ๊ธฐ๋ฅ์ ํจ๊ป ์ ์ฉํ๊ณ ์์๋ค.๊ธฐ๋ณธ์ ์ธ ๊ฒ์์ ๊ฐ๋ฅํ์ง๋ง, ์ฌ์ฉ์๊ฐ ๊ธฐ๋ํ๋ ์ ํํ ๊ฒ์ ๊ฒฐ๊ณผ๋ฅผ ๋ฐํํ์ง ๋ชปํ๋ ๊ฒฝ์ฐ๊ฐ ์ข ์ข ๋ฐ์ํ๋ค. ๐ ์์์ฌ์ฉ์๊ฐ "์นด๋"๋ผ๋ ๋จ์ด๋ฅผ ํฌํจํ ์ฑ์ฉ ๊ณต๊ณ ๋ฅผ ์ฐพ๊ณ ์ถ์ ๋, ์๋ ์์ฑ ๊ธฐ๋ฅ์ด ํจ๊ป ๋์ํ๋ฉด์์นด๋ก ์์ํ๋ ์ ํ ๋ค๋ฅธ ์ฑ์ฉ ๊ณต๊ณ ๋ค๊น์ง ํจ๊ป ๊ฒ์๋๋ ๋ฌธ์ ๊ฐ ๋ฐ์ํ๋ค.๊ฒฐ๊ณผ์ ์ผ๋ก ์ํ๋ ๊ฒฐ๊ณผ๋ณด๋ค ๋๋ฌด ๋ง์ ๋ฐ์ดํฐ๊ฐ ํจ๊ป ๋ ธ์ถ๋๋ฉด์ ์ฌ์ฉ์๋ ์ ํํ ๊ฒ์์ด ์ด๋ ต๋ค๋ ์ธ์์ ๋ฐ๊ฒ ๋์๋ค. ๐งฑ ๊ธฐ์กด ์ธ๋ฑ์ค ๊ตฌ์กฐ์ ํ๊ณ ๊ธฐ์กด ์ธ๋ฑ์ค ์ค์ ์์๋ title, requiredSkills.. 2025. 4. 3. [ํธ๋ฌ๋ธ์ํ ] N-gram๊ณผ Edge-Ngram์ ํจ๊ป ์ผ๋๋? ๊ฒ์ ์ ํ๋ ๋ฌธ์ ์ ํด๊ฒฐ ๊ณผ์ ๐ฅ ์์์น ๋ชปํ ๊ฒ์ ๊ฒฐ๊ณผ? N-gram + Edge-Ngram์ด ๋ง๋ ๋ฌธ์ ๐ ๋ฐ์ํ ๋ฌธ์ ์ฒ์์๋ ๊ฒ์ ๊ธฐ๋ฅ์ ๊ฐํํ๊ธฐ ์ํด ๋ถ๋ถ ๊ฒ์(N-gram)๊ณผ ์๋ ์์ฑ(Edge-Ngram) ๋ ๊ธฐ๋ฅ์ ๋์์ Elasticsearch์ ์ ์ฉํ๋ค.๊ฒ์์ด๊ฐ ์ค๊ฐ์ ํฌํจ๋ ๋จ์ด๋ ์ฐพ๊ณ , ๋์์ ์ ๋ ฅํ ๊ธ์์ ์๋ถ๋ถ์ผ๋ก ์๋ ์์ฑ๊น์ง ๋๋๋ก ํ ๊ฒ์ด์๋ค.ํ์ง๋ง... ์ค์ ๊ฒ์์์ ์์ํ์ง ๋ชปํ ๊ฒฐ๊ณผ๊ฐ ๋ฑ์ฅํ๊ธฐ ์์ํ๋ค. ๐ ์์ 1) ๊ฒ์์ด: ๋ฏธ๋ ธ ๋ฏธ๋ ธ๊ฐ ํฌํจ๋ ์ ํํ ๋จ์ด๋ฅผ ์ฐพ๊ณ ์ถ์์ง๋ง,N-gram๊ณผ Edge-Ngram์ด ํจ๊ป ์ ์ฉ๋ ํ๋๊ฐ ์กฐํ ๊ฒฐ๊ณผ๋ฅผ ๋ง๋ค์ด๋๋ค.๊ฒฐ๊ณผ์ ์ผ๋ก ๊ด๋ จ ์๋ ํค์๋๊น์ง ํฌํจ๋ ๊ฒฐ๊ณผ๊ฐ ๋ ธ์ถ๋์๋ค. ๐ ์์ 2) ๊ฒ์์ด: ์นด๋์นด๋๋ฅผ ๊ฒ์ํ์ ๋, ์นด๋์ ๋ฌด๊ดํ ์นด๋ก ์์ํ๋ ๋จ์ด.. 2025. 4. 3. ์ด์ 1 ๋ค์