개발이야기/Lucene & Solr 검색 결과

해당 글 13건
반응형

[Lucene] 루씬 - 검색 #2 - Query의 종류

이번에는 Query의 종류에 대해서 설명합니다.검색을 하다보면 단순히 "people" 같은 문구 한개를 찾기 보다는, 여러 조건을 조합해서 질의를 만들어야 할때가 있습니다.따라서 lucene에서는 기본적으로 사용하는 Term query 이외에도 다른 query들을 지원합니다.이런 쿼리들은 org.apache.lucene.search.query 패키지 안에 존재합니다. lucene api는 8.2.0을 기준으로 합니다.또한 예제는 Kotlin으로 작성되었습니다. Term query앞의 예제에서 계속 사용한 query 입니다. 검색 할 Term을 설정하여 해당 Filed에서 요청한 문자를 찾습니다.이건 앞쪽에서 계속 사용해 왔으니 예제는 생략합니다.검색할 문자에 띄어쓰기가 들어있다면 TermQuery를 직접..
개발이야기/Lucene & Solr 2019. 10. 18. 15:27

[Lucene] 루씬 - 검색 #1- IndexReader, IndexSearcher

앞서서는 루씬의 index에 관련해서 알아봤습니다.물론 앞선 예제에서 따라하기 형태의 index, search를 전부 경험해볼수 있으니, 기본적인 사용법은 예제와 같습니다.(기본 따라하기 예제 - https://tourspace.tistory.com/237) 루씬에서 지원하는 검색은 질의(Query)와 문서간의 유사성을 판단합니다.여기서 유사성은 Document에 질의한 term이 나오는 횟수로 결정되면 이 유사도로 scoring을 하고 해당 문서를 결과로 return 합니다. 검색 indexing처럼 크게 API 어렵거나 사용이 복잡하지 않습니다.다만 검색에서 기본적으로 사용되는 class들에 대해서 간단하게 정리하고자 합니다.이 글은 lucene v8.2.0 기준으로 작성되었습니다. 모든 예제코드는 ..
개발이야기/Lucene & Solr 2019. 10. 17. 09:30

[Lucene] 루씬 indexing #5 - N-Gram, 한글 Analyzer (3/3)

영어와 같이 단어가 공백단위로 분리된다면야 tokenizing 하기가 쉽겠지만 제가 아는 아시아 언어들은 띄어쓰기만으로 tokenize를 하면 제대로 term을 만들기 쉽지 않습니다.물로 영어도 단어의 원형, 동사의 원형으로 변환하는 과정을 거쳐야 하겠지만, 한글이나, 일어(일어는 띄어쓰기가 없는걸로 알고 있습니다만..)등의 언어는 공백으로 분리해서 만들어진 term으로는 검색효율이 떨어집니다."사과와 포도는 참 달다"를 "사과와" "포도는" "참" "달다" 분리했을때 "사과"로 검색하면 검색결과가 0이겠죠~N-Gram 분석기는 글자를 한글자씩 연결해 가면서 term을 생성하는 방법을 말합니다. 이 글은 lucene v8.2.0 기준으로 작성되었습니다. 모든 예제코드는 Kotlin으로 작성되었습니다. N..
개발이야기/Lucene & Solr 2019. 10. 16. 09:23

[Lucene] 루씬 indexing #4 - Analyzer 동의어 검색(2/3)

검색시 명확하게 특정단어를 검색할수도 있지만 유사한 단어나 오타가 발생할 때에도 검색되도록 하도록 동의어(유의어)를 등록 가능하도록 lucene에서 지원합니다.이는 core 라이브러리가 아니기 때문에 maven pom.xml 파일에 아래와 같이 depedency를 추가해야 합니다. 이 글은 lucene V8.2.0 기준으로 작성되었습니다. 모든 예제코드는 Kotlin으로 작성되었습니다.검색시 동의어 설정"와치" 로 검색하면 "워치"도 알아서 검색해 주면 좋으련만, 아쉽게도 동의어는 수동으로 입력해 줘야 합니다."블루투스"를 검색할때 "블투", "불투", "BT", "Bluetooth", "Blue tooth" 등등의 예상되는 동의어를 잘 생각해서 만들어야 되겠네요. 동의어 검색을 위해서는 아래 두가지 C..
개발이야기/Lucene & Solr 2019. 10. 15. 09:20

[Lucene] 루씬 Indexing #3 - Analyzer 기초 (1/3)

루씬에서 Indexing 작업은 주어진 Text를 Term으로 쪼개서 검색 가능한 최소한의 단위로 만드는 작업이라고 볼수 있습니다.그리고, 그 단어들을 검색하기 편하도록 거꾸로 정리 놓는거죠. (Inverted index 말입니다.) 이번에는 indexing 작업중에 Text를 쪼개서 Term으로 만드는 방법에 대해서 설명합니다.이렇게 대상 Text를 잘게 잘라서 term을 만드는 작업은 Analyzer가 수행합니다. 이 글은 "실전비급 아파치 루씬 7"을 참고하였습니다.자세한 설명 및 다양한 예제는 해당 책을 구매하여 확인하시기 바랍니다. ※ 모든 예제 코드는 Kotlin으로 작성되었습니다. (Lucene library 원본 코드 제외) 크게 나누어 분석은 아래의 단계를 거칩니다.CharFilter -..
개발이야기/Lucene & Solr 2019. 10. 14. 00:52

[Lucene] 루씬 Indexing #2 - DocValues란?

Document의 Field type을 보다보면 xxxDocValue란 타입이 나옵니다.이 Field는 실제 값을 저장하지 않기 때문에 실제로 검색시 Document.get()으로 값을 받아올수도 없는 field인데 언제 쓰는걸까요?먼저 DocValue라는게 왜 생겨났는지 부터 보려면 Inverted index 얘기를 먼저 해 봐야 합니다.이 글은 하기 링크를 번역 및 의역 하였습니다.https://blog.trifork.com/2011/10/27/introducing-lucene-index-doc-values/ Inverted index는 term으로 document를 찾기에 좋은 형태입니다.(inverted idnex는 https://tourspace.tistory.com/245 글 확인)Invert..
개발이야기/Lucene & Solr 2019. 10. 11. 11:37

[Lucene] 루씬 indexing #1 - 기본

루씬의 기본 동작은 indexing과 searching 입니다.word든 xml이든, txt이든 csv든 간에 먼저 text로 만든 다음에 이를 검색하기 좋도록 index를 만들고 이를 이용하여 검색을 진행합니다. Inverted IndexingLucene은 빠른 전문 검색(Full Text Serach)를 하기 위하여 inverted index를 생성하여 사용합니다.Lucene 관련 공식문서나, 기타 문서들을 찾아보면 inverted index라는 용어를 많이 사용하는데, 말 그대로 일반적인 index의 key와 value를 뒤집어 놓은 형태입니다. 말보단..사진이 빠릅니다. 먼저 책상의 개발서적중 아무거나 하나를 꺼냅니다.(저는 최근 가장 재밌게본 "다시 미분적분"의 책을 꺼내서 사진을 찍었습니다)그..
개발이야기/Lucene & Solr 2019. 10. 10. 21:33

[Lucene] 루씬 - Search and Highlighting 예제

이번에는 문자열을 검색하고 이를 highlight 처리하는 방법에 대해서 알아봅니다.먼저 highlight 기능을 이용하려면 dependency에 highliter를 추가해야 합니다.maven project의 pom.xml 파일에 하기와 같이 추가하면 됩니다. Index writing폴더에 파일을 넣어두고 이 파일들의 내용을 검색해서 사용합니다.아래 링크에서 사용했던 방법과 동일한 방법으로 index를 생성합니다.https://tourspace.tistory.com/240 index를 생성하는건 동일한 코드이므로 코드에 대한 자세한 설명이 필요하다면 상기의 링크를 클릭하여 먼저 확인하시기 바랍니다. 1. Write helper class 생성class DocumentWriter2 { companion o..
개발이야기/Lucene & Solr 2019. 10. 5. 04:38

[Lucene] 루씬 - spanQuery란? (SpanTermQuery, SpanNearQuery)

루씬에서 가장 기본이 되는 query는 TermQuery로 일치하는 문자를 검색할때 사용합니다.그외에도 확장된 성격을 띄는 query들을 추가적으로 제공하는데 그중에 SpanQuery에 대해 설명합니다.(찾아보니 한글로 정리된글은 찾기가 어렵더군요.) 이 글은 하기 링크의 원문을 번역 및 의역 하였습니다.https://lucidworks.com/post/the-spanquery/ SpanQuery는 문서를 찾을때 내부의 위치 제한을 줄 수 있습니다. 이는 위치를 제한한다는 점에서 PhraseQuery 또는 MutilPhraseQuery와 매우 유사하지만 SpanQuery가 더 큰 표현력을 가집니다. 기본 SpanQuery의 단위는 SpanTermQuery와 SpanNearQuery 입니다. SpanTer..
개발이야기/Lucene & Solr 2019. 10. 4. 12:48

[Lucene] 루씬 - 디렉토리(폴더) indexing 및 search 예제

이번에는 특정 폴더 내부의 파일내용을 검색하는 방법을 알아봅니다.https://tourspace.tistory.com/237 이 글에서는 하나의 파일의 내용을 읽어 검색하는 방법을 알아 봤습니다. 먼저 예제로 사용될 target Folder에는 세개의 파일이 존재합니다.이 세개의 파일이 검색대상이 되며, 각 파일의 내용은 아래와 같습니다. 파일명: text1Lucene Core, our flagship sub-project, provides Java-based indexing and search technology, as well as spellchecking, hit highlighting and advanced analysis/tokenization capabilities.SolrTM is a hig..
개발이야기/Lucene & Solr 2019. 10. 4. 02:05

[Lucene] 루씬 - Document Field types

Document를 생성할때, 각각의 field를 type에 맞게 결정해 줍니다.Value의 저장여부 부터 term vector 생성여부, data type에 따른 field등 각가 다르게 설정하기 때문에 Document가 어떤 Field를 지원하는지에 대한 내용을 정리합니다.이 문서는 apache 공식 API 문서를 참고하였습니다.http://lucene.apache.org/core/8_2_0/core/index.html Lucene version 8.2.0 StringFieldindex에는 포함가능하지만 tokenize는 하지 않습니다. 따라서 string 전체가 하나의 token이 됩니다.사용 예시: "국가명" 또는 "id" 값등 생성자의 인자중 value로 String을 넣으면 textual Str..
개발이야기/Lucene & Solr 2019. 10. 2. 23:50

[Lucene] 루씬 - TermVector란?

이전글에서 간단하게 무작정 따라하기로 문서의 index를 만들고 검색하는 예제를 작성했습니다.다음 예제를 포스팅하기 전에 TermVector의 정의를 설명하려 합니다.Apache Lucene 공식 API 문서에도 TermVector라는 단어가 계속 나오기 때문에 개념없이 다음을 이해하기엔 반쪽짜리 설명이 될것 같네요. 이 글은 하기 링크의 원문을 번역 및 의역하였습니다.또한 불필요한 부분은 제거하고 이해를 돕기위해 추가적인 부가 설명도 추가하였습니다.http://makble.com/what-is-term-vector-in-lucene 루씬 자바독의 문서에 따르면, term vector는 document에서 term의 list와 document 내부에서 반복되는 개수로 정의 됩니다.따라서 Document당..
개발이야기/Lucene & Solr 2019. 10. 2. 04:12

[Lucene] 아파치 루씬 - 기본 따라하기 (indexing과 Searching 예제)

Apache의 Lucene은 검색을 위한 라이브러리 입니다. 이 라이브러리를 기반으로 하여 Apache Solr 또는 ElasticSearch가 구동됩니다. 코드는 자바로 되어이어 자바로 코드를 작성하면 됩니다. 다만 여기서는 코드 간소화및 효율화를 위해 kotlin으로 예제를 작성하였습니다. 일단 간단한 예제로 루씬의 사용법을 설명합니다. ※ 예제는 Kotlin으로 작성되었습니다. Maven 설정pom.xml 파일에 아래와 같이 dependency를 추가합니다. Sample data download간단하게 몇몇 text를 만들어서 예제로 사용해도 좋지만, 실제와 유사하게 대량(??)의 데이터를 입력하고 해당 데이터를 검색하는 형태로 진행하기 위해 미국 항공 기록 데이터를 샘플로 사용하겠습니다. 먼저 하..
개발이야기/Lucene & Solr 2019. 10. 1. 13:28
반응형