뭐가 자꾸 궁금한 개발자

https://www.slideshare.net/wolfkang/1-solr [제1회 루씬 한글분석기 기술세미나] solr로 나만의 검색엔진을 만들어보자 Solr로 나만의 검색엔진을 만들어보자 - 제1회 루씬 한글분석기 기술세미나 - 강동혁 ㈜맥스트 책임연구원 2013-04-12 www.slideshare.net https://www.slideshare.net/jihoonkim15/2-solr-by 제2회 한글형태소분석기 기술 세니마 발표(solr 활용 입문) by 김지훈 제2회 한글형태소분석기 기술 세니마 발표 에서 첫번째 세션에서 발표했던 발표 자료입니다. 많은 도움이 되시길 바랍니다. www.slideshare.net

은전한닢 프로젝트 사이트에 잘 나와 있지만 필요한 부분만 정리해 놓았다. CENTOS / 우분투에서 설치해 본 경험 상 별다른 어려움 없이 설치가 된다. [참고사이트] https://bitbucket.org/eunjeon/mecab-ko https://bitbucket.org/eunjeon/mecab-ko-dic mecab-ko cd mecab-0.996-ko-0.9.2 $ ./configure $ make $ make check

금지어(불용어)의 경우 색인 데이터로 의미가 없는 조사,접속사 등을 제외시켜주는 역할을 한다. 조사, 부사, 접속사 같은 경우는 보통 시스템 금지어(불용어)로 분류되어 관리되어 진다. 사용자 금지어(불용어)의 경우 욕설이나 특정 키워드에 대해서 검색 대상에 제외시키는 방법이다. 해당 시스템이나 정책에 따라 관리를 하면 된다. 유사어의 경우 사용자가 codezip 을 검색을 했지만 "코드집"에 대해서도 검색 결과에 반영해 주는 역할을 한다. 한글/영문에 대한 부분 / 혼돈하기 쉬운 오타등 다양하게 활용할 수 있다. 검색 서비스의 경우 다양한 방법으로 해법을 찾을 수 있다. 다음은 ES에서 제공해 주는 설정하는 방법을 해 볼 예정이다. ES (analysis 설정) "analysis": { "filter":..

Template 생성 curl -XPUT http://localhost:9201/_template/template_product { "template": "product*", "settings": { "number_of_shards": 8 }, "version": 1 } product로 생성되는 index에 shard를 8개 생성한다. 매핑정보와 공통되는 부분을 작업하면 편하다. Template 조회 curl -XGET http://localhost:9201/_template Template 삭제 curl -XDELETE http://localhost:9201/_template/template_product?pretty 출처 : https://codezip.tistory.com/757?category=7..

Logstash 를 통해 간단하기 DB에 있는 내용을 ES(ElasticSearch)로 색인하기 현재 내부적으로 전처리를 해야 할 부분이 많기에 Java로 수집기를 만들어서 사용하고 있다. ES가 유행하기 전에 수집기를 Java기반으로 만들어서 사용을 해서 편하게 사용을 했으나 ES에서 logstash를 수집기를 패키지화(?)하여 배포하고 있다. 1. Logstash 다운로드 받는다. (2.X 버젼 사용) 2. logstash.conf 파일을 설정한다. 여러가지 고려를 많이 해야겠지만 현재 table 전체 데이터를 ES에 생성한다. logstash.conf input { jdbc { jdbc_driver_library => "sqljdbc4.jar" jdbc_driver_class => "com.micr..

/admin/configs?action=CREATE: create a ConfigSet, based on an existing ConfigSet /admin/configs?action=DELETE: delete a ConfigSet /admin/configs?action=LIST: list all ConfigSets /admin/configs?action=UPLOAD: upload a ConfigSet 1). Create ConfigSet Examples Create a ConfigSet named 'myConfigSet' based on a 'predefinedTemplate' ConfigSet, overriding the immutable property to false. http://localhos..

limits.conf 파일을 열어 다음 명령어를 추가한다. $sudo vi /etc/security/limits.conf hadoop soft nofile 65536 hadoop hard nofile 65536 hadoop hard nproc 65536 hadoop soft nproc 65536 hadoop soft memlock unlimited hadoop hard memlock unlimited 출처 : https://kogun82.tistory.com/179

1). Java MySQL connector 를 다운받고 sole 웹 서버의 라이브러리 폴더에 복사한다. (~/solr-5.3.0/server/solr-webapp/webapp/WEB-INF/lib) 2). 생성한 core 폴더 /conf/solrconfig.xml 파일에 아래의 내용을 추가한다. data-config.xml 4). 생성한 core 폴더 /conf/data-config.xml 파일을 생성하고 아래의 내용을 추가한다. 5). 생성한 core 폴더 /conf/ managed-schema 파일에 데이터베이스에서 가져오는 정보와 같도록 filed 를 설정한다. user_id 6). solr 데몬을 다시 재시작 한다. 명령어 예제: ./solr restart -s /home/kogun82/work..

1). 네이버 카페(루씬 한글분석기 오픈소스 프로젝트) 에서 arirang-morph-1.0.0.jar , arirang.lucene-analyzer-5.0-1.0.0.jar 를 다운받고 sole 웹 서버의 라이브러리 폴더에 복사한다. (~/solr-5.3.0/server/solr-webapp/webapp/WEB-INF/lib) 2). 생성한 core 폴더 /conf/managed-schema.xml 파일에 아래의 내용을 추가한다. 3). solr 데몬을 다시 재시작 하고 core 선택 후 analysis 기능을 이용하여 확인 가능하다. 명령어 예제: ./solr restart -s /home/kogun82/workspace/kobic -p 1818 출처 : https://kogun82.tistory.c..

1). solr 5.3.0 다운 받아 압축을 해제한다. 2). core 폴더들을 생성할 루트 폴더 (예제: /home/kogun82/workspace/kobic) 를 생성하고, ~/solr 5.3.0/server/solr 폴더에서 solr.xml, zoo.cfg 파일을 복사한다. 3). 루트 폴더에 사용할 core 폴더를 생성하고 ~/solr 5.3.0/server/solr/configsets/basic_configs/conf 폴더를 복사한다. 4). ~/solr 5.3.0/bin 폴더에 있는 solr 파일을 이용해서 실행 한다. => ./solr start -s [루트 폴더] -p [포트] 명령어 예제: ./solr start -s /home/kogun82/workspace/kobic -p 1818 5..