Kiwi v0.11.2

변경 사항

• 특수 문자가 섞인 텍스트 중 일부가 잘못 분석되는 버그 수정 (#97)
• 특정한 패턴의 텍스트를 입력할 경우 분석 결과가 빈 배열로 나오는 버그 수정
• 받침 정규화 기능(normalizeCoda)이 모든 받침에 대해 적용되었습니다.

Full Changelog: v0.11.1...v0.11.2

Kiwi v0.11.1

변경 사항

• Windows 환경에서 한글이나 기타 유니코드를 포함한 경로에 위치한 모델을 읽지 못하는 버그 수정 (#87)
• 이제 소수점, 자리 구분 쉼표가 섞인 숫자도 SN 품사태그로 제대로 분석됩니다. (#92)
• 형태소 내에 포함된 공백 문자 처리를 조정할 수 있도록 spaceTolerance, spacePenalty 멤버 변수가 추가되었습니다.
• 컴파일 경고를 발생시키는 코드 수정 (@mrchypark )

Kiwi v0.11.0

신기능

• 이용자 사전에 기분석 어절 & 변형된 형태소 삽입 기능 추가 (#37)
• 형태소 분석 모델 학습 코드 일부 노출 (#39)
• 규칙적으로 변형된 형태소 삽입 기능(#75)
• 분할된 명사 및 용언 통합 기능 추가(#25)
• 형태소 결합 규칙 Kiwi 모델 내로 통합 -> KiwiBuilder::addWord로 추가된 동/형용사의 활용형도 정상적으로 분석 가능

버그 수정 & 개선

• 형태소 분석기 정확도 향상
• 결합된 형태소의 position, length가 잘못 잡히는 오류 수정
• 사전(#10) 및 언어 모델 탐색 속도 개선
• W_계열 태그의 패턴 매칭 실패 버그 수정
• addRule 계열 함수의 score 계산 버그 수정

Kiwi v0.10.3

분석기 기능 관련 추가사항

• 문장 분리 기능을 제공하는 splitIntoSentences 함수가 추가되었습니다. (#71)
• Token에 sentPosition 및 lineNumber가 추가되었습니다.

기타 개선 사항

• 다양한 CPU아키텍처에 대해 LM 탐색 시간을 개선했습니다. (#70 )
• 일부 환경에서 LM이 잘못 초기화되는 버그를 수정했습니다. (#74 )

Kiwi v0.10.2

분석기 기능 관련 추가 사항

• 받침 정규화(먹었엌ㅋㅋ 처럼 때 받침으로 들어간 ㅋ을 정규화하여 먹었어ㅋㅋㅋ와 같이 분석하는 기능)를 추가했습니다. kiwi::Match::allWithNormalizing 옵션을 사용하면 정규화 기능이 활성화됩니다. (#15, @xdfc1745 )
• 분석 결과에 어절 번호가 추가되었습니다. kiwi::TokenInfo::wordPosition 멤버변수를 참조하면 됩니다. (#31, @emiatej9 )
• mimalloc 사용 환경에서 컴파일된 바이너리가 mimalloc 미사용 환경에서 충돌을 일으키는 문제를 해결했습니다. (#49)
• 마지막으로 사전에 추가된 유저 단어가 무시되는 문제를 해결했습니다. (#57)

기타 추가 사항

• CMake 사용시 gtest warning 문제가 해결되었습니다. (#34, @emiatej9 )
• make install 시 정상 작동하도록 CMake를 개선하였습니다. (#61, @kkweon)
• 설치 관련 문서화를 업데이트했습니다. (#63, @mrchypark)

기여자

• @emiatej9
• @xdfc1745
• @kkweon
• @mrchypark

기여해주신 분들 모두 고맙습니다~

Kiwi v0.10.1

• loadDictionary 함수에서 공백문자가 뒤따르는 태그를 제대로 해석하지 못하는 문제 해결
• C API 중 구현이 누락되었던 kiwi_get_option, kiwi_set_option, kiwi_version 구현 추가
• C API 중 kiwi_builder_extract_* 계열 함수를 사용시 Segmentation Fault가 발생하던 문제 해결

Kiwi v0.10.0

• 소스 코드 리팩토링. 인터페이스를 kiwi::KiwiBuilder(분석기 사전을 관리)와 kiwi::Kiwi(실제 형태소 분석을 수행)로 분할
• CMake 적용
• 언어 모델 엔진 재구현. 메모리 & 속도 최적화. 모델 파일 크기 최적화
• Linux 환경에서 간헐적으로 발생하는 Segmentation Fault 해결

Kiwi v0.9.3

• 리눅스 환경에서 특정 단어가 들어간 텍스트를 분석할 때 크래시가 발생하던 문제 수정

Kiwi v0.9.2

• USE_MIMALLOC=1 사용시 mimalloc이 적용될 컨테이너를 별도로 지정하여, 다른 binary들과 충돌이 발생하지 않도록 수정

Kiwi v0.9.0

• default.dict에 포함된 활용형 단어 때문에 발생하는 오분석 수정
• custom allocator에서 발생하는 멀티스레딩 메모리 누수 해결
• mimalloc과 연동가능하도록 옵션 추가 (-DUSE_MIMALLOC)
• 형태소 탐색 시 조사/어미의 결합조건을 미리 고려하도록 변경, 속도 개선
• 일부 명사(전랑 처럼 받침 + 랑으로 끝나는 미등재 명사) 입력시 분석이 실패하는 버그 수정
• 공백문자만 포함된 문자열 입력시 분석결과가 /UN로 잘못나오는 문제 수정