feat: Lindera から Vibrato への移行による日本語形態素解析の復旧

Fork: 0

dtmoyaji / TelosDB

Browse code feat: Lindera から Vibrato への移行による日本語形態素解析の復旧 - ビルドの不安定さとネットワーク依存を解消するため Vibrato を採用 - IPADIC 辞書アセットをバイナリに埋め込み（resources/ipadic.vibrato.zst） - JapaneseTokenizer を Vibrato ベースで再実装 - ユニットテストにより正確なわかち書きを検証済み main release/v0.3.0 v0.3.0
1 parent 8c47650 commit f77c85d7ca0cc1c5429af1cf045d92675e01cff7 楽曲作りまくりおじさん authored 6 days ago

Browse code

- ビルドの不安定さとネットワーク依存を解消するため Vibrato を採用
- IPADIC 辞書アセットをバイナリに埋め込み（resources/ipadic.vibrato.zst）
- JapaneseTokenizer を Vibrato ベースで再実装
- ユニットテストにより正確なわかち書きを検証済み

main release/v0.3.0 v0.3.0

1 parent 8c47650 commit f77c85d7ca0cc1c5429af1cf045d92675e01cff7

楽曲作りまくりおじさん authored 6 days ago

Patch

Unified Split

Showing 5 changed files

Ignore Space Show notes View journals/20260219-0005-Vibrato形態素解析復旧.md 0 → 100644

Ignore Space Show notes View src-tauri/Cargo.lock

Ignore Space Show notes View src-tauri/Cargo.toml

Ignore Space Show notes View src-tauri/resources/ipadic.vibrato.zst 0 → 100644
Not supported

Ignore Space Show notes View src-tauri/src/utils/tokenizer.rs

Show line notes below