feat: Lindera から Vibrato への移行による日本語形態素解析の復旧

Fork: 0

dtmoyaji / TelosDB

Browse code feat: Lindera から Vibrato への移行による日本語形態素解析の復旧 - ビルドの不安定さとネットワーク依存を解消するため Vibrato を採用 - IPADIC 辞書アセットをバイナリに埋め込み（resources/ipadic.vibrato.zst） - JapaneseTokenizer を Vibrato ベースで再実装 - ユニットテストにより正確なわかち書きを検証済み main
1 parent 0cec53d commit eae29893a0160b2837512ae2876e911b56d0775b 楽曲作りまくりおじさん authored 5 days ago

Browse code

- ビルドの不安定さとネットワーク依存を解消するため Vibrato を採用
- IPADIC 辞書アセットをバイナリに埋め込み（resources/ipadic.vibrato.zst）
- JapaneseTokenizer を Vibrato ベースで再実装
- ユニットテストにより正確なわかち書きを検証済み

main

1 parent 0cec53d commit eae29893a0160b2837512ae2876e911b56d0775b

楽曲作りまくりおじさん authored 5 days ago

Patch

Unified Split

Showing 5 changed files

Ignore Space Show notes View journals/20260219-0005-Vibrato形態素解析復旧.md 0 → 100644

Ignore Space Show notes View src-tauri/Cargo.lock

Ignore Space Show notes View src-tauri/Cargo.toml

Ignore Space Show notes View src-tauri/resources/ipadic.vibrato.zst 0 → 100644
Not supported

Ignore Space Show notes View src-tauri/src/utils/tokenizer.rs

Show line notes below