本システムは、Tauri の Sidecar 機能を活用し、内蔵された llama-server バイナリを動的に制御することで、外部 LLM サービスに依存しないローカル嵌入環境を提供します。
llama-server (Windows x64 用サイドカー)Gemma-3-270m-it-Q4_K_M.ggufvec0.dll)Windows 環境での実行を確実にするため、以下の自動化を行っています。
build.rs) に、sqlite-vec の DLL を開発ノードから抽出し、実行ディレクトリ(および bin)へ自動配置します。resource_dir 基点に、bin/ フォルダ内のモデルと、実行ルート直下の vec0.dll を動的にバインドします。起動時に以下のパラメータを指定します。
| 引数 | 値 | 説明 |
|---|---|---|
--model |
{path} | モデルファイルへの絶対パス。 |
--port |
8080 | 内部通信用。 |
--embedding |
(flag) | 埋め込み生成 API を有効化。 |
--pooling |
mean |
ベクトル集約方式の指定(推奨設定)。 |
lib.rs 内でアプリ起動時に sidecar("llama-server") を呼び出し。/health エンドポイントが running を返すまで待機。llama-server の Stdout/Stderr を Rust 側のロガーへパイプし、一元管理。post_embedding 等)は、Rust 側でフィルタリングしてログの視認性を確保。