本システムは、Tauri の Sidecar 機能を活用し、内蔵された llama-server バイナリを動的に制御することで、外部 LLM サービスに依存しないローカル嵌入環境を提供します。
llama-serverx86_64-pc-windows-msvc (Windows 環境時)Windows 環境での DLL 地獄(Dependency Hell)を回避するため、build.rs による自動供給システムを導入しています。
sqlite-vec 等の依存 DLL を node_modules から抽出し、ターゲットディレクトリ(target/debug/bin)へ自動配置します。lib.rs 内で実行ファイルの相対パスから bin フォルダを特定し、vec0.dll を動的に読み込みます。起動時に以下のパラメータを指定します。
| 引数 | 値 | 説明 |
|---|---|---|
--model |
{path} | gemma-3-270m-it-Q4_K_M.gguf へのパス。 |
--port |
8080 | 内部通信用ポート。 |
--embedding |
(flag) | 埋め込み (Vector) 生成モードを有効化。 |
--parallel |
1 | 同時実行数。リソース消費を抑えるため 1 に制限。 |
Sidecar API を用いて非同期に起動。mcp.rs 内のモニタースレッドが /health に対し 2 秒間隔でポーリング。tauri-plugin-shell のストリームを tauri-plugin-log に転送し、一元管理。ggml-vulkan.dll または ggml-cpu.dll が自動的にロードされます。logs/telos.log に llama-server の起動シーケンスと推論ログが詳細に出力されます。