diff --git a/README.md b/README.md index 2dae2f8..5ca1092 100644 --- a/README.md +++ b/README.md @@ -1,6 +1,6 @@ # TelosDB -**Version 0.3.3** — ローカル完結型セマンティック検索基盤 & MCPサーバー +**Version 0.3.3.1** — ローカル完結型セマンティック検索基盤 & MCPサーバー --- @@ -26,8 +26,8 @@ ## 主な機能 -- **セマンティック検索**: キーワードや自然文で意味に基づいた検索。文書単位で結合して返すオプションあり。 -- **MCP SSE サーバー内蔵**: AI クライアント（Cursor 等）からツールとして検索・CRUDが可能。 +- **セマンティック検索**: キーワードや自然文で意味に基づいた検索。文書単位で結合して返すオプションあり。空クエリ・0 件時も統一形式で応答。 +- **MCP SSE サーバー内蔵**: AI クライアント（Cursor 等）からツールとして検索・一覧取得（ページング）・カテゴリ一覧・CRUD が可能。 - **自動ヒーリング**: DB 内のテキストとベクトルの不一致を検出し、バックグラウンドで同期。 - **完全ローカル・プライバシー**: 計算・ベクトル空間はすべてローカルで完結。GPU 不要。 - **システムトレイ常駐**: MCP サーバーをバックグラウンドで待機。 @@ -49,7 +49,7 @@ } ``` -接続後、`search_text`（検索）、`add_item_text`（追加）、`update_item`（更新）、`lsa_retrain`（RE-INDEX）などのツールが利用できます。 +接続後、`search_text`（検索）、`list_documents`（文書一覧・ページング）、`list_categories`（カテゴリ一覧）、`add_item_text`（追加）、`update_item`（更新）、`lsa_retrain`（RE-INDEX）などのツールが利用できます。 --- diff --git a/RELEASE_v0.3.0.md b/RELEASE_v0.3.0.md deleted file mode 100644 index 2e343a9..0000000 --- a/RELEASE_v0.3.0.md +++ /dev/null @@ -1,61 +0,0 @@ -# TelosDB v0.3.0 Release Notes - -TelosDB v0.3.0 へようこそ！ -今回のリリースでは、データベース構造の抜本的な正規化、検索精度の向上、そして「MIMEタイプ対応」による将来的なファイル形式拡張への基盤を構築しました。 -加えて、配布パッケージ（NSIS インストーラ）の安定化と UI の改善を行いました。 - -## 🚀 新機能 (Major Features) - -### 1. MIMEタイプ対応 (MIME Type Support) - -- `documents` テーブルに `mime` カラムを追加し、ファイル形式を自動的に記録するようにしました。 -- ファイル拡張子（.md, .rs, .js 等）から適切な MIME タイプを自動判別します。 -- これにより、将来的な PDF や画像、多言語ソースコードへの対応が容易になりました。 - -### 2. データベース構造の正規化 (DB Normalization - Issue-2) - -- ドキュメントメタデータ（パス、MIME等）を管理する `documents` テーブルを `items` テーブル（チャンク）から分離しました。 -- 1ドキュメントに対して複数のチャンクを紐付ける 1:N 構造を確立し、データの冗長性を排除。 -- ドキュメント単位の一括削除や管理が可能になりました。 - -### 3. セマンティック検索の精度向上 (Search Accuracy) - -- LSA（潜在意味解析）の類似度計算ロジックを改善。 -- ベクトルの正規化を考慮し、L2距離をコサイン類似度へ正確に変換する計算式 `1.0 - (distance / 2.0)` を採用しました。 -- SVD（特異値分解）の安定性を向上させ、より一貫性のある検索結果を実現。 - -### 4. 日本語解析エンジンの刷新 (Vibrato Integration) - -- 日本語形態素解析エンジンを `Lindera` から `Vibrato` へ移行。 -- 辞書の整合性と分かち書きの精度が向上し、より自然な検索が可能になりました。 - ---- - -## 🛠 改善・修正 (Improvements & Fixes) - -### 配布パッケージ・インストーラ (Installer & Packaging) - -- **vec0.dll の扱い**: セマンティック検索用 SQLite 拡張（vec0.dll）をバンドルリソースのルートに配置し、インストール先のパス差を吸収するため、起動時に `%APPDATA%\com.telosdb.app\vec0.dll` へコピーしてから読み込むようにしました。 -- **複数フォールバック**: exe と同じフォルダ・`resources` フォルダ・Tauri の resource_dir を順に参照し、いずれかで vec0.dll が見つかれば起動可能です。 -- **エラーメッセージ**: vec0.dll が見つからない場合はパニックせず、試したパスを表示して終了するようにしました。ログは `%APPDATA%\com.telosdb.app\logs\telos.log` に出力されます。 - -### UI - -- **Toast UI Editor ダークモード**: 文書の追加・編集モーダル内のエディタをダークテーマに統一し、アプリ全体のダーク UI と一貫させました。 - -### その他 - -- **プロジェクト構成**: `nodejs/` と `scripts/` を統合し、標準的なディレクトリ構造へ移行。 -- **AIエージェント最適化**: 運用ルールを `.agent/rules` へ集約。AIエージェントによる自己修正機能を強化しました。 -- **仕様書の整理**: 技術仕様書を最新の状態に更新し、番号体系を整理（01〜06）。 -- **HNSWインデックス**: 大規模データ向けの高速近傍探索インデックス HNSW を統合し、検索速度を維持。 - ---- - -## 📦 インストール方法 - -添付の `TelosDB_0.3.0_x64-setup.exe`（NSIS インストーラ）をご利用ください。 -ソースコードからビルドする場合は、リポジトリルートで `npm install` の後に `npm run tauri build` を実行してください。 - -- データベーススキーマに変更があるため、起動時に自動的にマイグレーションまたは補完（セルフヒーリング）が実行されます。 -- 初回起動時に vec0.dll がアプリデータフォルダへコピーされます。問題が発生した場合は `%APPDATA%\com.telosdb.app\logs\telos.log` で原因を確認できます。 diff --git a/RELEASE_v0.3.2_Community.md b/RELEASE_v0.3.2_Community.md deleted file mode 100644 index 850f0cf..0000000 --- a/RELEASE_v0.3.2_Community.md +++ /dev/null @@ -1,71 +0,0 @@ -# TelosDB Community 版 v0.3.2 — 商品紹介 - -## そのまま使える、ローカル完結の意味検索 - -**TelosDB Community 版**は、追加のモデルや設定なしで、すぐに意味検索を始められるデスクトップアプリです。データはすべてお使いの PC 内に留まり、クラウドへ一切送信しません。 - ---- - -## こんな方におすすめ - -- まずは手軽に意味検索を試したい -- モデルのダウンロードや GPU 環境を用意したくない -- 個人のメモやドキュメントを「意味で」探したい -- Cursor や Claude Desktop など AI ツールと MCP で連携したい - ---- - -## Community 版の特長 - -### モデル不要で動く - -LSA（潜在意味解析）により、**50 次元のベクトル**で文書を表現します。大きな AI モデルは不要。インストール後、そのまま検索できます。 - -### キーワードも自然な文も、そのまま検索 - -「春の歌」でも「桜の季節に聴きたい曲」のような文でも検索可能。結果は**文書単位**でまとめて返すため、どのドキュメントがヒットしたかが分かりやすくなっています。 - -### MCP で AI とつながる - -Model Context Protocol（MCP）に対応。Cursor や Claude Desktop から「検索」「追加」「RE-INDEX」などのツールとして TelosDB を呼び出せます。AI エージェントの「記憶」として利用するのに最適です。 - -### 自動でインデックスを整える - -ドキュメントの増減に応じて、バックグラウンドで LSA を再学習。画面上では「LSA学習中…」「ベクトル同期中…」の表示で進行状況を確認できます。必要に応じて RE-INDEX で手動再構築も可能です。 - -### ログイン時に自動起動（オプション） - -設定で「OSにログインしたときに自動で起動する」をオンにすると、Windows にサインインしたタイミングで TelosDB が起動し、トレイで待機。いつでも MCP 経由で検索できます。 - ---- - -## 含まれる機能（v0.3.2） - -- 意味検索（LSA 50 次元）＋ 全文検索（FTS5）のハイブリッド検索 -- 検索結果の文書単位表示（`group_by_document`） -- MCP ツール: `search_text` / `add_item_text` / `update_item` / `delete_item` / `get_item_by_id` / `get_document_count` / `lsa_retrain`（RE-INDEX） -- ドキュメント件数の表示（ヘッダー「X docs」・`get_document_count`） -- インデックス状態の表示（LSA学習中・ベクトル同期中） -- 文書一覧のプレビュー（先頭 15 文字表示） -- トレイ常駐・バージョン表示の改善 - ---- - -## ご利用方法 - -**インストーラ**: `TelosDB-Community_0.3.2_x64-setup.exe` を実行してインストールしてください。 - -**ソースからビルドする場合**: - -```bash -npm install -npm run build:community -``` - -- 出力: `src/backend/target/release/bundle/nsis/TelosDB-Community_0.3.2_x64-setup.exe` -- 初回起動時に vec0.dll がアプリデータフォルダへコピーされます。不具合時は `%APPDATA%\com.telosdb.app\logs\telos.log` をご確認ください。 - ---- - -より高精度な意味検索をご希望の方は **Pro 版**をご検討ください。 -→ [TelosDB Pro 版 商品紹介](RELEASE_v0.3.2_Pro.md) diff --git a/RELEASE_v0.3.2_Pro.md b/RELEASE_v0.3.2_Pro.md deleted file mode 100644 index 37b50e6..0000000 --- a/RELEASE_v0.3.2_Pro.md +++ /dev/null @@ -1,85 +0,0 @@ -# TelosDB Pro 版 v0.3.2 — 商品紹介 - -## 日本語に強い、高精度な意味検索 - -**TelosDB Pro 版**は、日本語向けの埋め込みモデル（768 次元）を**インストーラに同梱**したエディションです。インストールするだけで、言い回しの違いに強い高精度な意味検索が使えます。ビジネス文書や学術メモの検索に適し、データはすべてローカルで完結。クラウドへ送信しません。 - ---- - -## こんな方におすすめ - -- 検索精度をより高めたい -- 「似た意味の文」でしっかりヒットさせたい -- 報告書・論文・仕様書などフォーマルな日本語を扱う -- Cursor や Claude Desktop と MCP で連携し、高品質な検索結果を AI に渡したい - ---- - -## Pro 版の特長 - -### 日本語特化の埋め込みで高精度 - -**sentence-BERT 系の日本語モデル**（768 次元）で文書をベクトル化。キーワードの一致だけでなく、「言い換え」や「関連する表現」にも強く、自然な文で検索できます。結果は**文書単位**で返るため、どのドキュメントが該当したかが一目で分かります。 - -### 量子化モデルで軽く・速く（インストーラに同梱） - -推論用に **INT8 量子化した ONNX モデル**を使用。GPU は不要で、一般的な PC の CPU だけで動作します。**モデルはインストーラに含まれており、別途ダウンロードは不要**。インストール後すぐに高精度検索をご利用いただけます。 - -### MCP で AI とつながる - -Model Context Protocol（MCP）に対応。Cursor や Claude Desktop から「検索」「追加」「RE-INDEX」などのツールとして TelosDB を呼び出せます。高精度な検索結果を AI のコンテキストとしてそのまま利用できます。 - -### インデックス状態が分かる - -起動時や RE-INDEX 時に、HNSW の構築状況などが画面上で確認できます。「Pro」バッジでエディションが識別でき、モデルの読み込み状態も把握しやすくなっています。 - -### ログイン時に自動起動（オプション） - -設定で「OSにログインしたときに自動で起動する」をオンにすると、Windows にサインインしたタイミングで TelosDB が起動。トレイで待機し、いつでも MCP 経由で高精度検索を利用できます。 - ---- - -## インストーラにモデル同梱（v0.3.2） - -Pro 版のインストーラ（`TelosDB-Pro_0.3.2_x64-setup.exe`）には、**埋め込み用の量子化 ONNX モデル**が同梱されています。 - -- **利用者**: 別途モデルのダウンロードは不要。インストールするだけで、インストール先のリソースから自動的にモデルが参照され、高精度な意味検索が利用できます。 -- **同梱内容**: `model_quantized.onnx`（日本語 sentence-BERT 量子化モデル）・`vocab.txt`（語彙）。インストール後にアプリが正しいパスでこれらを参照するよう、リソース解決を修正済みです。 -- モデルが読み込めない場合でも、全文検索（FTS）のみで検索は可能です。`TELOS_EMBEDDING_NO_OPTIMIZE=1` で最適化をスキップして読み込む方法も README・仕様書で案内しています。 - ---- - -## 含まれる機能（v0.3.2） - -- **埋め込みモデルのインストーラ同梱**（別途ダウンロード不要。インストール先から自動参照） -- 意味検索（埋め込み 768 次元）＋ 全文検索（FTS5）のハイブリッド検索 -- 検索結果の文書単位表示（`group_by_document`） -- MCP ツール: `search_text` / `add_item_text` / `update_item` / `delete_item` / `get_item_by_id` / `get_document_count` / `lsa_retrain`（RE-INDEX） -- ドキュメント件数の表示（ヘッダー「X docs」・`get_document_count`） -- インデックス状態の表示（ベクトル同期中・HNSW 構築状況） -- 文書一覧のプレビュー（先頭 15 文字表示） -- トレイ常駐・バージョン表示の改善 - ---- - -## ご利用方法 - -**インストーラ**: `TelosDB-Pro_0.3.2_x64-setup.exe` を実行してインストールしてください。埋め込みモデルはインストーラに含まれており、追加のダウンロードは不要です。 - -**ソースからビルドする場合**（配布用インストーラを作る開発者向け）: - -1. [sentence-bert-base-ja-mean-tokens-v2-int8](https://gitbucket.tmworks.club/dtmoyaji/sentence-bert-base-ja-mean-tokens-v2-int8) から `target/` 一式（`model_quantized.onnx`・`vocab.txt`）を取得し、プロジェクトの **`embedding_model/`** に配置します。 -2. `npm run build:pro` を実行すると、それらがインストーラに同梱された Pro 版がビルドされます。 - -```bash -npm install -npm run build:pro -``` - -- 出力: `src/backend/target/release/bundle/nsis/TelosDB-Pro_0.3.2_x64-setup.exe`（モデル同梱） -- 初回起動時に vec0.dll がアプリデータフォルダへコピーされます。不具合時は `%APPDATA%\com.telosdb.app\logs\telos.log` をご確認ください。 - ---- - -モデル不要で手軽に始めたい方は **Community 版**をご利用ください。 -→ [TelosDB Community 版 商品紹介](RELEASE_v0.3.2_Community.md) diff --git a/RELEASE_v0.3.3.1_Community.md b/RELEASE_v0.3.3.1_Community.md new file mode 100644 index 0000000..853f7d4 --- /dev/null +++ b/RELEASE_v0.3.3.1_Community.md @@ -0,0 +1,95 @@ +# TelosDB Community 版 v0.3.3.1 — 商品紹介 + +## そのまま使える、ローカル完結の意味検索 + +**TelosDB Community 版**は、追加のモデルや設定なしで、すぐに意味検索を始められるデスクトップアプリです。データはすべてお使いの PC 内に留まり、クラウドへ一切送信しません。 + +--- + +## こんな方におすすめ + +- まずは手軽に意味検索を試したい +- モデルのダウンロードや GPU 環境を用意したくない +- 個人のメモやドキュメントを「意味で」探したい +- Cursor や Claude Desktop など AI ツールと MCP で連携したい + +--- + +## Community 版の特長 + +### モデル不要で動く + +LSA（潜在意味解析）により、**50 次元のベクトル**で文書を表現します。大きな AI モデルは不要。インストール後、そのまま検索できます。 + +### キーワードも自然な文も、そのまま検索 + +「春の歌」でも「桜の季節に聴きたい曲」のような文でも検索可能。結果は**文書単位**でまとめて返すため、どのドキュメントがヒットしたかが分かりやすくなっています。検索結果 0 件や空クエリでもエラーにならず、統一された形式で返します。 + +### MCP で AI とつながる + +Model Context Protocol（MCP）に対応。Cursor や Claude Desktop から「検索」「一覧取得」「カテゴリ一覧」「RE-INDEX」などのツールとして TelosDB を呼び出せます。AI エージェントの「記憶」として利用するのに最適です。 + +### 文書一覧のページング + +文書一覧は **1 ページ 20 件**で区切り、前へ・次へでページ移動できます。大量登録時も UI が重くなりにくい設計です。 + +### 自動でインデックスを整える + +ドキュメントの増減に応じて、バックグラウンドで LSA を再学習。画面上では「LSA学習中…」「ベクトル同期中…」の表示で進行状況を確認できます。必要に応じて RE-INDEX で手動再構築も可能です。 + +### ログイン時に自動起動（オプション） + +設定で「OSにログインしたときに自動で起動する」をオンにすると、Windows にサインインしたタイミングで TelosDB が起動し、トレイで待機。いつでも MCP 経由で検索できます。 + +### フォルダ監視で自動取り込み + +指定したフォルダを常時監視し、ファイルの追加・更新・削除を自動検知してインデックスに反映します。テキストやマークダウンを保存するだけで、検索対象に自動登録。フォルダごとにカテゴリ名を付けられ、MCP の `list_categories` で取得して検索時の絞り込みに利用できます。 + +--- + +## v0.3.3.1 の主な変更点 + +### 新機能 + +- **list_categories**: MCP で登録済みカテゴリ名の一覧を取得。`search_text` の `category` パラメータと組み合わせて絞り込み検索が可能。 +- **文書一覧のページング（UI）**: 文書管理パネルで「前へ」「次へ」によるページ切り替え。1 ページあたり 20 件表示。 + +### 改善 + +- **list_documents のページング**: MCP の `list_documents` が `limit`・`page` に対応。戻り値に `items`・`total_count`・`total_pages`・`page` を含み、全件取得による負荷を回避。 +- **検索エラー時の対応（Issue #11）**: 空クエリやマッチ 0 件のときもエラーにせず、`items: []` と `vector_search_used` を含む統一 JSON 形式で返す。クライアントは常に配列として扱える。 + +--- + +## 含まれる機能（v0.3.3.1） + +- 意味検索（LSA 50 次元）＋ 全文検索（FTS5）のハイブリッド検索 +- 検索結果の文書単位表示（`group_by_document`）。0 件・空クエリ時も統一形式で応答 +- **フォルダ監視**: 指定フォルダの自動取り込み・カテゴリ指定・拡張子フィルタ +- MCP ツール: `search_text` / `add_item_text` / `update_item` / `delete_item` / `get_item_by_id` / **`list_documents`（ページング）** / **`list_categories`** / `get_document_count` / `get_document` / `delete_document` / `lsa_retrain`（RE-INDEX） +- ドキュメント件数の表示（ヘッダー「X docs」・`get_document_count`） +- **文書一覧 UI のページング**（前へ・次へ、20 件/ページ） +- インデックス状態の表示（LSA学習中・ベクトル同期中） +- ログイン時の自動起動（オプション） +- トレイ常駐・バージョン表示 + +--- + +## ご利用方法 + +**インストーラ**: `TelosDB-Community_0.3.3.1_x64-setup.exe` を実行してインストールしてください。 + +**ソースからビルドする場合**: + +```bash +npm install +npm run build:community +``` + +- 出力: `target/release/bundle/nsis/TelosDB-Community_0.3.3.1_x64-setup.exe` +- 初回起動時に vec0.dll がアプリデータフォルダへコピーされます。不具合時は `%APPDATA%\com.telosdb.app\logs\telos.log` をご確認ください。 + +--- + +より高精度な意味検索をご希望の方は **Pro 版**をご検討ください。 +→ [TelosDB Pro 版 商品紹介](RELEASE_v0.3.3.1_Pro.md) diff --git a/RELEASE_v0.3.3.1_Pro.md b/RELEASE_v0.3.3.1_Pro.md new file mode 100644 index 0000000..b5eced7 --- /dev/null +++ b/RELEASE_v0.3.3.1_Pro.md @@ -0,0 +1,109 @@ +# TelosDB Pro 版 v0.3.3.1 — 商品紹介 + +## 日本語に強い、高精度な意味検索 + +**TelosDB Pro 版**は、日本語向けの埋め込みモデル（768 次元）を**インストーラに同梱**したエディションです。インストールするだけで、言い回しの違いに強い高精度な意味検索が使えます。ビジネス文書や学術メモの検索に適し、データはすべてローカルで完結。クラウドへ送信しません。 + +--- + +## こんな方におすすめ + +- 検索精度をより高めたい +- 「似た意味の文」でしっかりヒットさせたい +- 報告書・論文・仕様書などフォーマルな日本語を扱う +- Cursor や Claude Desktop と MCP で連携し、高品質な検索結果を AI に渡したい + +--- + +## Pro 版の特長 + +### 日本語特化の埋め込みで高精度 + +**sentence-BERT 系の日本語モデル**（768 次元）で文書をベクトル化。キーワードの一致だけでなく、「言い換え」や「関連する表現」にも強く、自然な文で検索できます。結果は**文書単位**で返るため、どのドキュメントが該当したかが一目で分かります。検索結果 0 件や空クエリでもエラーにならず、統一された形式で返します。 + +### 量子化モデルで軽く・速く（インストーラに同梱） + +推論用に **INT8 量子化した ONNX モデル**を使用。GPU は不要で、一般的な PC の CPU だけで動作します。**モデルはインストーラに含まれており、別途ダウンロードは不要**。インストール後すぐに高精度検索をご利用いただけます。 + +### MCP で AI とつながる + +Model Context Protocol（MCP）に対応。Cursor や Claude Desktop から「検索」「一覧取得」「カテゴリ一覧」「RE-INDEX」などのツールとして TelosDB を呼び出せます。高精度な検索結果を AI のコンテキストとしてそのまま利用できます。 + +### 文書一覧のページング + +文書一覧は **1 ページ 20 件**で区切り、前へ・次へでページ移動できます。大量登録時も UI が重くなりにくい設計です。 + +### インデックス状態が分かる + +起動時や RE-INDEX 時に、HNSW の構築状況などが画面上で確認できます。「Pro」バッジでエディションが識別でき、モデルの読み込み状態も把握しやすくなっています。 + +### ログイン時に自動起動（オプション） + +設定で「OSにログインしたときに自動で起動する」をオンにすると、Windows にサインインしたタイミングで TelosDB が起動。トレイで待機し、いつでも MCP 経由で高精度検索を利用できます。 + +### フォルダ監視で自動取り込み + +指定したフォルダを常時監視し、ファイルの追加・更新・削除を自動検知してインデックスに反映します。テキストやマークダウンを保存するだけで、高精度な意味検索の対象に自動登録。フォルダごとにカテゴリ名を付けられ、MCP の `list_categories` で取得して検索時の絞り込みに利用できます。 + +--- + +## v0.3.3.1 の主な変更点 + +### 新機能 + +- **list_categories**: MCP で登録済みカテゴリ名の一覧を取得。`search_text` の `category` パラメータと組み合わせて絞り込み検索が可能。 +- **文書一覧のページング（UI）**: 文書管理パネルで「前へ」「次へ」によるページ切り替え。1 ページあたり 20 件表示。 + +### 改善 + +- **list_documents のページング**: MCP の `list_documents` が `limit`・`page` に対応。戻り値に `items`・`total_count`・`total_pages`・`page` を含み、全件取得による負荷を回避。 +- **検索エラー時の対応（Issue #11）**: 空クエリやマッチ 0 件のときもエラーにせず、`items: []` と `vector_search_used` を含む統一 JSON 形式で返す。クライアントは常に配列として扱える。 + +--- + +## インストーラにモデル同梱 + +Pro 版のインストーラ（`TelosDB-Pro_0.3.3.1_x64-setup.exe`）には、**埋め込み用の量子化 ONNX モデル**が同梱されています。 + +- **利用者**: 別途モデルのダウンロードは不要。インストールするだけで、インストール先のリソースから自動的にモデルが参照され、高精度な意味検索が利用できます。 +- **同梱内容**: `model_quantized.onnx`（日本語 sentence-BERT 量子化モデル）・`vocab.txt`（語彙）。 +- モデルが読み込めない場合でも、全文検索（FTS）のみで検索は可能です。 + +--- + +## 含まれる機能（v0.3.3.1） + +- **埋め込みモデルのインストーラ同梱**（別途ダウンロード不要。インストール先から自動参照） +- 意味検索（埋め込み 768 次元）＋ 全文検索（FTS5）のハイブリッド検索 +- 検索結果の文書単位表示（`group_by_document`）。0 件・空クエリ時も統一形式で応答 +- **フォルダ監視**: 指定フォルダの自動取り込み・カテゴリ指定・拡張子フィルタ +- MCP ツール: `search_text` / `add_item_text` / `update_item` / `delete_item` / `get_item_by_id` / **`list_documents`（ページング）** / **`list_categories`** / `get_document_count` / `get_document` / `delete_document` / `lsa_retrain`（RE-INDEX） +- ドキュメント件数の表示（ヘッダー「X docs」・`get_document_count`） +- **文書一覧 UI のページング**（前へ・次へ、20 件/ページ） +- インデックス状態の表示（ベクトル同期中・HNSW 構築状況） +- ログイン時の自動起動（オプション） +- トレイ常駐・バージョン表示 + +--- + +## ご利用方法 + +**インストーラ**: `TelosDB-Pro_0.3.3.1_x64-setup.exe` を実行してインストールしてください。埋め込みモデルはインストーラに含まれており、追加のダウンロードは不要です。 + +**ソースからビルドする場合**（配布用インストーラを作る開発者向け）: + +1. [sentence-bert-base-ja-mean-tokens-v2-int8](https://gitbucket.tmworks.club/dtmoyaji/sentence-bert-base-ja-mean-tokens-v2-int8) から `target/` 一式（`model_quantized.onnx`・`vocab.txt`）を取得し、プロジェクトの **`embedding_model/`** に配置します。 +2. `npm run build:pro` を実行すると、それらがインストーラに同梱された Pro 版がビルドされます。 + +```bash +npm install +npm run build:pro +``` + +- 出力: `target/release/bundle/nsis/TelosDB-Pro_0.3.3.1_x64-setup.exe`（モデル同梱） +- 初回起動時に vec0.dll がアプリデータフォルダへコピーされます。不具合時は `%APPDATA%\com.telosdb.app\logs\telos.log` をご確認ください。 + +--- + +モデル不要で手軽に始めたい方は **Community 版**をご利用ください。 +→ [TelosDB Community 版 商品紹介](RELEASE_v0.3.3.1_Community.md) diff --git a/RELEASE_v0.3.3_Community.md b/RELEASE_v0.3.3_Community.md deleted file mode 100644 index 6192eb3..0000000 --- a/RELEASE_v0.3.3_Community.md +++ /dev/null @@ -1,93 +0,0 @@ -# TelosDB Community 版 v0.3.3 — 商品紹介 - -## そのまま使える、ローカル完結の意味検索 - -**TelosDB Community 版**は、追加のモデルや設定なしで、すぐに意味検索を始められるデスクトップアプリです。データはすべてお使いの PC 内に留まり、クラウドへ一切送信しません。 - ---- - -## こんな方におすすめ - -- まずは手軽に意味検索を試したい -- モデルのダウンロードや GPU 環境を用意したくない -- 個人のメモやドキュメントを「意味で」探したい -- Cursor や Claude Desktop など AI ツールと MCP で連携したい - ---- - -## Community 版の特長 - -### モデル不要で動く - -LSA（潜在意味解析）により、**50 次元のベクトル**で文書を表現します。大きな AI モデルは不要。インストール後、そのまま検索できます。 - -### キーワードも自然な文も、そのまま検索 - -「春の歌」でも「桜の季節に聴きたい曲」のような文でも検索可能。結果は**文書単位**でまとめて返すため、どのドキュメントがヒットしたかが分かりやすくなっています。 - -### MCP で AI とつながる - -Model Context Protocol（MCP）に対応。Cursor や Claude Desktop から「検索」「追加」「RE-INDEX」などのツールとして TelosDB を呼び出せます。AI エージェントの「記憶」として利用するのに最適です。 - -### 自動でインデックスを整える - -ドキュメントの増減に応じて、バックグラウンドで LSA を再学習。画面上では「LSA学習中…」「ベクトル同期中…」の表示で進行状況を確認できます。必要に応じて RE-INDEX で手動再構築も可能です。 - -### ログイン時に自動起動（オプション） - -設定で「OSにログインしたときに自動で起動する」をオンにすると、Windows にサインインしたタイミングで TelosDB が起動し、トレイで待機。いつでも MCP 経由で検索できます。 - -### フォルダ監視で自動取り込み（New） - -指定したフォルダを常時監視し、ファイルの追加・更新・削除を自動検知してインデックスに反映します。テキストやマークダウンを保存するだけで、検索対象に自動登録。フォルダごとにカテゴリ名を付けられるため、検索時の分類にも活用できます。 - ---- - -## v0.3.3 の主な変更点 - -### 新機能 - -- **フォルダ監視**: 指定フォルダ内のファイル追加・更新・削除を自動検知し、インデックスに反映。設定パネルからフォルダの追加・削除・カテゴリ指定が可能。取込対象の拡張子もカスタマイズ可能（デフォルト: txt, md, json, html, css, js, mjs, ts, rs）。 -- **接続状態表示**: MCP サーバーへの接続状態を UI に表示。 - -### 改善 - -- **自動起動の安定化**: 設定ファイル読み込み失敗時にレジストリエントリが消える問題を修正。`isEnabled()` で OS の実状態と比較し、不一致時のみ登録を更新するように改善。失敗時のエラー表示を追加。 -- **バックエンドリファクタリング**: MCP ツールの登録を `registry.rs` に集約し、検索ロジックを `search.rs` に整理。DB アクセス関数を `db/mod.rs` に追加。 -- **DB マイグレーション**: ドキュメントパスの正規化マイグレーションを追加（テーブル未存在時はスキップ）。 -- **バージョン表示の安定化**: フッターのバージョン取得でサーバー未応答時のビジーウェイトとフォールバック未設定の問題を修正。 -- **E2E テスト**: 自動起動・フォルダ監視・パネル操作・文書編集のテストを追加。 - ---- - -## 含まれる機能（v0.3.3） - -- 意味検索（LSA 50 次元）＋ 全文検索（FTS5）のハイブリッド検索 -- 検索結果の文書単位表示（`group_by_document`） -- **フォルダ監視**: 指定フォルダの自動取り込み・カテゴリ指定・拡張子フィルタ -- MCP ツール: `search_text` / `add_item_text` / `update_item` / `delete_item` / `get_item_by_id` / `get_document_count` / `lsa_retrain`（RE-INDEX） -- ドキュメント件数の表示（ヘッダー「X docs」・`get_document_count`） -- インデックス状態の表示（LSA学習中・ベクトル同期中） -- ログイン時の自動起動（オプション） -- トレイ常駐・バージョン表示 - ---- - -## ご利用方法 - -**インストーラ**: `TelosDB-Community_0.3.3_x64-setup.exe` を実行してインストールしてください。 - -**ソースからビルドする場合**: - -```bash -npm install -npm run build:community -``` - -- 出力: `src/backend/target/release/bundle/nsis/TelosDB-Community_0.3.3_x64-setup.exe` -- 初回起動時に vec0.dll がアプリデータフォルダへコピーされます。不具合時は `%APPDATA%\com.telosdb.app\logs\telos.log` をご確認ください。 - ---- - -より高精度な意味検索をご希望の方は **Pro 版**をご検討ください。 -→ [TelosDB Pro 版 商品紹介](RELEASE_v0.3.3_Pro.md) diff --git a/RELEASE_v0.3.3_Pro.md b/RELEASE_v0.3.3_Pro.md deleted file mode 100644 index 686a66a..0000000 --- a/RELEASE_v0.3.3_Pro.md +++ /dev/null @@ -1,107 +0,0 @@ -# TelosDB Pro 版 v0.3.3 — 商品紹介 - -## 日本語に強い、高精度な意味検索 - -**TelosDB Pro 版**は、日本語向けの埋め込みモデル（768 次元）を**インストーラに同梱**したエディションです。インストールするだけで、言い回しの違いに強い高精度な意味検索が使えます。ビジネス文書や学術メモの検索に適し、データはすべてローカルで完結。クラウドへ送信しません。 - ---- - -## こんな方におすすめ - -- 検索精度をより高めたい -- 「似た意味の文」でしっかりヒットさせたい -- 報告書・論文・仕様書などフォーマルな日本語を扱う -- Cursor や Claude Desktop と MCP で連携し、高品質な検索結果を AI に渡したい - ---- - -## Pro 版の特長 - -### 日本語特化の埋め込みで高精度 - -**sentence-BERT 系の日本語モデル**（768 次元）で文書をベクトル化。キーワードの一致だけでなく、「言い換え」や「関連する表現」にも強く、自然な文で検索できます。結果は**文書単位**で返るため、どのドキュメントが該当したかが一目で分かります。 - -### 量子化モデルで軽く・速く（インストーラに同梱） - -推論用に **INT8 量子化した ONNX モデル**を使用。GPU は不要で、一般的な PC の CPU だけで動作します。**モデルはインストーラに含まれており、別途ダウンロードは不要**。インストール後すぐに高精度検索をご利用いただけます。 - -### MCP で AI とつながる - -Model Context Protocol（MCP）に対応。Cursor や Claude Desktop から「検索」「追加」「RE-INDEX」などのツールとして TelosDB を呼び出せます。高精度な検索結果を AI のコンテキストとしてそのまま利用できます。 - -### インデックス状態が分かる - -起動時や RE-INDEX 時に、HNSW の構築状況などが画面上で確認できます。「Pro」バッジでエディションが識別でき、モデルの読み込み状態も把握しやすくなっています。 - -### ログイン時に自動起動（オプション） - -設定で「OSにログインしたときに自動で起動する」をオンにすると、Windows にサインインしたタイミングで TelosDB が起動。トレイで待機し、いつでも MCP 経由で高精度検索を利用できます。 - -### フォルダ監視で自動取り込み（New） - -指定したフォルダを常時監視し、ファイルの追加・更新・削除を自動検知してインデックスに反映します。テキストやマークダウンを保存するだけで、高精度な意味検索の対象に自動登録。フォルダごとにカテゴリ名を付けられるため、検索時の分類にも活用できます。 - ---- - -## v0.3.3 の主な変更点 - -### 新機能 - -- **フォルダ監視**: 指定フォルダ内のファイル追加・更新・削除を自動検知し、インデックスに反映。設定パネルからフォルダの追加・削除・カテゴリ指定が可能。取込対象の拡張子もカスタマイズ可能（デフォルト: txt, md, json, html, css, js, mjs, ts, rs）。 -- **接続状態表示**: MCP サーバーへの接続状態を UI に表示。 - -### 改善 - -- **自動起動の安定化**: 設定ファイル読み込み失敗時にレジストリエントリが消える問題を修正。`isEnabled()` で OS の実状態と比較し、不一致時のみ登録を更新するように改善。失敗時のエラー表示を追加。 -- **バックエンドリファクタリング**: MCP ツールの登録を `registry.rs` に集約し、検索ロジックを `search.rs` に整理。DB アクセス関数を `db/mod.rs` に追加。 -- **DB マイグレーション**: ドキュメントパスの正規化マイグレーションを追加（テーブル未存在時はスキップ）。 -- **バージョン表示の安定化**: フッターのバージョン取得でサーバー未応答時のビジーウェイトとフォールバック未設定の問題を修正。 -- **E2E テスト**: 自動起動・フォルダ監視・パネル操作・文書編集のテストを追加。 - ---- - -## インストーラにモデル同梱 - -Pro 版のインストーラ（`TelosDB-Pro_0.3.3_x64-setup.exe`）には、**埋め込み用の量子化 ONNX モデル**が同梱されています。 - -- **利用者**: 別途モデルのダウンロードは不要。インストールするだけで、インストール先のリソースから自動的にモデルが参照され、高精度な意味検索が利用できます。 -- **同梱内容**: `model_quantized.onnx`（日本語 sentence-BERT 量子化モデル）・`vocab.txt`（語彙）。 -- モデルが読み込めない場合でも、全文検索（FTS）のみで検索は可能です。 - ---- - -## 含まれる機能（v0.3.3） - -- **埋め込みモデルのインストーラ同梱**（別途ダウンロード不要。インストール先から自動参照） -- 意味検索（埋め込み 768 次元）＋ 全文検索（FTS5）のハイブリッド検索 -- 検索結果の文書単位表示（`group_by_document`） -- **フォルダ監視**: 指定フォルダの自動取り込み・カテゴリ指定・拡張子フィルタ -- MCP ツール: `search_text` / `add_item_text` / `update_item` / `delete_item` / `get_item_by_id` / `get_document_count` / `lsa_retrain`（RE-INDEX） -- ドキュメント件数の表示（ヘッダー「X docs」・`get_document_count`） -- インデックス状態の表示（ベクトル同期中・HNSW 構築状況） -- ログイン時の自動起動（オプション） -- トレイ常駐・バージョン表示 - ---- - -## ご利用方法 - -**インストーラ**: `TelosDB-Pro_0.3.3_x64-setup.exe` を実行してインストールしてください。埋め込みモデルはインストーラに含まれており、追加のダウンロードは不要です。 - -**ソースからビルドする場合**（配布用インストーラを作る開発者向け）: - -1. [sentence-bert-base-ja-mean-tokens-v2-int8](https://gitbucket.tmworks.club/dtmoyaji/sentence-bert-base-ja-mean-tokens-v2-int8) から `target/` 一式（`model_quantized.onnx`・`vocab.txt`）を取得し、プロジェクトの **`embedding_model/`** に配置します。 -2. `npm run build:pro` を実行すると、それらがインストーラに同梱された Pro 版がビルドされます。 - -```bash -npm install -npm run build:pro -``` - -- 出力: `src/backend/target/release/bundle/nsis/TelosDB-Pro_0.3.3_x64-setup.exe`（モデル同梱） -- 初回起動時に vec0.dll がアプリデータフォルダへコピーされます。不具合時は `%APPDATA%\com.telosdb.app\logs\telos.log` をご確認ください。 - ---- - -モデル不要で手軽に始めたい方は **Community 版**をご利用ください。 -→ [TelosDB Community 版 商品紹介](RELEASE_v0.3.3_Community.md)