計画: LDA（潜在的ディリクレ配分）の扱い

1. 目的と背景

LSA と LDA はコミュニティ版専用の実装とする。Pro 版は埋め込みモデルのみでベクトル化し、LSA/LDA のコードは含めない。

現在の Community 版は LSA（Latent Semantic Analysis） のみで文書チャンクをベクトル化している。ここに LDA（Latent Dirichlet Allocation） を追加し、LSA と LDA を切り替えて使えるようにする。設定で「ベクトル化: LSA」か「ベクトル化: LDA」を選び、選択した方だけを学習・検索に用いる。LDA のトピック数 K は規定 128 次元とし、ユーザー指定で再構成可能とする。

リリース目標: v0.3.3 の Community 版で LDA 対応を実装・出荷する。Pro 版は従来どおり埋め込みのみ。

flowchart LR
  subgraph 現状
    A1[文書・チャンク] --> B1[TF-IDF]
    B1 --> C1[LSA / SVD]
    C1 --> D1[50次元ベクトル]
    D1 --> E1[検索]
  end
  subgraph 追加したい
    A2[文書・チャンク] --> B2[語彙・カウント]
    B2 --> C2[LDA]
    C2 --> D2[トピック分布 128次元 規定]
    D2 --> E2[検索 or トピック表示]
  end

2. 検討事項別ドキュメント

各検討事項は別ファイルに分割している。