v0.1.0
a64ec18
13 hours ago

v0.1.0

@dtmoyaji dtmoyaji released this 13 hours ago

リリースノート

v0.1.0 (2025-03-06)

初回リリース。sonoisa/sentence-bert-base-ja-mean-tokens-v2 を ONNX にエクスポートし、INT8 静的量子化したモデルをビルド・配布するためのパイプラインを提供します。

含まれるもの

  • ビルドスクリプト
    • export_onnx.py … Hugging Face のモデルを ONNX (FP32) にエクスポート。トークナイザー・config は配布用に target/ に保存。
    • quantize.py … キャリブレーション用文(build/sentences.txt)で静的量子化し、target/model_quantized.onnx を出力。
  • 配布物の出力先: target/ に配布するものだけが出力される(model_quantized.onnx とトークナイザー・config)。中間ファイルは build/
  • 実行用: setup_venv.bat(仮想環境作成)、run_quantize.bat(エクスポート〜量子化の一括実行)。Windows で set PYTHONUTF8=1 を設定して Unicode エラーを防止。
  • 推論・テスト: scripts/run_inference.pytarget/ の動作確認。test/ に pytest 用のテストを同梱。
  • その他: .gitattributes で LF 統一。requirements にバージョン上限を指定して再現ビルドをしやすくした。

使い方(ビルド)

  1. setup_venv.bat で環境構築(または pip install -r requirements.txt
  2. run_quantize.bat でエクスポートと量子化を一括実行
  3. 配布するときは target/ 一式を ZIP などで渡す

クレジット