alfredplpl/SIP-jmed-llm-2-8x13b-OP-instruct-gguf

はじめに

こちらのモデルは戦略的イノベーション創造プログラム（SIP）第 3 期課題「統合型ヘルスケアシステムの構築における生成 AI 活用」テーマ１「安全性・信頼性を持つオープンな医療 LLM の開発・社会実装」において研究開発されたモデルを使いやすいように量子化などしたモデルです。 使用目的と制限事項をよく読んでから使ってください。

使用目的と制限事項

このモデルは「安全性・信頼性を持つオープンな医療 LLM の開発・社会実装」における研究開発プロトタイプとして開発されました。現段階では研究開発目的のみでの使用を想定しており、実際の臨床現場における疾患の診断や臨床意思決定支援として直接利用することは推奨されません。

制限事項

• 本モデルは研究開発段階のプロトタイプであり、実臨床における安全性・有効性の検証は十分に行われていません。
• 開発者は、本プログラムに関し、その正確性、完全性、最新性、および品質など、いかなる保証も行わず、利用者が本プログラムを利用したこと、利用できなかったことにより生じた一切の損害について責任を負いません。
• 医療行為（診断、治療方針の決定、健康への助言など）に直接適用することは推奨されません。あくまで医療専門家による適切な判断の補助となる情報提供ツールとしての利用可能性を探る研究段階にあります。

実行環境の例

臨床データを使うならば、患者のプライバシーを優先してオンプレミス環境にすることをおすすめします。

• NVIDIA A6000x2 (96GB) や RTX PRO 6000 (96GB) でQ8_0を使う
• Mac Studio (96GB) や Macbook Pro (96GB) でQ8_0を使う
• DGX Spark (128GB) でQ8_0を使う
• Ryzen Al Max+ 395 (128GB) でQ8_0を使う

動作テストするだけであれば、以下の組み合わせも考えられます。

• NVIDIA A6000 (48GB) でIQ4_XSを使う
• RTX 5090 (32GB) でIQ2_XSを使う
• RTX 4090 (24GB) でIQ1_Mを使う
• Macbook Air (32GB) でIQ1_Mを使う

使い方

llama.cpp

必ず--jinjaオプションを付けてください。

CUDA_VISIBLE_DEVICES="0" ./build/bin/llama-server -ngl 100 --model /path/to/SIP-jmed-llm-2-8x13b-OP-instruct-Q4_K_M.gguf --jinja

LM Studio

普通に検索してダウンロードすれば使えるようです。

その他

精度について

本モデルは量子化しているため、元のモデルよりも精度が低下している可能性があります。 Q8_0ならばほぼ低下していないと考えられます。 IQ4_XSあたりが低下しない限界だと思われます。 できれば、Q8_0を使ってください。