情報確認日：2026年10月15日
AIモデル名のQ4・Q8は、主に重みをどの程度の細かさで保存するかを示す量子化の表記です。同じ元モデルなら、一般に低いビット数の方がファイルと重みのメモリを減らせます。ただしQ4は「性能が4割」、Q8は「8割」という意味ではなく、PC全体の必要メモリや回答品質が単純な比率になるわけでもありません。
選ぶときは、元モデル、量子化方式、対応する実行ソフトをそろえて比較します。ファイルが小さいことに加え、自分の質問で回答が保てるか、必要な長さの文章を扱えるかを確かめます。
量子化で小さくなるもの
AIモデルは、多数の数値である「重み」を使います。量子化は、こうした数値の表現を低い精度へ変え、保存や計算に必要な資源を減らす方法です。Hugging Faceの量子化の概要も、メモリ削減と精度の関係を説明しています。
Q4・Q8の数字は、4ビット系・8ビット系の表現を見分ける手掛かりになります。一方、同じ「Q4」でも方式や追加情報の持ち方が違うため、末尾まで含む形式名を見ます。
たとえば、llama.cppの一覧にはQ4_0、Q8_0、Q4_Kなどが別々に載っています。Q4_Kには数値の尺度などの情報もあり、一覧上の値は重み当たり4.5ビットです。形式の公式一覧を見れば、「Q4ならファイル全体が常に厳密な4ビットだけ」とはいえないことが分かります。
パラメーター数やモデルの世代とは別
モデル名にあるBは、パラメーター数を表す場合があります。Q4・Q8はその数自体を示す表示ではありません。大きな元モデルのQ4と、小さな元モデルのQ8を比べても、量子化だけの違いは分離できません。
| 確認する表示 | 分かること |
|---|---|
| 元モデル名・版 | 何を土台にしたモデルか |
| パラメーター数 | モデルの規模の目安 |
| Q4_K_M・Q8_0など | 重みの量子化方式の区別 |
| ファイル形式・対応ソフト | 手元の実行環境で読み込めるか |
モデルの配布ページでは、形式名だけでなく、元モデルへのリンク、作成方法、利用条件も読みます。量子化した配布物だからといって、元モデルの利用条件がなくなるわけではありません。
ファイル容量だけで実行メモリは決まらない
実行時は重み以外の領域も使います。特に長い文脈を扱うときは、過去の計算を再利用するKVキャッシュがメモリを占めます。Hugging Faceのキャッシュの案内は、長い文脈でのメモリ負担や、CPUへ移す方式との速度の交換条件を説明しています。
そのため、ダウンロードできた、ファイルが空き容量に収まったというだけで、希望する長さの会話が動くとは限りません。読み込み直後は動いても、文章を長くするとメモリ不足になる場合があります。
GPUへ載せる範囲、CPUメモリ、実行ソフトの設定、ほかのアプリの使用状況も合わせて見ます。「ファイル容量と同じRAMがあれば必ず十分」といった見積もりは避けます。
Q4の方が必ず速いとはいえない
llama.cppの量子化ツールの説明は、サイズ削減や高速化の可能性と、品質が下がる可能性を示しています。実際の速度は、方式に対応した処理と機器の組合せによって変わります。
比較するときは同じ元モデルと版を使い、質問、出力の長さ、文脈の長さをそろえます。読み込み時間と回答中の速度も分けて記録します。短い挨拶だけで判断せず、普段扱う日本語、数字、要約、コードなどを含めます。
品質は、文が自然かだけでなく、必要な条件を落としていないか、指定形式を守るか、計算や固有名詞が崩れないかを見ます。速度だけを比べて、自分に必要な情報が欠けた版を選ばないようにします。
試した版から戻すには
変更前のモデル名、版、完全な形式名、設定を残してから別の配布物を試します。うまく動かなければ、実行ソフトで元のモデルと設定へ戻し、同じ質問で再確認します。
Q4のファイルをQ8へ再変換しても、低精度化で失った情報を元どおりに復元できるわけではありません。llama.cppも再量子化による品質低下に注意を促しています。違う形式を試す場合は、必要に応じて元の高精度モデルから作成された配布物を選びます。
小ささ、速度、品質のどれを優先するかを決め、許容できる範囲を実際の用途で確かめることが選択の基準になります。
参照資料
- Hugging Face：Quantization overview
- llama.cpp：Tensor Encoding Schemes
- Hugging Face：KV cache strategies
- llama.cpp：Quantize tool
あわせて読みたい記事
執筆・検証：カネさん（政経プラスチャンネル運営）＋ ChatGPT
