「70Bの大モデルは専用グラフィックスカードと数十GBのVRAM（グラフィックスカード上のメモリ、モデル実行中はデータがここに置かれる）が必要」——この常識を覆すオープンソースツールが現れた。AirLLMは、70Bの大モデルを単一の4GBコンシューマー向けグラフィックスカードで動作させ、量子化（モデルの精度を下げて資源を節約する手法、効果は少し落ちる）や蒸留（大モデルで小モデルを育て、小型化する手法）を必要としない。さらに驚くべきことに、現在最大のオープンソースモデル（ファイルを公開し、誰でも無料で使えるモデル）である2.8兆パラメータのKimi K3を、これを使って動作させるとわずか3.72GBのVRAMしか必要としない。このプロジェクトは8月初めにGitHubのトレンドランキングで3位に浮上した。
4GBのグラフィックスカードで70Bを動かす、今回はKimi K3が話題に
AirLLMは実際には新しいプロジェクトではなく、2023年末から改良が続けられてきた。今回は、2026年7月にKimi K3のサポートが追加されたことで注目を浴びた——これは現在最大のオープンソースモデルで、2.8兆のパラメータを持つ。公式の実測では、1枚のRTX 6000 Ada上で、Kimi K3のVRAM使用量は3.72GBで安定している。
「少ないVRAMで大規模モデルを動作させる」ためのリストは非常に直感的だ：70BのLlama 3.xは約4GB、405BのLlama 3.1は約8GB、671BのDeepSeek-V3は約12GB、235BのQwen3は約3GB。これらのすべてが量子化、蒸留、プルーニングに頼らず——生の精度で動作する。
どのように実現したか：VRAMには一度に1層だけロード
AirLLMを理解するには、まず直感を修正する必要がある：大モデルを動作させるために必要なVRAMは、モデルの総パラメータ数ではなく、一度にVRAMにロードする量に依存する。従来の方法は、モデル全体を一度にVRAMにロードするため、モデルが大きければ大きいほど必要なVRAMも大きくなる。AirLLMはその逆だ：推論時にはVRAMには常に現在の層の重みだけが残り、計算が終わると次の層に交換される。
このように、必要なVRAMは「1層のサイズ」にのみ依存し、「モデルの総サイズ」には依存しない。どんなに大きなモデルでも、一層ずつ処理されるので、4GBでも70Bを動作させることができる。
MoE（混合専門家モデル、各単語は少数の「専門家」サブネットワークを通過するだけで、すべてを通過するわけではない）モデルではさらに節約できる：各単語は実際には少数の専門家にのみルーティングされ、AirLLMは現在の単語に必要な専門家だけをストリーミングロードし、他の数百の専門家のことは触らない。これが2.8TのKimi K3が3.72GBに抑えられる理由だ。
実際のコストは明確：遅い
この世には無料のランチはない。AirLLMが節約するのはVRAMであり、代償は速度だ。計算するたびにディスクからその層をVRAMに転送する必要があるため、ボトルネックはディスクの読み書き速度にあり、したがってその推論（モデルが答えを計算する過程）遅延は、モデル全体を常駐させる方式よりも明らかに長くなる。
公式にも緩和策が示されている：prefetching（プリフェッチ、次の層を事前に転送し、転送と計算をオーバーラップさせる）を有効にすると約10%速度が向上する。また、4ビット圧縮を使用すると、転送量を減らし、約3倍の速度向上を実現し、精度の損失はほとんどない。しかし、それでもこの設計目標は「極端に限られたハードウェアで動作させること」であって、「速く動作させること」ではない。
AirLLMは「動作できるか」を解決するものであって、「速いかどうか」は解決しない。低遅延で高並列のリアルタイムサービスには、vLLMやllama.cppのようなソリューションを使うべきだ。AirLLMが適しているのは、「VRAMが限られているが、とにかくローカルで大規模モデルを動作させたい」という場面だ。
大規模モデルの民主化：敷居が下がることで何が意味されるか
視点を広げよう。AirLLMのようなツールの真の意味は、「VRAM節約」自体にあるのではなく、「ローカルで大規模モデルを動作させる」ためのハードウェアの敷居をデータセンター級からコンシューマー級に引き下げたことにある——数千円のグラフィックスカードで70B、さらには2.8Tを動作させることができる。
これにより2つの具体的な変化が生まれる。第一に、プライバシー：機密データをサードパーティのAPIにアップロードせずに、ローカルで推論できるため、金融、医療、法務といったデータに敏感な場面では必須となる。第二に、アクセシビリティ：GPUクラスターを持たない個人や小規模チームでも、トップクラスのオープンソースモデル——Kimi K3、DeepSeek-V3などに触れることができる——もはや「見ることはできるが動作させることはできない」ということはない。
もちろん冷静になる必要がある：遅い、ディスクを消費する（初回分割時は非常にスペースを取る）、設定上いくつかの問題点がある（例えばKimi K3はflash-attn、CUDA 12、transformers 4.56.xが必須）。これは万能薬ではなく、「動作できるか」という扉を開いただけだ。
誰が使うべきか、どう使うべきか、何を避けるべきか
もしあなたが4-8GBのVRAMを持つコンシューマー向けグラフィックスカードしか持っておらず、70Bまたはそれ以上のモデルを動作させたい場合、AirLLMを試す価値がある。インストールは一行で済み、使い方は通常のtransformersとほとんど同じだ。
インストール：pip install airllmを実行し、AutoModel.from_pretrained(モデル名)で一行ロード。モデル変更時はこの行だけを変更。
ディスク容量確保：初回実行時にモデルを層ごとに分割してディスクに保存するため、非常にスペースを取る。MetadataIncompleteBufferのエラーが出た場合は、ディスク容量不足の可能性が高く、キャッシュを消去して再実行。
速度向上：bitsandbytesをインストール後、compression='4bit'を追加すると、約3倍の速度向上。精度の損失はほとんどない。
Kimi K3を動作させる際の注意点：pip install compressed-tensors flash-attnを実行し、CUDA 12版のtorchとtransformers 4.56.xが必要。
大規模モデル推論のボトルネックは「モデルサイズ」ではなく、「一度にVRAMにどれだけロードするか」にある。AirLLMは「一度に1層だけロード」することで70Bを4GBに押し込むが、その代償は遅いということだ。ローカルで大規模モデルを動作させたいがVRAMが足りないという人は、今すぐpip install airllmを試してみよう。高速なリアルタイムサービスが必要な場合は、vLLMの方へどうぞ。
この記事のデータは、AirLLM GitHub公式ドキュメント（一級情報源）およびGitHubトレンドから得たものである。VRAM使用量は公式/実測ベースであり、実際のハードウェアとモデルによって異なる。文中「70B」「2.8T」などのパラメータはモデル規模の表現である。