記事サマリー
「このモデル、メインメモリなら乗るんだけど、ビデオカードのVRAMが少ないから遅くて使えない」というVRAM不足の悩みに対して、強力な解決策になりそうなのが無料のAIモデル実行環境「FreeToken」。現在公式サイトから無料でダウンロード可能で、ライセンスはApache 2.0（オープンソース）。
- MoE（Mixture-of-Experts）モデルの実行に特化した実行環境
- 少ないVRAMのゲーミングGPUでも巨大なMoEモデルを高速動作させられる
- 無料・オープンソース（Apache 2.0）で利用可能
仕組み：なぜVRAMが少なくても高速なのか
MoEモデルの特性を活用
MoEモデルは、すべてのパラメータのうち一部のエキスパートだけを有効化して処理するため、総パラメータ数の見かけほどメモリを消費しない。FreeTokenはこれを活用し、有効化されたパラメータだけをGPUのVRAMにロードし、メインメモリより高速なVRAM帯域幅を利用して処理することで高速化を実現している。
従来環境（llama.cpp）との違い
- llama.cppにも「VRAMに載らなかった分をメインメモリに置く」機能はある
- しかしこれは層単位での静的な配置であり、入らなかった分はOSのページングかCPU処理になるためボトルネックが発生していた
- FreeTokenは推論のたびに必要なエキスパートだけをGPUに呼び出す動的な方式
採用されている主な技術
- LRU（Least Recently Used）キャッシュ：直近使われない重みを置き換えることでVRAMを効率利用
- 動的なVRAM割り当て：コンテキスト長などに応じてKVキャッシュとエキスパートキャッシュ間の割り当てを動的に変更
- 転送と計算の同時実行：プリフィル時にGPUへエキスパートの重みを転送しながら同時に計算を行い、待ち時間を隠蔽
実測パフォーマンス
FreeTokenの論文を執筆したカリフォルニア大学バークレー校のShuo Yang氏による検証結果：
| GPU環境 | モデル | 速度 |
|---|
| GeForce RTX 4060 Laptop（8GB） | Qwen3.6-35B-A3B | 39 tok/s |
| GeForce RTX 5090（32GB） | DeepSeek-V4-Flash 284B | 22〜25 tok/s |
| RTX PRO 6000 Workstation | GLM-5.2 753B | 15 tok/s |
Ollamaとの比較：decodeが3〜4倍高速、プリフィル（prompt処理）が6〜30倍高速。帶域幅適応型のCPU–GPU実行と、エージェントターンをまたぐセマンティックアウェア・キャッシュの導入によるもの（開発者発表）。
使い勝手のポイント
- ネイティブGUIを提供しており、初心者でも扱いやすい
- GGUF変換が不要でそのままモデルを利用可能
- ソースからのビルド不要、ワンクリックで導入できる
ミドルレンジのゲーミングPCでも手元で巨大モデルを動かしたい人には、かなり注目のプロダクトと言えそう。
関連情報
- 掲載メディア: PC Watch（2026年8月24日 14:04 配信）
- ライセンス: Apache 2.0 / 公式サイトから無料ダウンロード可能
- 論文著者: Shuo Yang 氏（カリフォルニア大学バークレー校）