Qwen3.8-Flash-NextがゲーミングPCで爆速に動く「Strata」登場

ニュースの要約

総パラメータ125B（1,250億）・アクティブパラメータ6B（60億）の大規模モデル「Qwen3.8-Flash-Next」を、ビデオカード1枚のゲーミングPCで秒間60〜95トークンという高速で動かせる推論エンジン「Strata」が公開されました。開発者はNiko1221氏で、GitHubでMITライセンスとして公開されています。本来なら数百GBのVRAMが必要なモデルを、一般的なコンシューマ向け環境で動かせるようにしたのが最大のポイントです。

必要スペックと動作環境

• VRAM 12GB以上のNVIDIA GeForce RTX 20/30/40/50シリーズ（1枚でOK、2〜3枚での分散にも対応）
• 量子化モデルに応じたメインメモリ（64GBが目安）
• 約80GBのディスク空き容量（モデルは約70GB）
• OS: Windows 10/11 または Linux（Dockerfileも用意）
• LinuxではAMD Radeon RX 7900/9070シリーズの実験的サポートあり

ベンチマーク結果

環境	モデル	速度
RTX 5070 (12GB) + Ryzen 5 7600 + 64GB RAM	Q2_0（短い対話）	93 tok/s
同上（128Kコンテキスト）	Q2_0	74 tok/s
同上	IQ2_XS（推奨）	79 tok/s（プロンプト読込 2,090 tok/s）
RTX 3090 (24GB)	—	100〜140 tok/s と見込まれる

また、RTX 5080 + RTX 3090 のマルチGPU構成では、5080単体と比べてプロンプトの読み取り速度が18〜20%高速だったとのことです。

Strataが高速な理由

• MoEの特性を活かした分担処理：Qwen3.8-Flash-Nextは2万4,576個のエキスパートを持つMoE構造で、1トークン生成に実際に使うのはわずか10個。頻繁使われる数千のエキスパートだけをVRAMに置き、全データをメインメモリへ。GPUにないエキスパートはCPUが並行処理し、GPU/CPUどちらも待たない設計。
• SSD上のルックアップテーブル: 大容量LUTはSSDに置き、必要な数行だけ読み出す。使用頻度の高いエキスパートを学習してGPU側の構成を最適化。
• 投機的デコーディング: モデル内蔵の小型ヘルパーが次の数トークンを推測し、メインモデルが一括検証。品質を保ったまま1.6〜1.8倍高速化。
• プロンプト読み込みの最適化: 最大8,192トークン単位でまとめて処理し、長文ドキュメントやコードベースでも1,000 tok/s以上。

セットアップと機能

• Windows版はZIPを展開して「START-HERE.bat」をダブルクリックするだけ。Python環境・推論エンジン・モデル（約70GB）のダウンロードまで自動完了。
• 起動後はブラウザからチャットと稼働状況モニタリングが可能。
• http://127.0.0.1:8080/v1 でOpenAI互換、/v1/messages でAnthropic互換APIを提供 → 既存のAIコーディングエージェントからローカルモデルとして利用可能。
• 画像入力対応、Thinking（思考）の深さはoff/low/medium/highの4段階から選択可能。

量子化モデルのラインナップ

モデル	必要メモリ	備考
Q2_0	37.6GB	最軽量
IQ2_XS	39.2GB	推奨
IQ3_XXS	47GB	—
IQ3_S	54.8GB	公開ベンチでフル精度と同等の精度

このほか、推論を短くして回答を早く返すUkisAI製ファインチューン「Swift 1.5」も選択できます。

コメント（要約者の感想）

数百GB VRAMクラスの大規模MoEモデルを、RTX 5070とメモリ64GBの「普通のゲーミングPC」で実用速度で動かせるのはかなり衝撃的。OpenAI/Anthropic互換APIをローカルで提供する点も、コーディングエージェント用途への組み込みがしやすく実用的です。