2.8兆パラメータが、無料で落ちてくる
Kimi K3の重みファイルは、誰でもダウンロードできます(Hugging Face・ゲートなし・約1.56TB)。サイズは2.8兆パラメータ — 公開されている中で史上最大です。DeepSeek V4は1.6兆、GLM-5は7,440億。「オープン=小さくて安いが弱い」という前提は、もう成り立ちません。どれくらいの巨体が、どれくらいの値段で、どこまでGPTやClaudeに迫っているのか。3つの図にしました。
🎙 60秒の音声版(KOEの声クローンで生成):
図1: 大きさ — オープンモデルの巨大化
図1b: 見えない相手の大きさを「予想」する
クローズドの規模は非公開 — でも、外から推定する方法はあります。主なやり方は2つ。推論の経済からの逆算(応答速度・消費電力・提供コストは、動かしているパラメータ数に物理的に縛られる)と、2026年4月に出た知識容量プローブ(IKP)(事実知識は圧縮できないので、「何を知っているか」を1,400問で測ればサイズが逆算できる。既知の89モデルで較正、R²=0.917、誤差中央値1.59倍)。ただし較正に使えた公開モデルは最大1.6Tなので、それより上の推定は外挿で、誤差はさらに大きくなります。ここからの数字はすべて推定と予想で、公式値ではありません。
大胆予想: 「桁違いの巨大モデル」は、たぶんどこにも無い
ここからは当社(というより筆者)の予想です。クローズド勢が隠し持つモデルは、オープン最大のK3から見て1桁以内 — 「100兆パラメータの秘密兵器」は存在しないと見ています。根拠は3つ。
- 学習は時間で縛られる。パラメータを10倍にすれば必要計算量はさらに跳ね、フロンティア1回の事前学習はすでに数ヶ月+数億ドル規模。電力供給も逼迫しており、「こっそり2桁上」を作る時間も電気も、誰の決算にも見当たらない
- 大きすぎるモデルは配れない。Epoch AIの分析では、フロンティアは一度GPT-4より小さくなった実績すらある(GPT-4o≈GPT-4の1/8前後)。推論コストと応答速度が商売を決めるので、巨大化は「知識の器」が必要な分だけに抑えられる
- 秘密は漏れがち(これは傍証)。Mythos(開発コード名Capybara)は公開前に内部文書ごと漏れて~10Tと報じられた。1件のリークは「他に秘密が無い」証明にはならないが、IKPの推定でも各社トップの答えが同じ桁(数T帯)に落ちているのとは整合する
では「本当に大きいの」はいつ出てくるか — これも予想しておきます。フロンティアの1世代は、事前学習4〜6ヶ月 → 強化学習・調整3〜6ヶ月 → 安全評価と提供準備3〜6ヶ月で、発表間隔はだいたい18〜24ヶ月です。Mythosの調整が2026年前半に終わったとすると、次の「ひと回り大きい」の事前学習は次世代ハード(Stargate級の1GWデータセンター+新世代GPU)が立ち上がる2027年に回り、世に出るのは2027年末〜2028年前半と読みます。ただしサイズは跳ねない: 計算を10倍にしても、学習則(計算最適のバランス)ではパラメータは3倍前後にしか増やさないのが合理的で、しかも高品質データの枯渇がそれを後押しする。つまり次は10〜30T級、100T級は2020年代には来ない — というのがこのページの追加予想です。
「機械がハードを作る」ようになったら、どれだけ早まるか。いまの律速はハードウェアです: チップの世代交代18〜24ヶ月、先端ファブの建設3〜5年(1棟2〜3兆円)、データセンター建設と送電網接続2〜4年、そして学習の実行4〜6ヶ月。このうちAIとロボットで縮むのは、まず設計 — チップの配置設計はすでにAIがやっていて(GoogleはTPUの設計にAlphaChipを実使用)、検証支援も含めて設計工程で3〜6ヶ月縮む。ファブの中身はすでにほぼ無人です。縮まないのは、EUV露光装置(数千社のサプライチェーンと職人的な組立)、建屋、そして電力インフラ — 変圧器・タービン・送電線のリードタイムは3〜5年で、これはロボットが現場に入っても物流と規制が律速。全部うまく効いても、世代間隔は18〜24ヶ月→10〜12ヶ月、つまり加速はせいぜい2倍で、桁では縮まないと見ます。上の「2027年末〜28年前半」予想も、機械がハードを作る未来を織り込んで前倒しできるのは1〜2四半期分。むしろ加速が速いのはソフト側(合成データ・アルゴリズム改善)です。
この見立てだと、リーク報道の~10T(K3の約3.6倍)から当社予想の上限~22T(K3の約8倍)まで幅を取っても、オープンとクローズドの差は1桁以内(数倍)。重みが落ちてくる側が兆単位に到達した今、規模の壁はほぼ消えたことになります。外れたら、このページで訂正します。
この予想への賛否 — 世の中の意見
都合のいい話だけ並べてもフェアではないので、この予想を支える意見と崩す意見を両方置いておきます。
| 🟢 支える意見 | 🔴 崩す意見 |
|---|---|
| Epoch AI: フロンティアは一度GPT-4(~1.8T)より小さくなった(GPT-4o≈1/8前後)。推論経済がサイズを抑える実績 | 計算基盤は現に桁上げ中 — Stargate Abilene単体で1.2GW・GB200を45万基規模(2026年央)。「10倍の事前学習」を回す箱は物理的に建ちつつある |
| LessWrongのIKP再検証: 採点補正後はGPT-5.5 ~1.5T / Opus 4.7 ~1.1T — クローズドがK3(2.8T)より小さい可能性すら示唆 | 「スケーリングの壁は蜃気楼だった」派: 2025年の停滞は一時的な踊り場で、事前学習はまだ成長エンジンという反論も現役 |
| 収穫逓減+データの壁: 高品質な公開テキストは2026〜28年に枯渇見込みで、事前学習コンピュートを倍にしても最難問の改善は1〜2割という分析。各社の投資は推論時計算(reasoning)へ移行中 | リーク値そのものが反証: Mythos ~10T報道が正しければK3の3.6倍で、「並んだ」と言うにはまだ差がある。IKPの原推定(GPT-5.5 ~9.7T)も同方向 |
出典: Transformer News「本当に大きいモデルはどこへ行った?」 / OpenAI Stargate発表 / スケーリング則の収穫逓減分析。どちらの陣営が正しいかは、次のフロンティア発表とその提供価格が教えてくれます。
図2: 派生のしくみ — 「安いモデル」はどう作られるか
「Flash Lite は 3.0 を量子化してファインチューンしたもの?」と思われがちですが、実際は3つの別の軸が組み合わさっています。同じ家系(例: 画像のGemini 3系)で見ると:
図3: どこまで迫ったか — 賢さ×価格(実測)
数字で見る(表)
| モデル | 総パラメータ | 稼働(MoE) | 重み | 日本語148問 | 出力単価 |
|---|---|---|---|---|---|
| GPT-5.6 sol | 非公開 | 非公開 | — | 94% | $15.0/M |
| Claude Sonnet 5 | 非公開 | 非公開 | — | 94%※ | $15.0/M |
| Kimi K3 | 2.8T | 104B | 公開(改変MIT・MXFP4) | 92% | $15.0/M |
| DeepSeek V4 Pro | 1.6T | 49B | 公開 | 89% | $1.98/M |
| GLM-5.2 | 744B | 40B | 公開(MIT) | 88% | $0.968/M |
| Qwen3.5-397B | 397B | 17B | 公開 | 87% | $2.34/M |
パラメータ数は各社公式発表(2026)。Qwenは別途「Max」系(1兆級)をAPI提供していますが重みは非公開のため表はオープン版397Bを記載。単価は当社ゲートウェイのライブ値(市場建値連動・6時間毎改定)。
まとめ
- 大きさではもう並んだ。公開重み最大のK3は2.8兆。クローズドの規模は非公開だが、「オープン=小型」の時代は終わった
- クローズドとの差は1桁以内(当社予想)。外部推定(推論の電力・コスト・速度からの逆算+知識容量プローブ)ではトップ勢は3〜10T帯。隠れた100Tモデルは、学習時間・電力・リーク実績のどれから見ても無さそう
- 賢さは2〜7点差まで肉薄(日本語実務の実測)。価格はDeepSeek/GLM/Qwenが1/6〜1/15
- 安さの正体は3つの軸 — 小型設計(Flash/Lite)、量子化(K3のMXFP4)、MoE(2.8兆を保存して104Bだけ動かす)。どれも「手抜き」ではなく設計
- だからteai.ioは毎日カタログと価格を取り込み、実生成・実測で既定モデルを入れ替え続けます
続編: 核融合が来たら、宇宙データセンターは要らないのか【図解】 — 同じ「制約から逆算する」方法で、計算の置き場所を考えます。