Nvidiaは、Blackwellアーキテクチャの改良によりニューラルネットワークの推論コストが10倍にまで削減されたと発表し、その成功をハードウェアだけでなく他の要因にも帰せていると述べました

Nvidia Blackwellアーキテクチャでの推論コスト削減

Nvidia Blackwellアクセラレータは、学習済みAIシステムの稼働価格を4〜10倍にまで下げることができます。これはNvidia自身が公開したデータです。ただし、関連するソフトウェアとインフラ改善なしでは、このような増幅は実現できません。

大幅なコスト削減を達成した方法
指標 何が役立ったか
- アーキテクチャ Blackwellアクセラレータ
- モデル
- オープンソース（MoE、NVFP4など）
- プラットフォーム Baseten、DeepInfra、Fireworks AI、Together AI
- ソフトウェアスタック 低精度向けに最適化されたパイプライン

* Blackwellへの移行は前世代アクセラレータと比べて効率を倍増させます。
* 低精度フォーマット（例：NVFP4）の使用でさらにコストが削減されます。

実際の事例
企業 | タスク | 成果
---|---|---
Sully.ai | 医療、Baseten上のオープンモデル | 推論コスト90％節約（10倍削減）、応答時間65％短縮。コードと医療記録の自動化で30万分の作業時間を節約。
Latitude (AI Dungeon) | ゲーム、DeepInfra上のMoEモデル | 1百万トークンあたりの推論コストが$0.20から$0.05に減少：まずMoE（最大$0.10）、次にNVFP4で。
Sentient Foundation | エージェントチャット、Fireworks AI | 経済効率が25〜50％向上。プラットフォームは週5.6百万リクエストを遅延増加なしで処理。
Decagon | 顧客音声サポート、Together AI | Blackwell上のマルチモデルスタックによりリクエストコストが6倍削減。数千トークンでも応答時間<400 ms。

ワークロード特性の重要性
* 推論型モデルは多くのトークンを生成するため、より強力なアクセラレータが必要です。
* プラットフォームは「分離サービス」を採用：事前コンテキストとトークン生成を別々に処理し、長いシーケンスを効率的に扱います。
* 大規模生成では最大10倍の効率向上が可能ですが、小規模では4倍までです。

Blackwell以外の代替案
AMD Instinct MI300、Google TPU、Groq、Cerebrasへの移行もコスト削減に寄与します。重要なのは、ワークロードに合わせてハードウェア、ソフトウェア、モデルを組み合わせることです。

結論：
推論コストの削減は、Blackwellによるハードウェアパワー、オープンモデル、最適化スタック、およびタスク分散の総合的なアプローチで実現します。これにより、医療、ゲーム、エージェントAI、音声サポートなどで品質や速度を損なうことなく最大10倍までコストを節約できます。