OpenAIはNvidiaのインフェレンスアクセラレーターの効果に疑問を抱き、代替案を積極的に探しています

AI技術の世界で何が起きているか
主要プレイヤー：OpenAIとNvidiaは人工知能市場のリーダーと見なされているが、彼らは新しいパートナーを探している。近々取引が成立する予定で、両社間で1億ドル規模の合意が期待されている。
Nvidiaアクセラレータの問題：現在のNvidiaチップは推論（既に訓練されたモデルの使用）時に常に必要な性能を提供できない。OpenAIは代替案を探している。

新しいソリューションの開発方法
1. OpenAI → Cerebras + Groq
- 会社は推論により適したサードパーティ製チップで自社アクセラレータの最大10％を置き換えたいと考えている。
- Cerebrasとの提携は既に締結済み：OpenAIは「王者アクセラレータ」を購入し、大規模言語モデルの処理に優れた性能を得る予定だ。

2. Groq と Nvidia
- 昨年、Nvidia は 2000 万ドルで Groq を買収し、より有利な取引構造を提示した。
- 買収後、Groq の自律性の一部が失われた：アクセラレータ開発者のほとんどは Nvidia 社内に移り、残りの会社はクラウドシステム向けソフトウェアのみを販売できるようになった。

3. AMD とその他の選択肢
- OpenAI は依然として Nvidia と AMD のアクセラレータに大きく依存しており、両社とも外部メモリ HBM を使用している。
- 推論には統合メモリ容量が大きいチップが適しており、そのような製品を Groq、Cerebras、Google が提供している。

これらが重要である理由
- 推論効率は ChatGPT や Codex などの大型言語モデルの運用にとって極めて重要だ。
- Codex の問題：Codex を開発する際、OpenAI は Nvidia アクセラレータの非効率性に直面し、ハードウェアプラットフォームを変更する必要性が浮き彫りになった。
- 将来の代替案として、OpenAI は Cerebras のソリューションとおそらく他のチップを使用して開発者向けツールの性能を向上させる計画だ。

結論
OpenAI は Nvidia に完全に依存しないよう、新しい技術パートナーを積極的に探している。同時に、Cerebras や Groq などのスタートアップへの投資戦略を策定し、Nvidia と最大1億ドル規模の大規模取引や潜在的な投資も検討している。これにより推論性能が向上し、AI 製品の開発速度が加速するだろう。