NVIDIAはNemotron 3 Super 120Bを発表しました。これはAIエージェント向けに速度が5倍になるオープンLLMです
新しいNvidiaモデル – Nemotron 3 Super
Nvidiaは、Mixture‑of‑Experts(MoE)タイプのオープンAIモデル「Nemotron 3 Super」のリリースを発表しました。
* 総パラメータ数12億0,000万、うちアクティブパラメータ12億
* エージェント型AI向け設計 – 複数の「エージェント」が相互作用し、外部世界と連携するシステム
アーキテクチャ
Nemotron 3 SuperはMamba‑Transformer(Mamba層とTransformer要素を組み合わせたハイブリッド)を採用。
初めてLatentMoEパラダイム、Multi‑Token Prediction層、およびNVFP4プロトコルによる事前学習が導入され、Nvidiaはこのスタックが精度向上と推論速度の加速に寄与すると述べています。
性能
* スループット – 前バージョンNemotron Superより最大5倍高速
* 精度 – 最大2倍向上
* 100万トークンのコンテキストウィンドウをサポートし、エージェントが作業プロセス全体を保持できるため、目標逸脱リスクを低減
実用例
Nemotron 3 Superは多エージェントシステム内の複雑タスクに適しています。
| タスク | 使用例 |
|---|---|
| コード生成とデバッグ(ドキュメント分割不要) | 大規模プログラムの自動作成・検証 |
| 財務分析 | 数千ページのレポートをモデルメモリに取り込む |
トレーニング
合成データで学習。Nvidiaは完全な手法を公開。
* 学習前後で10兆以上のトークン
* 強化学習用15環境
* 評価レシピ
研究者はNvidia NeMoプラットフォームを利用して微調整や独自モデル作成が可能です。
技術詳細
* NVFP4サポート(Nvidia Blackwellアーキテクチャ)
* メモリ要件削減と推論速度をHopperのFP8に比べて4倍高速化、精度低下なし
入手方法
モデルは既に利用可能。
* build.nvidia.com, Hugging Face, OpenRouter, Perplexity
* クラウドパートナー:Google Cloud Vertex AI, Oracle Cloud Infrastructure, CoreWeave, Together AI, Baseten, Cloudflare, DeepInfra, Fireworks AI, Modal
* Nvidia NIMマイクロサービスとして提供、ローカルまたはクラウドでデプロイ可能
Nemotron 3 Superは高精度・スケーラビリティ・柔軟なカスタマイズ性を兼ね備え、エージェント型AIの新たな可能性を切り開きます
コメント (0)
感想を共有してください。礼儀正しく、話題に沿ってお願いします。
コメントするにはログイン