アンドレイ・カルパチは、人々が休む夜間にAIエージェントに数百の実験を行わせることを教えました

アンドレイ・カルパティ（Andrej Karpathy）は自動研究への新しいアプローチを開示した

テスラのAIプロジェクトマネージャーであり、OpenAIの共同創設者だったアンドレイ・カルパティは、シンプルだが強力なオープンソースプロジェクトの開始を発表した。スクリプトはわずか630行でGitHubに公開されている。これは完成済みモデルや大規模企業製品のステータスを主張するものではなく、AIエージェントが人間の介入なしに科学的方法を完全に自動化できることを示すことを目的としている。

> 「私たちの目標は、夜でも無限に速く研究を進めるエージェントを構築することです」―カルパティはXで書いた。この投稿は瞬時にバイラル化し、2日間で860万以上の閲覧数を記録した。

システムの動作
1. 初期化
エージェントは学習スクリプトと固定計算予算（通常GPUで5分）を受け取る。

2. コード自己分析
自身のソースコードを読み取り、改善仮説（例：学習率やモデル深度の変更）を立案する。

3. 修正と実験開始
変更を加え、実験を起動し結果を評価する。

4. 効果検証
メトリクス *val_bpb*（バイト単位の検証損失）が改善されれば変更を保存し、そうでなければロールバックして新たな仮説を生成する。

一晩でエージェントは126回の実験を行い、損失を0.9979から0.9697に削減した。2日間の調整後、約700件の自律的変更を処理し、20件程度の追加改善を発見してより大きなモデルへ転用した。

カルパティは「エージェントが開始から終了までプロセスを完全に管理する様子を見るのは信じられないほどだ。私は20年間で見逃していた注意機構と正則化のスケーリングミスを発見した」と述べた。

専門家の意見
科学的方法の自動化はAI開発における根本的な転換点とみなされている。シリコン速度で「進化プロセス」を実現し、カルパティはITだけでなくマーケティング、医療など多様な分野で研究の新たな地平を切り開いた。

実践的応用例
| パートナー | 実験概要 | 結果 |
|---|---|---|
| Hyperspace AI（Varun Mathur） | 35人の自律エージェントがピアネットワークでノートPCCPUを使用 | 夜間に333回の実験を行い、Kaiming・Xavier初期化とRMSNorm正規化戦略を発見 |
| Single Grain（Eric Siu） | マーケティングサイクル自動化：エージェントがランディングページや広告クリエイティブ、メールの変数を変更 | 「ポジティブレスポンス率」を測定し、成功した変更を保存、非効率なものは削除 |

結論
カルパティはシンプルなスクリプトがAIエージェントの自己学習に強力なツールとなり得ることを示した。自動化された最適化サイクルにより、一晩で数百回の実験を行い、かつて何年も要した改善点を迅速に特定できるようになった。これにより、様々な分野でモデル開発がより高速かつスケーラブルになる道が開けた