Anthropicは人工知能の開発を緊急停止する方法を提示しました

Anthropicは「自己制限」によるAI開発を呼びかけている

倫理的AI開発に取り組むことで知られるAnthropic社は、年初のペンタゴンとの対立後、再び注目を集めた。今週、スタートアップは業界関係者に、人間が制御を失うリスクが生じる場合には技術開発を制限する意思を示すよう求めた。

主な訴えのポイント

* 完全再帰的自己改善AIは、人間の介入なしに「後継者」を作り出す可能性がある。
* その場合、これらシステムの監視と行動制限能力が極めて重要になる。

> 「もしシステムが自律的に後継者を生成できるようになれば、私たちがそれらをコントロールし、モニタリングし、行動を制限する能力が大きな意味を持つ」とAnthropicは声明で述べている。

なぜ重要なのか？

先月、同社が使用した新コードの80％以上が自社エージェントClaudeによって生成された。これはAnthropicが言うことを裏付ける：AIが自身の新バージョンを作り出すと、その制御はますます難しくなる。

スタートアップの代表者たちは、世界中に先進モデルの開発を遅らせたり停止したりする手段を持つことが必要だと考えている。これにより社会は変化に適応し、分析する時間を得ることができる。同時に、市場参加者全員の協調行動が不可欠である：合意された対策なしでは不正なプレイヤーが公共安全に害を及ぼす可能性がある。

会社の計画

* 今後数か月間、AnthropicはAI発展の危険傾向を監視するツールを開発する予定。
* 同時に、規制メカニズムの議論と「自己制限」モードを導入できる監督機関の設立に向けた公共活動を行う。

同社は一つの組織だけでは状況を変えられないと強調している。安全な技術発展を確保するためには、すべての主要AI開発者が協力し合う必要がある。