AIは、稀少で広く使われていない言語の研究において成果を示しました

大規模言語モデルは言語ギャップを縮小する

新しい人工知能（AI）のバージョンは、希少であまり知られていない言語の処理に顕著な進歩を示し、世界的な「言語ギャップ」を大幅に減らしています。これはRWS社の調査がTechRadarに掲載されたことを裏付けています。

1. 研究で明らかになったこと
- Google Gemini Proは、ルワンダ・ウガンダ・民主共和国コンゴで約1200万人が話すキニヤールダ語の知識評価で5点満点中4.5以上と高いスコアを獲得しました。

- 著者らは、現代モデルが特定言語の膨大なデータセットだけでなく、全ての言語に共通する統計的パターン（多言語転移メカニズム）を活用していることを成功の要因と説明しています。

- トークナイザー（テキストを「トークン」に分割するシステム）の改善も、希少言語のより正確な処理に寄与しています。

2. 「ベンチマークドリフト」効果
専門家は、モデルのバージョンが進むにつれて、その能力が予期せぬ変化を起こすことを発見しました：

- 最新版OpenAI GPTは、一部のコンテンツ生成タスクで以前のモデルに劣る場合があります。前世代はより効率的でした。

- トークナイザーの性能は世代間で最大3.5倍まで差が出ることがあり、以前のテスト結果が新バージョンに必ずしも適用できないことを意味します。

3. 開発者の優先順位の変化
- かつてAI研究所は英語といくつかの主要言語での性能を最重要視していました。

- 現在のモデルはこれらのタスクをすでにうまくこなせるため、注目がより広範なオーディエンスへ移行し、希少言語のサポートがますます重要になっています。

- ただし4.5/5という評価が実際の言語習熟度を保証するわけではなく、多言語サポートはまだクリティカルとは見なされていません。

4. 結論
AIは文化と言語間の障壁を打破し続けています。希少言語の「カバレッジ」がまだ必須要件でないものの、より広範なオーディエンスへの対応傾向はすでに見られ、専門家は今後数年間でさらに強化されると予測しています