研究者はAIを用いて、一般的なスマートウォッチを手の動きを精密に測定できる機器に改造しました

コーネル大学とKAISTの新しいスマートウォッチアシスタント

コーネル大学（米国）と韓国先端技術研究所（KAIST）の科学者たちは、WatchHandというシステムを開発しました。これは通常のスマートウォッチを完全な手首動作トラッカーに変えるもので、外部センサーは一切必要ありません。システムは時計内蔵のスピーカーとマイクだけを使用します。

WatchHand の仕組み
1. 音響信号 – 時計が聞こえない音波を発射します。
2. エコー受信 – マイクが反射した信号を記録し、エコープロファイルを作成します。
3. デバイス内処理 – ローカルで動作する機械学習アルゴリズムがプロファイルを三軸の手首座標に変換します。

このようにデータは時計上で直接処理され、プライバシーと低遅延が保証されます。

メリット
| 指標 | WatchHand | 従来解決策 |
|---|---|---|
| 外部センサー不要（カメラ・IMU） | ✔ | ❌ |
| 日常使用に適している | ✔ | ❌ |
| 数百万デバイスへのスケーラビリティ | ✔ | ❌ |
| データのローカル処理 | ✔ | ❌ |

テスト
- 参加者 – 40名
- データ – 4つの独立実験で収集された約36時間分のジェスチャーデータ
- プラットフォーム – 複数モデルのスマートウォッチ
- シナリオ – 様々な手首位置と騒音環境

結果は、複雑な条件下でも指先の動きと手首回転を信頼性高く追跡できることを示しました。

応用展望
* ジェスチャーでコンピュータやアプリを操作
* AR/VR システムとのインタラクション
* 移動制限または発話障害のある人への支援

KAIST の博士課程生、ジヴァン・キムは「デバイスにスピーカーとマイクがあれば、我々のアプローチは適用可能です」と述べています。

制約と将来
* 現時点では Android デバイスのみ対応
* ユーザーが移動中（歩行など）だと精度が低下

チームはモバイルシナリオ向けの改善を積極的に開発しています。

研究成果は ACM CHI 2026 のヒューマンファクター・イン・コンピューティング会議で発表予定です。

キーメッセージ

コーネル大学准教授チョン・チャンはまとめました。「WatchHand は、単純なソフトウェアアップデートが既存の数百万台の時計を行動追跡用インテリジェントプラットフォームに変える方法を示しています。これにより、キーボードやマウスなしでデジタルデバイスと対話する新しい手段への道が開かれます。」