Summary
Princeton University、University of Texas at Austin、University of Toronto、NVIDIA、AgiBotの研究者らが、行動条件付き世界モデルを実環境のロボット実行と照合する評価基盤WorldOracleを公開した。7モデルの評価では、ロボットアームの動きに比べて操作対象物の位置や動きの予測にずれがあり、長い操作列ではスコアが低下する傾向が確認された。
Detailed facts
実行記録と予測映像を照合する評価基盤
WorldOracleは、行動条件付き世界モデルが生成した予測映像を、同じ初期観測と行動列から得られた実環境の実行記録と比較するベンチマークである。実操作の記録には映像と行動が含まれ、開発者は評価用の初期フレームと行動列を入力して予測映像を提出する。プラットフォームは2026年10月16日に開発者向けに公開され、オープンウェイトとクローズドソースの両モデルを受け付けている。
Check the source ↗物体予測と長時間評価で見られた課題
研究チームは代表的な7モデルを評価し、AgiBot G2の人間操作データで評価した5モデルでは、すべてロボットアームより操作対象物の空間位置・動きのスコアが低かった。たとえばIRASimはアーム78.8、対象物29.1、Cosmos 3はアーム89.4、対象物45.4だった。30秒間と全操作列のWorldOracle-SVスコアを比べると、同じ5モデルすべてで全操作列のスコアが低下し、DreamDojoは50.56から27.08、Cosmos 3は53.99から26.60となった。
Check the source ↗複数の作業条件と評価指標
評価対象にはロボット形態のAgiBot G2とYAM、および人の手による操作が含まれる。作業は果物の収穫、タオル掛け、水注ぎ、引き出し操作の4種類で、剛体・変形物・液体・関節物体との相互作用を扱う。ベンチマークには、人間操作軌跡の冒頭30秒を評価するWorldOracle-Core、自律ポリシーによるAgiBot G2の全エピソードを評価するWorldOracle-Policy、人間操作の長い系列を評価するWorldOracle-Longの3トラックがある。
Check the source ↗予測の成否を分けて採点
WorldOracleは、物体の位置や把持状態などの最終状態、相互作用中の空間的な動き、物体・グリッパー・手の周辺の映像品質を別々に評価する。複数視点に対応するモデルには、同期したカメラ映像間の動作整合性も採点に加える。研究チームは119人に128組の予測映像を比較させ、4指標が人の選好と一致した割合を88.1～93.2％と報告した。また、現実に失敗した操作をモデルが正しく失敗と予測した場合も正答として扱う。
Check the source ↗独自観点のコメント
予測評価を実行結果に結び付ける意義
WorldOracleの評価設計は、見た目の映像品質と、操作が実際に成功したかを切り分ける点に特徴がある。アームの軌道が実行に近くても、物体をつかめたか、液体が移ったかといった結果が異なれば、ロボット行動の計画に使う世界モデルとしては重要な誤りになる。失敗例も採点対象にすることで、モデルが入力された行動の結果を追っているのか、成功する映像を出しやすいのかを評価しやすくしている。
また、短い区間と全操作列の双方を測る構成は、モデル間の比較だけでなく、改善が長い相互作用でも維持されるかを確認する用途に適している。一方、WorldOracle自身が示すように、流体や変形物、確率的な接触では同一の行動から複数の結果が起こり得るため、単一の実行記録との一致だけでは妥当な予測を取りこぼす可能性がある。さらに、形態ごとに学習データ条件が異なるため、スコアをそのまま形態間の優劣とみなせない。開発者にとっては具体的な誤差を把握する評価手段となる一方、実環境での信頼性を判断するには、複数のあり得る結果を扱う評価も別途必要となる。
Related companies and products
Sources
- Press coverage The Robot Report — Read the original ↗