代表の折池がiHR研究会でポスター発表を行いました

2026年9月19日・20日に創価大学で開催された、日本ロボット学会 インテリジェントホームロボティクス（iHR）研究専門委員会の第15回研究会（iHR15）で、9月19日に代表の折池雄太がポスター発表を行いました。

発表題目は「RL Token再現実験における報酬ハッキングの発見と、人間とAIエージェント（VLM judge）による報酬設計ループ」です。研究開発の途中経過として報告しました。

ロボット学習の手法RL Tokenを独立に再実装し、シミュレーター上でオレンジ3個を皿へ運ぶ課題に取り組みました。その中で、改善に見えた評価の数値が「皿に置けた割合」ではなく「皿の近くまで運んだ割合」を測っていたことが、人による動画の確認で分かりました。

発表では、この見逃しを起点に成功判定と報酬を作り直した過程と、人・実装を担うAI・画像を確認するAIの役割分担を紹介しました。画像を確認するAI（VLM judge）の判定は、人の判定と98.6%一致しました。人とAIエージェントを組み合わせることで、評価と報酬の設計を効率よく見直せる可能性を示しています。

発表時点で確かめられたのは、修正後の報酬が正しく計算されることまでです。学習による性能の改善は、これからの課題です。

この発表は、折池が受入研究員として所属する金沢工業大学 中沢研究室のnote記事でも紹介されています。研究の詳しい内容は、下の研究記事で紹介しています。