GYOZA
RoboCasa の reset/step と held-out 成功を実測してから RL に進む。
Yugo Ito
ロボット学習・具現化AI・シミュレーションを軸に、実験と実装を行っています。
操作、合成データ、世界表現を中心に、検証できる小規模な研究プロジェクトを組み立てています。
現在の研究
Code-as-World
提出済み v3 の結果を再確認してからモデル能力を主張する。
Synthetic Data in Robot Learning
知覚律速の再現をテストしてから、基準を相対的に決める。
研究の記録
GYOZA
卓上フード操作のロボット学習プロジェクト。操作・オーケストレーション・検証を扱う。
- 自分の役割
- VLM×ACTの自律ロボットアーム群の設計・実験・検証を担当。sim-to-real と人間動画転移を中心に実施。
- 根拠
- 実機SO-101で操作実験を実施（RTT中央値658ms）
- RoboCasa 環境でMisoBowlToTrayのスモークテストを通過
- GYOZA-Scaling でWeb動画擬似アクションのno-go判断を記録
- 次の判断
- RoboCasa の reset/step と held-out 成功を実測してから RL に進む。
Code-as-World
環境を実行可能なシーン記述として扱う世界モデル方向。
- 自分の役割
- 条件付き世界モデルのゲート評価と、安全な決定論的評価器の設計を担当。
- 根拠
- Stage 0A ホワイトボール世界コードベンチマークを実装
- HF Jobs / Pi 連携で cwd 検証を実施
- Linux EGL/OSMesa をレンダリング受容パスとして確定
- 次の判断
- 提出済み v3 の結果を再確認してからモデル能力を主張する。
Synthetic Data in Robot Learning
合成データが行動にいつ役立ち、いつ知覚が律速になるかを調べる実験。
- 自分の役割
- 合成データパイプラインの設計と、行動性能と知覚の切り分け実験を担当。
- 根拠
- 合成データ学習では行動性能より知覚が律速になる観察を記録
- 実験ログは Notes に公開予定
- 次の判断
- 知覚律速の再現をテストしてから、基準を相対的に決める。
過去のプロジェクト
Shiin IME
子音だけで日本語を入力する、Core MLによるオンデバイス推論のiOSカスタムキーボード。
- 自分の役割
- 子音列から読みを復元するモデル、Core ML化、iOSキーボード拡張を設計・実装。
- 根拠
- MITライセンスで実装を公開
- 公開リポジトリに、約130万パラメータのTransformer encoder + GRU decoderとオンデバイスCore ML構成を記録
TeenEmo
日本語の感情知能LLMに向けた、データ作成・SFT/DPO・評価の学習パイプライン。
- 自分の役割
- 合成データ作成、SFT/DPO学習、EQ-Bench3の日本語化と評価の一連のパイプラインを設計・実装。
- 根拠
- 公開リポジトリに、データ生成から学習・評価までの構成を記録
- DPOモデルと日本語EQ-Bench3データセットをHugging Faceで公開
Lumi
認知症ケアを題材にした、高齢者向けAI音声コンパニオンのハッカソン試作。
- 自分の役割
- QLoRA学習、音声対話パイプライン、会話メモリ、詐欺回避レイヤーを含む試作の実装を担当。
- 根拠
- 公開リポジトリにAMD MI300X上のQLoRA学習と音声対話パイプラインを記録
- モデルとGradio SpaceをHugging Faceで公開
quiz-ai
人間と同条件で早押しする、日本語競技クイズ向けLLMシステム。
- 自分の役割
- 問題コーパス、回答・押し時判断の二モデル、学習・評価・ZeroGPUデモまでのシステムを設計・実装。
- 根拠
- 公開リポジトリに、文字単位で早押し判断を行う二モデル構成と学習・評価経路を記録
- Gradio製の公開Hugging Face Spaceを用意
Links
公開中の成果とプロフィールへのリンク。