AI ROBO STADIUM

話題のフィジカル AI を、遊びながら学ぶ
ロボットが現実の世界で体を動かすための AI、フィジカル AI。歩行ロボットの開発では、シミュレーションの中でロボットに何度も転ばせながら、強化学習で歩き方を覚えさせる方法が広く使われています。
AI ROBO STADIUM はその強化学習をゲームにしました。ゲームの中の学習は、AI らしく見せる演出ではありません。研究でも使われる強化学習のアルゴリズム（PPO）が、あなたの PC の中で実際にニューラルネットワークを鍛えます。教えるのは、あなた。歩き方を覚えるのは、AI。
プレイヤーが決めるのは「なにをほめて、なにをしかるか」、つまり報酬です。脚の関節のモーターをどう動かすかは、AI が試行錯誤して自分で見つけます。
練習場を段差、坂と進めて学習を重ねると、最初は転んでばかりだったロボットが、段差を越え、坂を登れるようになります。歩行ロボットの研究で使われる方法で教える
報酬の設計: 「指令どおりに進む」「姿勢をまっすぐ」「転ばない」「省エネ」「なめらかに動く」「足をしっかり上げる」など最大 6 本のレバーで、ほめ方としかり方を決める

ドメインランダム化: 床の摩擦、胴の重さ、モーターの力を毎回ばらつかせて練習させ、本番での転び方がどう変わるかを試す

押される練習: 練習中のロボットを不意に押して、ふんばる力を鍛える

地形のカリキュラム: 練習場を平地、段差、坂と順に選んで育てる。段差の高さや坂の角度は学習の進み具合に合わせて自動で上がる

学習曲線、転倒率の推移、報酬の項目ごとの内訳がその場で見える

学習の途中のモデルをその場で操縦して試せる

育てたモデルは名前を付けて何本でも保存。続きから鍛え直すこともできる
本物の強化学習が、あなたの PC で動く
学習はプレイヤーの PC の CPU で動きます。GPU は使わず、Python などの環境構築もいりません。通常の学習では 64 体、一晩の学習では 128 体のロボットが同時に練習します。学習中もレースやスモウで遊べ、ゲームを閉じても学習は続きます。育てた AI で戦う
レース: 段差・坂・スラロームの障害物コースで、ライバルのロボと 1 本のレーンで競走する。ぶつかり合いあり、転んで 3 秒起き上がれなければ負け

スモウ: 土俵で 1 対 1 の押し合い。パンチ・リフト・ウェッジのアームで相手を崩す

操縦はあなた、足さばきは AI。前進や旋回の指令を出すのはプレイヤーで、それを脚の動きに変えるのは自分で育てたモデル
パーツを替えたら、学び直して強くなる
LiDAR・IMU・接地センサー・ホイール・強化モーターを付け替えられます。パーツを付けただけでは強くなりません。その装備で学習し直して、はじめて使いこなせるようになります。機体
ガゼル: 四脚の機体

ティーター: 脚の先に車輪を持つ二脚の機体

※ロボットはゲームの中の物理シミュレーションで動きます。実機のロボットへの書き出しには対応していません。
※ゲームの中の AI は、ロボットの関節の動かし方を強化学習で覚えるニューラルネットワークです。文章や絵を生成する AI ではありません。