AI Learning Simulator

AIの学習過程を見える化する
猫には体、関節、アクチュエーターがあります。今は前進する方法を見つける必要がある。
最初の試みはぎこちないかもしれません。手足が互いに干渉し、バランスが失われ、多大な労力を費やしてもほとんど動きません。何世代にもわたる試行の後、いくつかのアクションは有用な移動を生成し始めます。一部の制御戦略は保持されますが、新しい移動方法が出現する可能性があります。
AI Learning Simulator は、無料の物理ベースのトレーニングおよび観察ゲームです。ボディを設計し、パラメーターを調整し、トレーニングを実行し、ニューラル ネットワークがボディとその環境の制約内で効果的な動作をどのように探索するかを観察します。
あらゆる改善は、人工知能における具体的な実験になる可能性があります。
身体を設計し、それがどのように学習するかを観察する
猫、象、キリン、馬、または二足歩行から始めます。サイズ、四肢の比率、重量を調整したり、骨のセグメント、関節、アクチュエータの取り付けポイントをより詳細に編集したりできます。
これらのパラメータは学習問題を直接変更します。
脚が長くなると、可動範囲とバランスの条件が変わります。身体が重くなると負荷も大きくなります。アクチュエータの取り付けポイントを移動すると、ジョイントの周りのモーメント アームが変化します。同じコントローラーでも、ボディが異なればまったく異なる結果が得られる場合があります。
動きは、身体の構造、アクチュエータの能力、制御戦略の複合効果から生まれます。
スケルトンは身体がどのように動くかを定義し、アクチュエーターが力を供給し、ニューラル ネットワークがその入力からの制御信号を組織します。テクスチャはキャラクターにその外観を与えます。動きは物理シミュレーションで証明されなければなりません。
ニューラルネットワークが状態をアクションに変える仕組み
本作の現在の制御モデルでは、各伸縮アクチュエーターがどれだけ伸びているかを表す相対値がネットワークに入力されます。この数値が、身体の状態を観測する手段になります。
入力された数値は、接続を通じて伝わります。接続には重みがあり、ニューロンにはバイアスと活性化関数があります。1つのニューロンの計算は、次のように表せます。
出力＝活性化関数（Σ（入力 × 接続の重み）＋バイアス）
重みは各入力の影響を決定します。バイアスはニューロンの反応を変化させます。アクティベーション関数により、ネットワークはより複雑な非線形関係を形成できます。
ノードと接続は連携して動作し、アクチュエータの制御出力を生成します。ネットワークパラメータを変更すると、同じ状態に対する身体の反応が変わります。
脚の持ち上げ、サポートの瞬間、またはバランスの喪失のすべてが、一連の数値計算と物理的フィードバックに対応します。
動きは継続的なフィードバックによって形作られます
制御は 1 回の計算だけでは終了しません。
アクチュエータ状態がネットワークに入ります。制御信号を生成します。アクチュエーターは関節を動かします。重力と地面との接触は身体に影響を与えます。結果の状態が次の計算の入力になります。
このサイクルは続きます。
身体状態 → ニューラルネットワーク → アクチュエータ制御 → 身体運動 → 新しい身体状態
出力の効果は、身体の現在の姿勢、動き、接触状態にも依存します。脚が空中でスイングしているときと地面に触れているときでは、同じ動作でも異なる結果が生じる可能性があります。
歩行のリズムと調整は、コントローラー、身体、環境の間のフィードバックを通じて徐々に現れる可能性があります。動きを観察するということは、この閉ループが働いていることを観察することも意味します。
トレーニングが行動をどのように変えるか
ゲームは主に神経進化を通じて制御戦略を探索します。
トレーニングでは、候補ネットワークの母集団を評価します。異なる制御パラメータを使用して、それぞれが独自の物理シミュレーションで動作を試みます。各世代の後、システムはパフォーマンスを比較し、より良い戦略が次の世代に影響を与え、突然変異による新しい試みを導入します。
プロセスは繰り返されます。
1. 候補となる制御ネットワークの母集団を生成します。

2. 一定期間物理試験を実行します。

3. スコア移動パフォーマンス。

4. いくつかのより良い戦略を保持し、修正されたネットワークを作成します。

5. 再度テストし、比較を続けます。
変更は接続の重みやニューロンのバイアスに影響を与えたり、ノードや接続を追加したりする可能性があります。ネットワークの構造自体が検索の一部になる場合があります。
重要な違い: 試行中、コントローラーは現在のパラメーターを使用して繰り返し計算します。世代間のトレーニングでは、選択と突然変異を通じて新しいパラメーターが検索されます。
動くキャラクターは、現在実行されている戦略を示します。世代間の違いがトレーニングの成果を表します。
何を学ぶかは私たちがそれをどう評価するかによって決まる
現在の中心的なタスクは、決められた時間内にできるだけ前に進むことです。パフォーマンスは主にキャラクターが到達した水平方向の最も遠い位置によって評価されます。
この単純な目的により、多くの興味深い観察が得られます。
より遠くに進むことは、必ずしもより自然に動くことを意味するわけではありません。短期間のトライアルで良好なパフォーマンスを示しても、長期間のトライアルでの安定性は保証されません。力とエネルギーは行動を制限しますが、距離、動きの優雅さ、エネルギー効率は依然として異なる目的です。
トレーニングは、私たちが定義した指標を改善に向けて推進します。その指標が私たちの期待を完全に表しているかどうかは、実験を設計する人にとっての問題です。
予期せぬ動きが現れたら、振り返ってください。どのような入力を提供し、どのような行動を許可し、成功を定義するためにどのようなルールを使用しましたか?
これらの質問を理解することは、人工知能を理解することの一部です。
学習は停滞する可能性があり、その条件によって制限される
トレーニング中の進歩が均一になることはほとんどありません。
時には、一連の試み全体が効果がないように見えることがあります。小さな変更が明らかな改善をもたらす場合があります。また、何世代にもわたってパフォーマンスが同じままである場合もあります。
個体群のサイズは試行回数に影響し、突然変異は探索の範囲に影響し、体の構造は可能な移動を定義します。世代が増えるほど探索の機会は増えますが、すべての体が安定して歩くことを学ぶことを保証することはできません。
より多くのニューロンが自動的により良い戦略を意味するわけではありません。
結果は身体の構造、アクチュエーターの能力、評価時間、採点ルールと併せて考える必要があります。学習世代数は何回の評価を重ねたかを示す記録であり、実際の能力は動作を観察して判断します。
条件を変更し、再度トレーニングし、さまざまな実験の結果を比較します。
実験を保存する
ゲームはデザインから共有までの完全なパスを提供します。
ボディ テンプレートを選択します。猫、象、キリン、馬、または二足歩行から始めます。

ボディとアクチュエータの構造を調整: サイズ、比率、重量を変更します。ジョイントとアクチュエータの接続点を編集します。

トレーニングを構成する: 母集団サイズ、評価期間、進化パラメーターを調整し、その効果を観察します。

動作を確認：ネットワーク構造、アクチュエーターの制御信号、運動の成績、学習世代数を観察します。

トレーニングを保存して続行: 体の構成と最適な戦略を保持し、動物のサムネイルと累積世代数によって結果を特定し、保存した戦略からさらに探索します。

1 つの画面で観察して比較: 2 人のキャラクターの学習戦略を個別に再生して、異なる身体やコントローラーを比較します。

外観を変更して共有: 動物、人間、絵本のスキン テンプレートを使用します。 Steam ワークショップを通じてスキンとトレーニング結果をダウンロードまたはアップロードします。
ゲームには、合計 280 世代にわたって訓練された猫の戦略が含まれています。直接再生するか、さらなるトレーニングの開始点として使用して、何が変化するかを観察します。
猫の試行錯誤から、AI学習の一端に触れる
月明かり、星空、麦畑などの絵本のような場面で、時間をかけて制御戦略を観察したり、身体を再設計して独自の実験を始めたりしてください。
一見単純な前進動作が、入力エンコーディング、ニューラル計算、ボディダイナミクス、評価ルール、確率的検索を結び付けます。
この無料ゲームが抽象的な概念を、繰り返し観察、調整、テストできるプロセスに変えることを願っています。システムはどのような情報を受け取り、どのようなアクションを実行できるのか、どのような条件下で効果的な動作が現れるのかなど、独自の判断を下してください。
Magiccat によって開発され、無料で利用できます。トレーニングはコンピューター上でローカルに実行されます。 Steam ワークショップの機能を使用するには、Steam にサインインする必要があります。