OpenAI Gym

OpenAI Gym と W&B を統合して、強化学習の Experiments をトラッキングし、エピソードのパフォーマンス動画を記録します。

“2021 年から Gym を保守してきたチームは、今後の開発をすべて Gymnasium に移行しました。Gymnasium は Gym のドロップイン置換 (import gymnasium as gym) であり、Gym が今後アップデートされることはありません。” (Source)

Gym はすでに活発に保守されているプロジェクトではないため、Gymnasium とのインテグレーションをお試しください。

OpenAI Gym を使用している場合、W&B は gym.wrappers.Monitor によって生成された環境の動画を自動的にログします。wandb.init() の monitor_gym キーワード引数を True に設定するか、wandb.gym.monitor() を呼び出してください。

gym とのインテグレーションは非常に軽量です。gym からログされる動画ファイル名を確認し、それに基づいて名前を付けています。一致するものが見つからない場合は "videos" を使用します。より細かく制御したい場合は、いつでも手動で動画をログすることもできます。

CleanRL による OpenRL Benchmark では、OpenAI Gym の例でこのインテグレーションを使用しています。gym の使い方を示すソースコード (特定の runs で使用された具体的なコード を含む) は次で確認できます