sweep エージェントを起動する

1 台以上のマシンで 1 つ以上の W&B Sweep Agent を起動または停止します。

1 台以上のマシン上の 1 つ以上のエージェントで sweep を開始します。sweep エージェントは、sweep を初期化した際に定義した sweep 設定を使用して、さまざまなハイパーパラメーターの組み合わせを探索します。W&B は、sweep エージェントが試行するハイパーパラメーターの組み合わせごとに、新しい run を作成します。

sweep の一時停止、再開、停止、キャンセルの方法については、sweep を管理するを参照してください。

続行する前に、次のことを確認してください。

• トレーニングスクリプトを設定し、W&B でハイパーパラメーターの組み合わせを作成してトラッキングするようにします。詳細は、コードに W&B を追加するを参照してください。
• sweep 用の設定ファイルが定義されていること。

以下のコードスニペットは、CLI、Jupyter Notebook、または Python スクリプト内でエージェントを起動する方法を示しています。どちらの方法でも、sweep を初期化したときに W&B が返す sweep ID を指定します。sweep ID の形式は次のとおりです。

entity/project/sweep_ID

各項目の意味は次のとおりです。

• entity: あなたの W&B ユーザー名またはチーム名。
• project: W&B が run の出力を保存するプロジェクト名です。プロジェクトを指定しない場合、W&B は run を “Uncategorized” という名前のプロジェクトに保存します。
• sweep_ID: W&B が生成する疑似乱数の一意の ID です。

CLI

sweep を開始するには、wandb agent コマンドを使用します。sweep の初期化時に W&B から返された sweep ID を指定してください。

以下のコードスニペットをコピー＆ペーストし、sweep_id を自分の sweep ID に置き換えてください。

wandb agent sweep_id

エージェントを中断したとき (たとえば Ctrl+C) に正常にシャットダウンするには、wandb agent --forward-signals sweep_id を使用します。これにより、現在の run がシグナルを受け取り、正常に終了できます。詳しくは、Signal handling and sweep runs を参照してください。

Python script or notebook

sweep を開始するには、wandb.agent() を使用します。sweep の初期化時に W&B から返された sweep ID と、トレーニングスクリプトのエントリポイントとなる関数名を指定してください。

以下のコードスニペットをコピー＆ペーストし、<sweep_id> を自分の sweep ID に、<function_name> をトレーニング関数の名前に置き換えてください。

wandb.agent(sweep_id="<sweep_id>", function="<function_name>")

エージェントからトレーニング run へのシグナル転送は、CLI (wandb agent --forward-signals) を使用する場合にのみサポートされます。Python の wandb.agent() では、トレーニング関数は子プロセスではなくスレッド内で実行されるため、サポートされません。詳しくは、Signal handling and sweep runs を参照してください。

この方法を使用する場合のトレーニングスクリプトの設定例については、Add W&B to your code の Python script or notebook tab を参照してください。

マルチプロセッシング

Python 標準ライブラリの multiprocessing または PyTorch の pytorch.multiprocessing パッケージを使用する場合は、wandb.agent() と wandb.sweep() の呼び出しを if __name__ == '__main__': でラップする必要があります。例:

if __name__ == '__main__':
    wandb.agent(sweep_id="<sweep_id>", function="<function>", count="<count>")

この規約でコードをラップすると、スクリプトが直接実行されたときにのみコードが実行され、ワーカープロセス内でモジュールとして import されたときには実行されないことが保証されます。

マルチプロセッシングの詳細については、Python standard library multiprocessing または PyTorch multiprocessing を参照してください。if __name__ == '__main__': 規約については https://realpython.com/if-name-main-python/ を参照してください。

​

sweep エージェント が試行する run 数を制限する

ランダム探索とベイズ探索は停止するまで実行され続けます。コマンドライン、Python スクリプト内、または Sweeps UI からプロセスを停止する必要があります。

sweep エージェント が試行する run 数を指定します。以下のコードスニペットは、CLI、Jupyter Notebook、Python スクリプトで W&B Runs の最大数を設定する方法を示しています。

CLI

まず、wandb sweep コマンドで sweep を初期化します。詳細は Initialize sweeps を参照してください。

wandb sweep config.yaml

次に、count フラグに整数値を渡して、試行する run の最大数を設定します。

NUM=10
SWEEPID="dtzl1o7u"
wandb agent --count $NUM $SWEEPID

Python script or notebook

まず、sweep を初期化します。詳細は Initialize sweeps を参照してください。

sweep_id = wandb.sweep(sweep_config)

次に、sweep ジョブを開始します。sweep の初期化時に生成された sweep ID を指定します。count パラメーターに整数値を渡して、試行する run の最大数を設定します。

sweep_id, count = "dtzl1o7u", 10
wandb.agent(sweep_id, count=count)

sweep エージェント の完了後に、同じスクリプトまたはノートブック内で新しい run を開始する場合は、その前に wandb.teardown() を呼び出してください。