エージェントを並列化する

マルチコアまたはマルチGPUマシンで W&B Sweep エージェントを並列化します。

マルチコアまたはマルチGPUマシンで W&B Sweep エージェントを並列化できます。始める前に、W&B Sweep が初期化されていることを確認してください。W&B Sweep の初期化方法の詳細については、Sweeps を初期化するを参照してください。

​

マルチCPUマシンで並列化する

ユースケースに応じて、以下のタブで、CLI または Jupyter Notebook で W&B Sweep エージェント を並列化する方法を確認してください。

CLI

wandb agent command を使用すると、ターミナルから複数の CPU で sweep エージェント を並列実行できます。sweep を初期化したときに返された sweep ID を指定してください。

1. ローカルマシンで複数のターミナルウィンドウを開きます。
2. 以下の コードスニペット をコピー＆ペーストし、sweep_id を自分の sweep ID に置き換えます。

wandb agent sweep_id

Jupyter Notebook

W&B Python SDK library を使用すると、Jupyter Notebook で複数の CPU にわたって W&B Sweep エージェント を並列実行できます。sweep を初期化したときに返された sweep ID を用意してください。さらに、function パラメーターには、sweep が実行する function の名を指定します。

1. 複数の Jupyter Notebook を開きます。
2. W&B Sweep を並列化するには、複数の Jupyter Notebook に W&B Sweep ID をコピー＆ペーストします。たとえば、sweep ID が sweep_id という変数に格納されており、function の名が function_name の場合は、以下の コードスニペット を複数の Jupyter Notebook に貼り付けることで sweep を並列化できます。

wandb.agent(sweep_id=sweep_id, function=function_name)

​

マルチGPUマシンで並列実行する

CUDA Toolkit を使用して、ターミナルから複数の GPU で W&B Sweep エージェント を並列実行するには、次の手順に従います。

1. ローカルマシンで複数のターミナルウィンドウを開きます。
2. W&B Sweep ジョブを開始するときに、CUDA_VISIBLE_DEVICES を使って使用する GPU を指定します (wandb agent) 。CUDA_VISIBLE_DEVICES には、使用する GPU に対応する整数値を設定します。

たとえば、ローカルマシンに 2 つの NVIDIA GPU があるとします。ターミナルウィンドウを開き、CUDA_VISIBLE_DEVICES を 0 に設定します (CUDA_VISIBLE_DEVICES=0) 。次の例の sweep_ID は、W&B Sweep を初期化したときに返される W&B Sweep ID に置き換えてください。

ターミナル 1

CUDA_VISIBLE_DEVICES=0 wandb agent sweep_ID

2つ目のターミナルウィンドウを開きます。CUDA_VISIBLE_DEVICES を 1 に設定します (CUDA_VISIBLE_DEVICES=1) 。以下のコードスニペットの sweep_ID には、同じ W&B Sweep ID を貼り付けます。

ターミナル 2

CUDA_VISIBLE_DEVICES=1 wandb agent sweep_ID