run の config プロパティを使用して、トレーニングの設定を保存します。
- ハイパーパラメーター
- データセット名やモデルのタイプなどの入力設定
- Experiments のためのその他の独立変数
wandb.Run.config プロパティを使うと、Experiments の分析や後からの再現が容易になります。W&B App では、設定値でグループ化したり、異なる W&B run の設定を比較したり、各トレーニング設定が出力にどのような影響を与えるかを評価したりできます。config プロパティは辞書のようなオブジェクトで、複数の辞書のようなオブジェクトを組み合わせて構成できます。
損失や精度のような出力メトリクスや従属変数を保存するには、wandb.Run.config ではなく wandb.Run.log() を使用してください。
.) の代わりにダッシュ (-) またはアンダースコア (_) を使用してください。
スクリプトでルートより下位の wandb.Run.config キーにアクセスする場合は、属性アクセス構文 config.key.value ではなく、辞書アクセス構文 ["key"]["value"] を使用してください。
以下のセクションでは、実験の設定を定義する一般的なシナリオをいくつか紹介します。
W&B run としてデータを Sync してログするバックグラウンドプロセスを生成するには、wandb.init() API を呼び出す際に、スクリプトの先頭で辞書を渡します。
次のコードスニペットでは、設定値を含む Python の辞書を定義する方法と、W&B run を初期化する際にその辞書を引数として渡す方法を示します。
import wandb
# 設定の辞書オブジェクトを定義する
config = {
"hidden_layer_sizes": [32, 64],
"kernel_sizes": [3],
"activation": "ReLU",
"pool_sizes": [2],
"dropout": 0.5,
"num_classes": 10,
}
# W&B を初期化する際に設定の辞書を渡す
with wandb.init(project="config_example", config=config) as run:
...
config として入れ子の辞書を渡すと、W&B はキー名をドット区切りのフラットな形式にします。
その辞書の値には、Python で他の辞書にアクセスするのと同様にアクセスできます:
# インデックス値としてキーを使って値にアクセスする
hidden_layer_sizes = run.config["hidden_layer_sizes"]
kernel_sizes = run.config["kernel_sizes"]
activation = run.config["activation"]
# Python の辞書の get() メソッド
hidden_layer_sizes = run.config.get("hidden_layer_sizes")
kernel_sizes = run.config.get("kernel_sizes")
activation = run.config.get("activation")
Developer Guideと各例では、設定値を別々の変数にコピーしています。このstepは任意です。可読性を高めるために行っています。
train_one_epoch と evaluate_one_epoch は、このデモ用にトレーニングループを模擬するためのものです。
# config_experiment.py
import argparse
import random
import numpy as np
import wandb
# トレーニングと評価のデモコード
def train_one_epoch(epoch, lr, bs):
acc = 0.25 + ((epoch / 30) + (random.random() / 10))
loss = 0.2 + (1 - ((epoch - 1) / 10 + random.random() / 5))
return acc, loss
def evaluate_one_epoch(epoch):
acc = 0.1 + ((epoch / 20) + (random.random() / 10))
loss = 0.25 + (1 - ((epoch - 1) / 10 + random.random() / 6))
return acc, loss
def main(args):
# W&B Run を開始する
with wandb.init(project="config_example", config=args) as run:
# 設定辞書から値を取得して、読みやすいように
# 変数に格納する
lr = run.config["learning_rate"]
bs = run.config["batch_size"]
epochs = run.config["epochs"]
# トレーニングを模擬して W&B に値をログする
for epoch in np.arange(1, epochs):
train_acc, train_loss = train_one_epoch(epoch, lr, bs)
val_acc, val_loss = evaluate_one_epoch(epoch)
run.log(
{
"epoch": epoch,
"train_acc": train_acc,
"train_loss": train_loss,
"val_acc": val_acc,
"val_loss": val_loss,
}
)
if __name__ == "__main__":
parser = argparse.ArgumentParser(
formatter_class=argparse.ArgumentDefaultsHelpFormatter
)
parser.add_argument("-b", "--batch_size", type=int, default=32, help="Batch size")
parser.add_argument(
"-e", "--epochs", type=int, default=50, help="Number of training epochs"
)
parser.add_argument(
"-lr", "--learning_rate", type=int, default=0.001, help="Learning rate"
)
args = parser.parse_args()
main(args)
config オブジェクトには、スクリプト全体を通してさらにパラメーターを追加できます。次のコードスニペットは、config オブジェクトに新しいキーと値のペアを追加する方法を示しています。
import wandb
# config 辞書オブジェクトを定義する
config = {
"hidden_layer_sizes": [32, 64],
"kernel_sizes": [3],
"activation": "ReLU",
"pool_sizes": [2],
"dropout": 0.5,
"num_classes": 10,
}
# W&B を初期化するときに config 辞書を渡す
with wandb.init(project="config_example", config=config) as run:
# W&B を初期化した後に config を更新する
run.config["dropout"] = 0.2
run.config.epochs = 4
run.config["batch_size"] = 32
run.config.update({"lr": 0.1, "channels": 16})
with wandb.init() as run:
...
# 以下の値は、現在のスクリプトまたはノートブックから開始された Run オブジェクトから取得するか、
# W&B App UI からコピーしてください。
username = run.entity
project = run.project
run_id = run.id
# api.run() は wandb.init() とは異なるタイプのオブジェクトを返すことに注意してください。
api = wandb.Api()
api_run = api.run(f"{username}/{project}/{run_id}")
api_run.config["bar"] = 32
api_run.update()
absl フラグを指定することもできます。
flags.DEFINE_string("model", None, "model to run") # 名前、デフォルト値、ヘルプ
run.config.update(flags.FLAGS) # absl フラグを設定に追加する
config-defaults.yaml という名前のファイルを run スクリプトと同じディレクトリに配置すると、run はそのファイルで定義されたキーと値のペアを自動的に読み取り、wandb.Run.config に渡します。
次のコードスニペットは、config-defaults.yaml YAML ファイルのサンプルを示しています。
batch_size:
desc: Size of each mini-batch
value: 32
config-defaults.yaml から自動的に読み込まれるデフォルト値は、wandb.init() の config 引数に更新した値を設定することで上書きできます。たとえば、
import wandb
# カスタム値を渡して config-defaults.yaml を上書きする
with wandb.init(config={"epochs": 200, "batch_size": 64}) as run:
...
config-defaults.yaml 以外の設定ファイルを読み込むには、--configs コマンドライン引数を使用し、ファイルのパスを指定します:
python train.py --configs other-config.yaml
config オブジェクトに保存できます。
hyperparameter_defaults = dict(
dropout=0.5,
batch_size=100,
learning_rate=0.001,
)
config_dictionary = dict(
yaml=my_yaml_file,
params=hyperparameter_defaults,
)
with wandb.init(config=config_dictionary) as run:
...
wandb.Run.config オブジェクトに直接渡せます。
with wandb.init() as run:
run.config.epochs = 4
flags = tf.app.flags
flags.DEFINE_string("data_dir", "/tmp/data")
flags.DEFINE_integer("batch_size", 128, "Batch size.")
run.config.update(flags.FLAGS) # TensorFlow のフラグを設定に追加
