どのハイパーパラメーターが、望ましいメトリクス値を最もよく予測し、それらと強く相関しているかを明らかにします。
相関 は、ハイパーパラメーターと選択したメトリクス (この場合は val_loss) との線形相関を表します。つまり、相関が高いということは、ハイパーパラメーターの値が高いほどメトリクスの値も高くなり、逆も同様であることを意味します。相関 は有用なメトリクスですが、入力間の二次的な相互作用は捉えられず、値の範囲が大きく異なる入力同士の比較は複雑になりがちです。
そのため、W&B は 重要度 メトリクスも計算します。W&B は、ハイパーパラメーターを入力、メトリクスを予測対象の出力としてランダムフォレストをトレーニングし、そのランダムフォレストの特徴量重要度を算出します。
この手法の着想は、Jeremy Howard との会話から得られました。彼は Fast.ai で、ランダムフォレストの特徴量重要度を使ってハイパーパラメーター空間を探索する手法を切り開いてきました。この分析の背景にある考え方をより深く理解するために、W&B はこの講義 (およびこのメモ) を確認することを強くおすすめします。
ハイパーパラメーター重要度パネルは、強く相関するハイパーパラメーター同士の複雑な相互作用をひもときます。これにより、モデル性能の予測においてどのハイパーパラメーターが最も重要かを把握でき、ハイパーパラメーター探索をより適切に微調整できます。
- W&B プロジェクトにアクセスします。
- Add panels ボタンをクリックします。
- CHARTS ドロップダウンを展開し、ドロップダウンから Parallel coordinates を選択します。
空のパネルが表示される場合は、runs がグループ化されていないことを確認してください
val_loss) に対する、これらの設定パラメーターの特徴量重要度と相関が表示されます。
重要度列には、選択したメトリクスの予測に対して各ハイパーパラメーターがどの程度有効だったかが表示されます。多数のハイパーパラメーターのチューニングを始め、このプロットを使ってさらに調べる価値のあるものを絞り込む場面を想像してみてください。そうすることで、その後の Sweeps を最も重要なハイパーパラメーターに絞り、より良いモデルをより速く、低コストで見つけられます。
W&B では、重要度の計算に線形モデルではなく木ベースのモデルを使用します。木ベースのモデルのほうが、カテゴリカルデータと正規化されていないデータの両方に対してより強いためです。
epochs, learning_rate, batch_size と weight_decay がかなり重要だったことがわかります。
相関関係は、個々のハイパーパラメーターとメトリクス値の間にある線形な関係を捉えます。たとえば、SGD オプティマイザーのようなハイパーパラメーターの使用と val_loss の間に有意な関係があるかどうか、という問いに答えるものです (この場合の答えは「はい」です) 。相関値は -1 から 1 の範囲を取り、正の値は正の線形相関、負の値は負の線形相関、0 は相関がないことを表します。一般に、正負いずれの方向でも 0.7 を超える値は強い相関を示します。
このグラフを使うと、メトリクスとより強く相関する値をさらに詳しく調べることができます (この場合は、rmsprop や nadam ではなく stochastic gradient descent や adam を選ぶ、あるいはエポック数を増やしてトレーニングすることが考えられます) 。
- 相関関係は関連の存在を示す証拠にはなりますが、必ずしも因果関係を示すものではありません。
- 相関関係は外れ値の影響を受けやすく、特に試行したハイパーパラメーターのサンプル数が少さい場合、強い関係が中程度に見えてしまうことがあります。
- また、相関関係が捉えられるのはハイパーパラメーターとメトリクスの間の線形関係だけです。強い多項式的な関係があっても、相関関係では捉えられません。
