はじめに
前提条件
- Azure の公式ドキュメントに従って、Azure OpenAI Service を設定します。
- W&BアカウントにAPIキーを設定します。
ワークフローの概要
1. ファインチューニングのセットアップ
- Azure OpenAI の要件に従って、トレーニングデータを準備します。
- Azure OpenAI でファインチューニング ジョブを設定します。
- W&B はファインチューニングのプロセスを自動的にトラッキングし、メトリクスとハイパーパラメーターをログします。
2. 実験管理
- トレーニングおよび検証のメトリクス
- モデルのハイパーパラメーター
- リソース使用状況
- トレーニング成果物
3. モデル評価
- モデルの出力を参照用データセットに対して評価する
- 複数のファインチューニング run 間でパフォーマンスを比較する
- 特定のテストケースにおけるモデルの挙動を分析する
- モデル選択のために、データに基づいて意思決定する
実際の使用例
- 医療メモ生成デモで、このインテグレーションによって次のことがどのように実現されるかを確認できます。
- ファインチューニング実験の体系的なトラッキング
- ドメイン固有のメトリクスを用いたモデル評価
- ファインチューニングを体験できるインタラクティブなノートブックデモもご覧ください