学習・検証パイプライン
- 特徴量の再現性担保: Notebookの前処理をPySparkやdbtへ移植し、変数定義・バージョン管理・ドキュメントまで整備する。
- 実験ログの整備: 失敗実験も含めてMLflowやWeights & Biasesに記録し、再学習時に条件をトレースできるようにする。
- 自動トレーニング: Kubeflow、Vertex AI、SageMaker Pipelinesで学習〜評価〜モデル登録をワークフロー化し、ハイパラ探索もジョブに落とす。
- 品質ゲート: 精度・バイアス・推論レイテンシ・メモリ使用量の閾値を設定し、基準を満たさないモデルは自動却下。