青の統計学-DS Playground-

dbt入門：実プロダクトで学ぶ Analytics Engineering

架空 EC ではなく DS Playground の分析プロジェクト を題材に、dbt Core で変更に強い Transform 層を読み解く入門カリキュラムです。

SQL・mermaid・schema YAML を読み、source → staging → intermediate → marts → BI の設計判断を追います。

学習マップ（5 Stage）

Stageテーマ身につくこと
1dbt の全体像なぜ dbt / アーキテクチャ / project / source
2Source と Staging正規化・派生列・schema / singular tests・seeds
3Intermediateイベント統合・mart 粒度・KPI proxy・incremental
4Mart 設計current-state・engagement・survey・品質 mart
5Tests・Docs・運用macros・snapshots / exposures・CI / docs

前提：データアナリティクス入門 → データマネジメント入門 の順を推奨します。

Stage 1: dbt の全体像

  1. dbt で「信頼できる KPI 定義」を作る
  2. dbt はデータ可視化基盤のどこにいるのか
  3. dbt project 構成：フォルダと materialization
  4. source 定義：外部データとの契約を書く

Stage 2: Source と Staging のお作法

  1. staging：ソース意味を残す薄い変換
  2. 派生列と命名規約
  3. schema tests：列の契約を YAML で書く
  4. singular tests：ビジネスルールを SQL で断言
  5. seeds：参照マスタを repo で持つ

Stage 3: Intermediate で定義を固定する

  1. イベント統合：Active User の SSOT を intermediate に作る
  2. Mart 設計の基本：grain を決める
  3. KPI proxy：直接取れない指標をどう定義するか
  4. 集計 mart：日次 KPI を安定して返す
  5. incremental：速い更新と lookback の trade-off

Stage 4: Mart 設計

  1. current-state 分類：現在のプラン状態を intermediate に切り出す
  2. 利用深度 mart：スコア・tier・分布の設計
  3. semi-structured データ：multi-select を mart に載せる
  4. 品質管理 mart：seed を分母にレビュー対象を見つける

Stage 5: Tests・Docs・運用

  1. マクロ：共通ロジックを DRY に保つ
  2. snapshots と exposures：履歴化と下流利用者管理
  3. dbt project を安全に運用する