青の統計学-DS Playground-

ハーネスエンジニアリングとデータマネジメント

Stage 5 — 第3章 | データマネジメント入門 推定学習時間:40〜50分 | 難易度:★★★☆☆


この章で学ぶこと

社内 ChatBot に「今月の売上は?」と聞く文化が広がっています。 LLM(Large Language Model)や AI エージェント(Agent)が データに触れる 時代、Stage 1〜4 で整えた DM 要素が 別の形で必須 になります。

ハーネスエンジニアリング(Harness Engineering) は、Agent を Model + Harness と捉え、Harness 側に安全・文脈・検証を載せる考え方です。

本章は Agent 開発の教科書ではありません。 DM の延長として Harness が何を担うか を入門レベルで押さえます。

この章を終えると、こんなことができるようになります:

  • Agent = Model + Harness を説明できる
  • Harness 4 柱と DM 要素(メタデータ、SSOT、品質、権限等)の 対応 を説明できる
  • 「AI に SQL を書かせれば解決」と言う提案への 反論 を DM 用語で説明できる
  • さくら商事が Bot 導入時に 最低限決めること を挙げられる

1. Bot が答えた「売上 1.5 億」

さくら商事が社内 Bot を試験導入しました。 木村さんが聞きました。

「今月の公式売上は?」

Bot:「今月の売上は 1 億 5,000 万円 です。」

経理の数字は 1 億 1,800 万円(公式 mart_finance)。 調査すると、Bot は 退職者の Sheets を学習データに含んでいました。

鈴木

「モデルは賢い。でも 何を参照していいか が Harness なしだと、野良マート問題が自動化される。」


2. Agent = Model + Harness

要素 役割 さくら商事の例
Model 言語理解・推論・生成 GPT 等
Harness 文脈、ツール境界、検証、運用 SSOT 参照、SQL 禁止範囲
User → [Harness] → Model → [Harness] → Tool(SQL / カタログ)→ Answer
                   ↑ コンテキスト              ↑ 検証ループ
                   ↑ 権限境界                  ↑ 監査ログ
          

モデル単体は 「それっぽい答え」 を生成します。 Harness が 「信頼できる答え」 に寄せます。

次の図は、本カリキュラムで学んだ DM 要素が Harness のどこに載るか の対応表です。

flowchart LR accTitle: Harness 4柱(コンテキスト、行動境界、検証、運用)とDM要素の対応図 accDescr: Harness は DM の実行層。カタログ・SSOT・品質・権限が Agent 時代にも効く。 AGENT["Agent = Model + Harness"] H1["Harness
コンテキスト設計"] H2["Harness
ツール境界"] H3["Harness
検証ループ"] H4["Harness
運用・状態"] D1["DM
SSOT・カタログ
オントロジー"] D2["DM
RBAC・行/列
OLTP禁止"] D3["DM
品質テスト
リネージ"] D4["DM
変更管理
監査ログ"] AGENT --> H1 --> D1 AGENT --> H2 --> D2 AGENT --> H3 --> D3 AGENT --> H4 --> D4 classDef harness fill:#eff6ff,stroke:#2563eb,color:#1f2937 classDef dm fill:#f0fdf4,stroke:#16a34a,color:#1f2937 classDef agent fill:#eff6ff,stroke:#1e3a8a,stroke-width:2px,color:#1f2937 class H1,H2,H3,H4 harness class D1,D2,D3,D4 dm class AGENT agent

AI 導入 = DM 不要、ではありません。 Harness なしでは 野良マートと権限逸脱が加速 します。


3. Harness 4 柱 ↔ DM

Harness 要素 内容 DM 対応物
コンテキスト設計 何を見せるか メタデータ、カタログ、SSOT、オントロジー
行動設計 / ツール境界 何をしてよいか RBAC、行/列セキュリティ、OLTP 禁止
検証ループ 答え合わせ 品質テスト、リネージ、定義一致チェック
運用・状態管理 ログ・変更 変更管理、監査ログ、保持期間

3.1 コンテキスト設計

Bot に Sheets 全社 を渡すのではなく:

  • カタログ API から 公式メトリクス定義 のみ
  • mart_finance 経由の セマンティックレイヤー
  • 用語集(オントロジー)を system prompt に 固定引用

3.2 ツール境界

許可 禁止
mart_* SELECT 本番 OLTP
マスク済みビュー PII 生列 export
読取のみ DDL/DML

Stage 5-1 の 権限の層 がそのまま Agent ツールポリシーになります。

3.3 検証ループ

Bot が SQL 生成
            → 参照表が SSOT かチェック
            → 品質ルール Q-001 パス
            → 公式売上定義(用語集)と一致?
            → OK なら回答
          

1 回生成で返さない —— analytics の品質 SQL と同型です。

3.4 運用

  • 質問・生成 SQL・参照表を 監査ログ
  • モデル変更・プロンプト変更も 変更管理
  • インシデント時は Bot 停止スイッチ(品質インシデントと同型)

4. 「AI に任せれば DM 不要?」への回答

誤解 DM + Harness での反論
SQL を自動生成するから SSOT 不要 生成元を SSOT に 縛る Harness が必要
カタログ不要、モデルが理解する ハルシネーション(幻覚)対策に 定義の正本 が必要
権限は後から Agent は 権限を拡大する装置 になりやすい
品質テスト不要 検証ループなし = 野良 SQL の高速量産

5. さくら商事 Bot 導入チェックリスト(最小)

  • 参照は L3 / mart_ のみ*
  • PII 列ツール 禁止
  • 回答に 定義ソース を脚注
  • インシデント時 自動停止
  • 監査ログ 90 日保持
  • オーナー(佐藤)が 公式数字回答 を承認

体系コラム:カリキュラム上の位置づけ

項目 内容
Stage / 章 Stage 5 — 第3章「Harness Engineering と DM」
今回の論点 AI エージェントは Model + Harness — DM がハーネスの正体
DAMA 領域 データガバナンス、メタデータ、データ品質(AI 参照の制約)
ライフサイクル 活用段階の 自動化された出口(Bot、自然言語問合せ)
前章との接続 ガバナンスの実践 — Bot が触る範囲を ポリシー で縛る
次章への伏線 総合ケーススタディ — 全 Stage を 時系列 で統合

コラム:analytics との線引き

自然言語で「6 月の売上は?」と聞ける Bot は、analytics の SQL スキルとは別次元の 利用者入口 です。Harness の 4 柱(コンテキスト、ツール、検証、観測)は、DM の SSOT・リネージ・品質・ガバナンスと 1 対 1 で対応します。

Harness 柱 DM の相当 さくら商事 Bot ルール
コンテキスト SSOT マート + 用語集 mart_* のみ参照
ツール 許可されたクエリ経路 PII 列ツール禁止
検証 品質フラグ・オーナー承認 公式回答は佐藤承認
観測 監査ログ、インシデント連携 90 日保持、NG 時自動停止

「AI に任せれば DM 不要」は誤りです。モデルが賢いほど、参照先が野良 だと速く間違いを広げます。analytics トラックで SQL を書く人ほど、Bot の ハーネス設計 に参画する必要があります。


まとめ

概念 キーメッセージ
Model 推論エンジン。正しさの保証なし
Harness 文脈・境界・検証・運用
DM Harness の 中身 を供給する
導入 DM なし Bot = 野良マート Bot

この章のキーメッセージ:

AI 時代ほど SSOT・カタログ・品質・権限 が Harness として必要です。 データマネジメントは「レガシーな仕事」ではなく、Agent を信頼可能にする基盤 です。


次に読む


確認問題

問題 1

社内 Bot が退職者 Sheets を参照し、誤った売上を回答した。 最も本質的な欠陥 はどれですか。

A. Harness(コンテキスト・ツール境界)で SSOT 以外を参照できた
B. モデルのパラメータ数が少ない
C. SQL が遅い
D. ER 図の線が少ない

正解: A

解説: 問題はモデル能力ではなく 参照元の制御 です。野良マート問題の Agent 版です。


問題 2

Harness の「検証ループ」に対応する DM 要素として 最も近い のはどれですか。

A. データ品質テストと定義一致チェック
B. 会社のロゴデザイン
C. オフィスの座席配置
D. 統計検定の合格証

正解: A

解説: 生成結果を 品質ルール・用語集 で確認する工程です。


問題 3

「LLM 導入したのでデータガバナンス委員会は不要」と提案された。

A. 正しい。AI が全部決める
B. 誤り。Agent ほど 変更管理・権限・SSOT のガバナンスが必要
C. 誤り。Bot だけガバナンス不要、人間も不要
D. 正しい。Harness は不要

正解: B

解説: AI 導入は ガバナンス負荷を下げない どころか、Harness 設計として増やすことが多いです。


用語メモ(この章)

用語 意味(この章での使い方)
Harness Engineering Agent の Model 以外(文脈・境界・検証・運用)を設計する考え方
Agent ツールを使ってタスクを実行する AI システム
ハルシネーション モデルが事実と異なる内容をもっともらしく生成すること
検証ループ 出力をルール・SSOT と照合してから返す仕組み
監査ログ 誰が何を問い、何を参照したかの記録