ハーネスエンジニアリングとデータマネジメント
Stage 5 — 第3章 | データマネジメント入門 推定学習時間:40〜50分 | 難易度:★★★☆☆
この章で学ぶこと
社内 ChatBot に「今月の売上は?」と聞く文化が広がっています。 LLM(Large Language Model)や AI エージェント(Agent)が データに触れる 時代、Stage 1〜4 で整えた DM 要素が 別の形で必須 になります。
ハーネスエンジニアリング(Harness Engineering) は、Agent を Model + Harness と捉え、Harness 側に安全・文脈・検証を載せる考え方です。
本章は Agent 開発の教科書ではありません。 DM の延長として Harness が何を担うか を入門レベルで押さえます。
この章を終えると、こんなことができるようになります:
- Agent = Model + Harness を説明できる
- Harness 4 柱と DM 要素(メタデータ、SSOT、品質、権限等)の 対応 を説明できる
- 「AI に SQL を書かせれば解決」と言う提案への 反論 を DM 用語で説明できる
- さくら商事が Bot 導入時に 最低限決めること を挙げられる
1. Bot が答えた「売上 1.5 億」
さくら商事が社内 Bot を試験導入しました。 木村さんが聞きました。
「今月の公式売上は?」
Bot:「今月の売上は 1 億 5,000 万円 です。」
経理の数字は 1 億 1,800 万円(公式 mart_finance)。
調査すると、Bot は 退職者の Sheets を学習データに含んでいました。
鈴木
「モデルは賢い。でも 何を参照していいか が Harness なしだと、野良マート問題が自動化される。」
2. Agent = Model + Harness
| 要素 | 役割 | さくら商事の例 |
|---|---|---|
| Model | 言語理解・推論・生成 | GPT 等 |
| Harness | 文脈、ツール境界、検証、運用 | SSOT 参照、SQL 禁止範囲 |
User → [Harness] → Model → [Harness] → Tool(SQL / カタログ)→ Answer
↑ コンテキスト ↑ 検証ループ
↑ 権限境界 ↑ 監査ログ
モデル単体は 「それっぽい答え」 を生成します。 Harness が 「信頼できる答え」 に寄せます。
次の図は、本カリキュラムで学んだ DM 要素が Harness のどこに載るか の対応表です。
コンテキスト設計"] H2["Harness
ツール境界"] H3["Harness
検証ループ"] H4["Harness
運用・状態"] D1["DM
SSOT・カタログ
オントロジー"] D2["DM
RBAC・行/列
OLTP禁止"] D3["DM
品質テスト
リネージ"] D4["DM
変更管理
監査ログ"] AGENT --> H1 --> D1 AGENT --> H2 --> D2 AGENT --> H3 --> D3 AGENT --> H4 --> D4 classDef harness fill:#eff6ff,stroke:#2563eb,color:#1f2937 classDef dm fill:#f0fdf4,stroke:#16a34a,color:#1f2937 classDef agent fill:#eff6ff,stroke:#1e3a8a,stroke-width:2px,color:#1f2937 class H1,H2,H3,H4 harness class D1,D2,D3,D4 dm class AGENT agent
AI 導入 = DM 不要、ではありません。 Harness なしでは 野良マートと権限逸脱が加速 します。
3. Harness 4 柱 ↔ DM
| Harness 要素 | 内容 | DM 対応物 |
|---|---|---|
| コンテキスト設計 | 何を見せるか | メタデータ、カタログ、SSOT、オントロジー |
| 行動設計 / ツール境界 | 何をしてよいか | RBAC、行/列セキュリティ、OLTP 禁止 |
| 検証ループ | 答え合わせ | 品質テスト、リネージ、定義一致チェック |
| 運用・状態管理 | ログ・変更 | 変更管理、監査ログ、保持期間 |
3.1 コンテキスト設計
Bot に Sheets 全社 を渡すのではなく:
- カタログ API から 公式メトリクス定義 のみ
mart_finance経由の セマンティックレイヤー- 用語集(オントロジー)を system prompt に 固定引用
3.2 ツール境界
| 許可 | 禁止 |
|---|---|
mart_* SELECT |
本番 OLTP |
| マスク済みビュー | PII 生列 export |
| 読取のみ | DDL/DML |
Stage 5-1 の 権限の層 がそのまま Agent ツールポリシーになります。
3.3 検証ループ
Bot が SQL 生成
→ 参照表が SSOT かチェック
→ 品質ルール Q-001 パス
→ 公式売上定義(用語集)と一致?
→ OK なら回答
1 回生成で返さない —— analytics の品質 SQL と同型です。
3.4 運用
- 質問・生成 SQL・参照表を 監査ログ
- モデル変更・プロンプト変更も 変更管理
- インシデント時は Bot 停止スイッチ(品質インシデントと同型)
4. 「AI に任せれば DM 不要?」への回答
| 誤解 | DM + Harness での反論 |
|---|---|
| SQL を自動生成するから SSOT 不要 | 生成元を SSOT に 縛る Harness が必要 |
| カタログ不要、モデルが理解する | ハルシネーション(幻覚)対策に 定義の正本 が必要 |
| 権限は後から | Agent は 権限を拡大する装置 になりやすい |
| 品質テスト不要 | 検証ループなし = 野良 SQL の高速量産 |
5. さくら商事 Bot 導入チェックリスト(最小)
- 参照は L3 / mart_ のみ*
- PII 列ツール 禁止
- 回答に 定義ソース を脚注
- インシデント時 自動停止
- 監査ログ 90 日保持
- オーナー(佐藤)が 公式数字回答 を承認
体系コラム:カリキュラム上の位置づけ
| 項目 | 内容 |
|---|---|
| Stage / 章 | Stage 5 — 第3章「Harness Engineering と DM」 |
| 今回の論点 | AI エージェントは Model + Harness — DM がハーネスの正体 |
| DAMA 領域 | データガバナンス、メタデータ、データ品質(AI 参照の制約) |
| ライフサイクル | 活用段階の 自動化された出口(Bot、自然言語問合せ) |
| 前章との接続 | ガバナンスの実践 — Bot が触る範囲を ポリシー で縛る |
| 次章への伏線 | 総合ケーススタディ — 全 Stage を 時系列 で統合 |
コラム:analytics との線引き
自然言語で「6 月の売上は?」と聞ける Bot は、analytics の SQL スキルとは別次元の 利用者入口 です。Harness の 4 柱(コンテキスト、ツール、検証、観測)は、DM の SSOT・リネージ・品質・ガバナンスと 1 対 1 で対応します。
| Harness 柱 | DM の相当 | さくら商事 Bot ルール |
|---|---|---|
| コンテキスト | SSOT マート + 用語集 | mart_* のみ参照 |
| ツール | 許可されたクエリ経路 | PII 列ツール禁止 |
| 検証 | 品質フラグ・オーナー承認 | 公式回答は佐藤承認 |
| 観測 | 監査ログ、インシデント連携 | 90 日保持、NG 時自動停止 |
「AI に任せれば DM 不要」は誤りです。モデルが賢いほど、参照先が野良 だと速く間違いを広げます。analytics トラックで SQL を書く人ほど、Bot の ハーネス設計 に参画する必要があります。
まとめ
| 概念 | キーメッセージ |
|---|---|
| Model | 推論エンジン。正しさの保証なし |
| Harness | 文脈・境界・検証・運用 |
| DM | Harness の 中身 を供給する |
| 導入 | DM なし Bot = 野良マート Bot |
この章のキーメッセージ:
AI 時代ほど SSOT・カタログ・品質・権限 が Harness として必要です。 データマネジメントは「レガシーな仕事」ではなく、Agent を信頼可能にする基盤 です。
次に読む
- 前章: ガバナンスを回す
- 次章: 総合ケーススタディ
- 関連: メタデータとリネージ
確認問題
問題 1
社内 Bot が退職者 Sheets を参照し、誤った売上を回答した。 最も本質的な欠陥 はどれですか。
A. Harness(コンテキスト・ツール境界)で SSOT 以外を参照できた
B. モデルのパラメータ数が少ない
C. SQL が遅い
D. ER 図の線が少ない
正解: A
解説: 問題はモデル能力ではなく 参照元の制御 です。野良マート問題の Agent 版です。
問題 2
Harness の「検証ループ」に対応する DM 要素として 最も近い のはどれですか。
A. データ品質テストと定義一致チェック
B. 会社のロゴデザイン
C. オフィスの座席配置
D. 統計検定の合格証
正解: A
解説: 生成結果を 品質ルール・用語集 で確認する工程です。
問題 3
「LLM 導入したのでデータガバナンス委員会は不要」と提案された。
A. 正しい。AI が全部決める
B. 誤り。Agent ほど 変更管理・権限・SSOT のガバナンスが必要
C. 誤り。Bot だけガバナンス不要、人間も不要
D. 正しい。Harness は不要
正解: B
解説: AI 導入は ガバナンス負荷を下げない どころか、Harness 設計として増やすことが多いです。
用語メモ(この章)
| 用語 | 意味(この章での使い方) |
|---|---|
| Harness Engineering | Agent の Model 以外(文脈・境界・検証・運用)を設計する考え方 |
| Agent | ツールを使ってタスクを実行する AI システム |
| ハルシネーション | モデルが事実と異なる内容をもっともらしく生成すること |
| 検証ループ | 出力をルール・SSOT と照合してから返す仕組み |
| 監査ログ | 誰が何を問い、何を参照したかの記録 |