AI Review KPI

ai-review-gate / RAI のビジネス貢献度を、任意の集計軸で探索する KPI ダッシュボード (dinii-self-all)

Period:~

Granularity:

Metric:Break down by:

Size:

Stack:

領域:

Package:

Flags (含む):

Flags (除外):

Status:

著者:

Stack / 領域 / Flags / Package は PR の変更ファイルパスからclassification.yaml ↗の分類ルールで導出 (prFileFeatures は直近21日のローリング。期間外は「不明」)。

Approve率 (RAI判定・直近1週間)

—

— ・ anchor: merged

利用率 (目標 70.0%)

—

— ・ anchor: created

CI cost/日 (目標 ≤ $100)

—

— ・ anchor: run

approve 品質 — RAI verdict 分類 (RAI 判定対象)

背骨 = RAI の verdict。主指標 = Approve率（RAI判定）= cleared / RAI判定対象（未判定も「本来 approve 可能」なので分母に含む）。判定到達時 = 正しく判定できれば届くポテンシャル。bypass (自動approve)・skip は RAI 判定対象外でグラフから除外。anchor: merged PR。

分類別 Approve率（RAI判定・直近1週間） — クリックで下のグラフの対象を切替

verdict 分類トレンド — 全体（選択期間）

Loading…

要分類 (abstain→人 + coverage-gap) は「正当(sensitive) / 不当(uncovered・機械故障)」を現状は分離できない (Phase 2: role-index + abstain-reason)。Approve率（RAI判定）の分母は RAI判定対象（未判定含む）= 本来 approve に倒せる可能性のあるものも母数に入れた公正な評価。判定到達時 = その上限ポテンシャル。

評価エスケープ — gate 評価前に merged/closed された PR

Loading…

終端の gate 判定が skip (PR が evaluate 前に merged/closed) だった PR を数える — admin merge / close が gate 評価を出し抜いた回数の健全性指標。期間内に作成された PR (prCreatedAt) 単位・dogfood 除外・run 単位 (サイズ等の PR フィルタ未適用)。verdict-spine の skip klass は prMergedAt 基準で merged-skip のみ数えるため、closed は本カードのみ。

RAI follow-up 提起マップ — RAI が surface した提起の構成

headline = 提起 composition map（strategy × outcome=landed/skipped）。RAI が post-merge follow-up で提起した finding の構成を見る（生件数でなく構成）。guardrail = accepted-share = merged follow-up / 総提起（意義の片側 proxy）。dinii-self-all、2026-06-24 から計上。

Loading…

follow-up adoption — engineer の follow-up routine 利用率

adoption = (その週 follow-up marker を出した engineer 数) / (その週 PR を作成した engineer 数)。dinii-self-all。owner は被レビュー PR 著者で近似 (author-self 前提、marker に owner 無し)。非 adopter は org-wide enablement の nudge 対象。

Loading…

RAI 利用率 — engineer のローカル RAI 週次利用率

利用率 = (その週ローカルで /rai-review した engineer 数) / (その週 PR を作成した engineer 数)。dinii-self-all、CI gate は分子に含まない。週次コミット「RAI 利用率 70%」の計測面。

Loading…

配布チャネル移行 — AR-npm → plugin (直近週の plugin 率)

Loading…

plugin 率 = plugin 版 engineer / 全ローカル RAI engineer (role=engineer・CI gate 除外)。各 engineer はその週最新 run の channel。dev=RAI_DEV_LOCAL、unknown=distribution 未刻印の旧 marker。

cost は CI 実行 (ai-review-gate.yaml) のみ (routine/local は別)。workflow 失敗率は Zone A の「機械故障(不当)」と同一信号の一次ソース。

RAI 実行時間 — 日次 p50 (size 別)

`AI Review Gate Evaluation` ジョブ内の RAI 実行ステップだけの wall time (checkout / setup 等の定型ステップを除外)。全 run skill mode のため mode 分解は廃止し、PR サイズ別の日次 p50 に。run 単位指標のため PR フィルタは非適用。成功 run のみ (cancelled の部分実行は除外)。

Loading…

RAI 実行時間 by size

PR サイズ別の p50 / p90・30m(1800s) 張り付き本数。大きい PR ほど timeout 近傍に張り付く。run 単位指標。

Loading…

RAI 実行時間 by area 分類

変更領域別 (composite=横断系 / single / root)。composite ほど重くなりやすい。run 単位指標。

Loading…

RAI コスト by size

ai-review-gate.yaml の Claude コストを PR サイズ別に集計。$/run と占有。run=usage を出した gate run（成功に限らない）。merged PR 帰属分のみ。

Loading…

RAI コスト by area 分類

変更領域別 (composite=横断系 / single / root)。composite / XL ほど $/run が高い傾向。merged PR 帰属分のみ（未帰属 ~1割は別途 /claude-usage の waste）。

Loading…

Workflow Conclusion 推移

`pull_request` event の workflow run の conclusion 内訳。failure 比率の上昇は AI レビュー基盤の信頼性低下の早期警告。run 単位指標のため PR フィルタは非適用。

Loading…

Role Index Builds — nightly health trends

RAI role-index の毎晩のビルド (4 branch, 02:00 JST connector cron) の傾向 (`rai_role_index_build`, Cloud Logging→BQ)。コスト = 校正済 real-USD proxy (週次コミット「$100/日 CI」の参考)、scope mix の full 急増 = compare-API delta 経路の劣化サイン、build duration = 30 分ハング→504 障害クラスの先行指標。

Loading…

rai-connector 運用コスト (routine tax)

$100/日 CI scope 外 — routine (cloud connector) 運用の infra tax。rai-connector の Cloud Run serving 課金 (net USD) を dinii-self-prod billing export から cross-project 集計 (`app=rai-connector` label)。

Loading…