審査員の監査ログ
審査員の定期健康診断品質評価（evals）の合否は AI 審査員の判定に依存しています。では、その審査員自体は信頼できるのか？ — このページは、審査員の判定と生成物を人が突き合わせて監査した記録です。生成の健康診断が evals なら、こちらは審査員の健康診断。測る仕組みそのものを疑える状態を保つことで、スコアを信頼できるものにします。
運用
- 月 1 回を目安に抜き取り監査。審査の判定が直感と合わないとき・採点基準を変えたときは随時
- 審査員の判定（合否と理由）と、その実行で採点された HTML のアーカイブを突き合わせる。採点対象はすべて実行ごとに保存されるため、過去の判定も後から検証できる
- 誤判定が見つかったら採点基準か審査員への指示を直し、その変更の根拠としてこのログを引く
判定の凡例
| 妥当 | 審査員の判定どおり。合否・理由とも生成物と整合していた |
|---|---|
| 誤判定 | 偽陽性（合格すべきものを落とした）または偽陰性（違反を見逃した） |
| 基準側の問題 | 審査は正しいが、採点基準の文言が悪い（基準を直す） |
監査記録
| 日付 | お題 | 審査員の判定 | 人の判定 | 画面 | メモ |
|---|---|---|---|---|---|
| 2026-08-17 | listing-filter |
FAIL
|
妥当 | 再現を開く | 生成物と突き合わせて確認。ただし根因は基準側にもあり: checkbox ヘッダが絞り込み用途を filter-chip へ誘導していた + お題が送信シナリオであることを明示していなかった → 境界明文化とお題修正で対応 |
| 2026-08-17 | settings-nav |
FAIL
|
妥当 | —（消失。8/18 に改めて検査 → 下の行） | 生成物は tab で実装（選定コメントつき）。審査は正しい。根因は menu/tab の境界が形状ベースだったこと → ヘッダ修正で対応 |
| 2026-08-17 | settings-nav |
PASS | 妥当 | 開く | 境界明文化後の再実行（rubric 3/3）。生成物に nav.menu + menu-item + aria-current="page" を確認 |
| 2026-08-18 | delete-confirmation |
PASS | 妥当※ | 開く | 8/5 の判定を遡り監査。dialog / btn-negative / キャンセル導線を生成物で確認 |
| 2026-08-18 | invite-form |
PASS | 妥当※ | 開く | 8/5 の判定を遡り監査。label-badge-required/optional・btn-primary が 1 つだけ・typo-small 逃げなしを確認 |
| 2026-08-18 | status-table |
PASS | 妥当※ | 開く | 8/3 の判定を遡り監査。data-table・badge-soft-success/danger の使い分けを確認 |
| 2026-08-18 | empty-state |
PASS | 妥当※ | 開く | 8/3 の判定を遡り監査。btn-primary・typo-*・fg-* ロール使用、neutral-* 直指定なしを確認 |
| 2026-08-18 | faq-accordion |
PASS | 妥当※ | 開く | 8/17 の判定を遡り監査。details + accordion-trigger/icon、独自 is-open なしを確認 |
| 2026-08-18 | article-links |
PASS | 妥当※ | 開く | 8/17 の判定を遡り監査。link・typo-article + text-fg-high、下線消しなしを確認 |
| 2026-08-18 | settings-nav |
PASS | 妥当※ | 開く | 消失した FAIL 版の再現を試みたが、境界明文化「前」の知識でも 2 回とも menu を正しく選んだため、改めて全チェックで検査（審査 3/3）。nav.menu + aria-current を確認。旧知識でも常に失敗するわけではない（揺らぎ）ことの記録 |
| 2026-08-25 | completion-screen |
FAIL
|
基準側の問題 | 開く | capability ベースライン初回（#248）。生成物はブランドアセットを使用済み（機械チェック ✓）で、審査が落としたのはチェックマーク等の inline SVG **アイコン**。ハーネスの生成制約はアイコンの inline SVG を明示許可しており、rubric がアイコンとイラストを区別していなかった → rubric の文言を修正（この行の PR）。同実行の classes fail（btn 不使用）は本物の capability シグナルとして残す |
※ 2026-08-18 の 6 件は主要根拠の機械突き合わせによる遡り監査（Claude Code 実施・目視の再確認歓迎）。 ※ 「再現」は原本がアーカイブ導入（8/18）前に上書きで失われたため、当時と同じ DS 知識・お題文言で再生成した再現品（同型の失敗を確認済み）。監査証跡の原本ではない。
このページは evals/review-log.md（正本）からビルド時に自動生成されます。記録の追記・運用の詳細は
GitHub の evals/review-log.md
を参照してください。