[検討] confidence_level の計算方法を業界実践（selective prediction / abstention）から見直す

[y-nakata]

これは何か

解決策ありきの Issue ではなく、問題定義から始める検討 Issue。 「そもそも現状の _compute_confidence() の何が不足なのか」「laarma の confidence は業界のどの枠組みに対応するのか」を整理し、見直しの土台を作る。具体的な計算式の変更は本 Issue では決めない。

背景: 仕様での confidence の位置づけ

AARM 仕様で confidence_level は δ シグナルの一つで、「システムが現在のアクションを評価する確信度、allow/deny/defer 決定に用いる」と定義される（§IV-C）。用途は2つ:

• context-dependent allow: 「confidence level が、直接 allow するか人間確認（STEP_UP）を求めるかを決める」（§IV-B3）
• context-dependent defer: 「allow/deny には confidence が不十分」なときの保留トリガー。R3 は「confidence score (if implemented) が deployment 設定の閾値を下回ると DEFER を MUST トリガー」とする（§VII R3）

仕様は (if implemented) と明記しており、計算方法は実装依存で規定しない。

重要な前提（risk-classification.md で確定済み）: confidence は「(a, C) を評価できる度合い（evaluability）」であって、アクションの危険度ではない。 危険度は data_classification と IntentAlignment が担う。confidence は「判断材料が足りているか／判断しきれるか」を表す。

現状の実装

context_accumulator.py の _compute_confidence() は、1.0 を起点にしたヒューリスティックな加減算:

score = 1.0
score -= semantic_distance * 0.3      # 意味的距離が大きいほど評価困難
if scope_expansion:  score -= 0.25    # 想定外スコープは評価困難
if action_matches_intent:  score += 0.1  # 明示的一致は評価しやすい
return clamp(score, 0.0, 1.0)

係数（0.3 / 0.25 / 0.1）は経験的に置かれた値で、根拠の裏取りや較正（calibration）はされていない。方向性（距離が大きい・スコープ外なら評価しにくい＝低 confidence）は evaluability の考え方と整合しているが、値そのものは恣意的。

業界実践の調査メモ（裏取り済み、参考）

laarma を縛るものではなく、見直しの参照。web 調査に基づく。

最重要の気づき: laarma の confidence は2系統あるうちの「selective prediction」側。 LLM の confidence 研究は大きく2系統に分かれる:

1. Calibration / uncertainty quantification（答えの正しさ） — token logits、verbalized confidence、self-consistency、ECE 最小化など。「モデルの回答がどれだけ当たるか」を測る。→ laarma の confidence とは別物。
2. Selective prediction / learning to abstain（留保すべきか） — 確信が閾値を下回るとモデルが予測を留保（reject / abstain）し、人間・上位モデル・追加データ収集に委ねる（reject option、Chow 2003 / Geifman & El-Yaniv 2017）。→ laarma の DEFER / STEP_UP と構造的に同一。

laarma の confidence_level（evaluability）と DEFER は、明確に 2 の系統。これを取り違えて 1 の手法（verbalized confidence 等）を持ち込むと、「危険度でない・evaluability である」という確定済みの前提から外れる。

その上で、2 の系統で laarma に効きそうな観点:

• evidential sufficiency（証拠の十分性）で留保を決める定式化が、laarma の evaluability に最も近い。「関連文書の平均関連スコアが閾値を下回る／最小確信度を満たす証拠が無ければ留保する」という、証拠の十分性と留保意志を明示的に結ぶ考え方（techrxiv 2508.07556 系の abstention 論）。laarma の「user_intent との一致・スコープ・ドリフトという証拠が十分か」と同じ方向。
• 実装の定石は confidence-threshold abstention — calibration 後に閾値で留保する古典的 reject-option ルール（Geifman & El-Yaniv 2017、Chow 2003）。AARM R3 の「閾値を下回ると DEFER」と同型。
• 評価軸は risk-coverage tradeoff — 閾値を上げるほど coverage（自律処理する割合）は下がるが、受理したものの誤り率は下がるべき。閾値は「滑らかで単調な risk-coverage 曲線」を生むのが望ましい（arXiv:2601.00138）。→ laarma の閾値設定・チューニングの評価に使える観点。
• 落とし穴: verbalized confidence は判断と乖離する — モデルに「どれくらい確信があるか」を自己申告させる方式は、実際の正しさや行動と合わない（「不確実と言いながら不可逆な行動を取る」）。複数の資料が一貫して指摘（zylos.ai 2026-04、arXiv:2601.07767）。→ confidence を LLM 自己申告に頼る方向は避けるべき、という示唆。現状の laarma がヒューリスティック計算（自己申告でない）なのはこの点ではむしろ妥当。

この調査と AARM 論文の参照文献との関係

上記の selective prediction / abstention / calibration 系の文献は、AARM 論文（arXiv:2602.09433）の参照リスト（全37件）には直接は含まれない。論文の参照はエージェントセキュリティ（脅威・攻撃・防御）、アクセス制御、HITL、業界フレームワークに寄っており、confidence/uncertainty の計算手法そのものを扱う文献は無い。これは論文が confidence の計算方法を (if implemented) として意図的に未規定にしているため、当然の帰結。本 Issue の調査は、その「仕様が空けた箇所」を埋めるために外部の隣接領域から持ち込んだもの。

ただし論文の文献体系から辿れる隣接関係はある:

• 論文 [3] NIST AI RMF 1.0 — MEASURE 機能で AI システムの不確実性の測定・文書化を求めており、uncertainty quantification はこの系譜に連なる。
• 論文 [29] H. Su et al. "A Survey on Autonomy-Induced Security Risks"（arXiv:2506.23844） — 論文本文の Related Work（§II-A）が「deferred decision hazards（保留された決定の危険）」を扱う文献として言及。DEFER の安全性に踏み込んでおり、selective prediction / abstention とテーマが地続き。
• 論文 [9] AgentDojo / [17] ToolEmu — リスクのあるエージェント挙動の評価ベンチマーク。selective prediction の評価軸（risk-coverage tradeoff）と発想が近い。

つまり本調査は「論文と無関係に外から持ってきた」のではなく、「論文が未規定とした confidence 計算を、論文の隣接文献（特に NIST AI RMF [3]・Su survey [29]）と地続きの研究で補完した」もの。検討本番で深掘りする際は、まず [29] の deferred decision hazards から辿るのが筋が良い。

laarma にとっての論点（要検討、結論なし）

• そもそも現状の何が問題か。 試作段階として、ヒューリスティックな加減算で DEFER のデモは動いている。「係数に根拠がない」ことが実害を生んでいるのか、それとも将来の精緻化に向けた地ならしなのかを、まず切り分ける。
• confidence を evaluability として捉える laarma の方針を、selective prediction / evidential sufficiency の語彙でどう正確に表現するか。risk-classification.md の「危険度でない」という確定事項との整合。
• 現状の3入力（semantic_distance / scope_expansion / action_matches_intent）は「証拠の十分性」の代理として妥当か。足りない証拠軸はないか（例: data_classification の不確かさ、action history の薄さ ＝ 仕様が defer 条件に挙げる「prior actions が workflow を確立していない」）。
• 係数・閾値を「恣意的な値」から「risk-coverage で較正できる値」へ動かす余地があるか。ただし試作段階で較正用データセットを持つコストに見合うか。
• verbalized confidence（LLM 自己申告）には寄せない、という現状方針を明示的に確認する。

進め方

解決策（新しい計算式）に飛びつかない。まず「現状の何が問題か／何が十分か」を切り分け、laarma の confidence を selective prediction / evidential sufficiency の枠組みで言語化する。そのうえで、見直すなら証拠軸の追加・閾値較正の順で検討する。方針が固まれば設計メモ化を検討（confidence の位置づけは risk-classification.md に既に一部あるため、そこへの追記か別メモかも論点）。

関連

• laarma_sdk/src/laarma/context_accumulator.py の _compute_confidence() / derived_signals()
• docs/design/risk-classification.md（confidence は危険度でない・evaluability である、の確定）
• 仕様 §IV-B3（context-dependent allow の confidence）/ §IV-C（δ の confidence_level）/ §VII R3（閾値を下回ると DEFER、if implemented）
• AARM 論文の隣接文献: [3] NIST AI RMF 1.0、[29] Su et al. autonomy-induced risks survey（deferred decision hazards）、[9] AgentDojo / [17] ToolEmu（評価）
• 外部参考文献（論文の参照外・補完）: selective prediction / reject option（Chow 2003, Geifman & El-Yaniv 2017）、abstention と evidential sufficiency（techrxiv 175682660）、risk-coverage（arXiv:2601.00138）、verbalized confidence の乖離（arXiv:2601.07767）

[y-nakata]

追加論点: confidence の実装担当と、#94 経路B での位置づけ

signal/decision 分離（#94）の検討で、confidence の実装担当が具体的な論点として立った。本 Issue の検討本番に組み込む。

#94 経路B における confidence の位置づけ

#94 で整理された決定の二経路のうち、経路B（signal を勘案した決定論マッピングが、静的ポリシーの提案を上書きするか判定する） の入力 signal の一つが confidence。経路B の入力は3つ:

• semantic distance（埋め込み文モデル）
• confidence（(a, C, δ) から計算/導出 = evaluability）
• risk signals（anomaly detection 等）

決定論マッピング自体はプログラム（規範的判断は決定論コード）。confidence はその入力 signalとして供給される。したがって confidence の「計算/導出を誰がやるか」が、経路B のどこまでが決定論でどこからが LLM かを左右する。

confidence の実装担当: LLM and/or プログラム

(a, C, δ) から confidence を計算/導出する担当は、本 Issue が既に立てた方針（verbalized confidence = LLM 自己申告には寄せない）の下で、おそらく分担になる:

• 形式的に判定できる evaluability → プログラム（決定論）。例: required_params の充足、action history の厚み（仕様が defer 条件に挙げる「prior actions が workflow を確立しているか」）、semantic_distance が閾値以下か、等。
• 意味的にしか判定できない evaluability → LLM。例: 「このアクションが (a, C) から評価可能か」の意味的な機微。

現状の _compute_confidence() は前者寄り（semantic_distance / scope_expansion / action_matches_intent からの計算）で、自己申告でない点は本 Issue の方針と整合。論点は「意味的 evaluability を LLM signal として足すか、足すなら自己申告でない形（例: scope_expansion のように LLM が産出する記述的 signal をプログラムが合成する）でどう設計するか」。

この論点を検討本番にどう乗せるか

本 Issue の既存の検討軸（証拠の十分性 = evidential sufficiency、証拠軸の追加、閾値較正）に、以下を足す:

• confidence の入力 signal の担当分け: (a, C, δ) のどの要素を決定論プログラムが計算し、どの要素を LLM signal として供給するか。verbalized confidence を避けつつ意味的 evaluability を取り込む設計。
• 経路B との整合: confidence が決定論マッピングの入力である以上、confidence 自体が一部 LLM 産出でも、それは「LLM signal → 決定論マッピング」という [検討] IA の signal/decision 分離 — IntentAlignment は意図整合の信号産出に純化し、決定の割り当ては決定層（ルール＋SDK 決定論コード）へ #94 の signal/decision 分離に沿う（confidence の LLM 部分は signal、それを使う上書き判定は決定論）。

実装担当の暫定割り当て（#94 と共有）

構成要素	実装担当
semantic distance	埋め込み文モデル
confidence	LLM and/or プログラム（本 Issue で詰める）
scope expansion	LLM
決定マッピング（上書き判定）	プログラム（決定論）

confidence の解像度を上げることが、経路B の決定論／LLM 境界を確定させる。本 Issue が #94 経路B の confidence 入力を供給する関係。

[y-nakata]

訂正: confidence の AARM 論文上の定義（一次資料裏取り）

本 Issue で confidence を「(a, C, δ) から計算/導出される evaluability」と扱ってきたが、AARM 論文を一次資料で確認した結果、論文の文言と laarma の解釈が混ざっていたため切り分けを記録する。

論文が confidence について書いていること（全3箇所のみ）

1. 定義（§V derived signals）: confidence level は派生信号 δ の一員で、「現在のアクションを評価することに対するシステムの確信度（the system's confidence in evaluating the current action）」、allow/deny/defer に資する。
2. DEFER（§VII R3）: deferral は confidence score が「(if implemented) デプロイ設定の閾値を下回ったとき」トリガーされ得る。実装任意。
3. STEP_UP（§VI）: confidence が、直接 allow か人間確認かを決める。

論文由来 vs laarma の解釈

• 論文由来: confidence は δ の一員（Cn = Cn-1 ∪ {an, on, δn}、data classification / semantic distance / scope expansion / entity set と並ぶ）。「評価することへの確信度」。計算方法は論文に定義なし（(if implemented)・閾値はデプロイ設定）。
• laarma の解釈（論文外）: 「evaluability」という呼称、selective prediction / abstention 系という整理、_compute_confidence() の具体的算出。これらは論文を解釈して laarma が足したもので、論文には無い。

δ との関係の訂正

「(a, C, δ) から計算/導出される」は順序が逆。論文では confidence ⊂ δ（confidence は δ の構成要素の一つ）。δ を入力に confidence を出すのではない。評価単位は (a, C) で δ は C 内の派生信号。

本 Issue（confidence 計算方法の検討）への含意

• 計算方法が論文未定義＝実装の自由であることが確定。本 Issue が「業界実践（selective prediction / abstention）から計算方法を設計する」のは、論文の空白を laarma が埋める正当な検討であって、論文に反しない。論文の制約は「confidence は δ の一員」という位置づけのみ。
• 「evaluability」呼称は laarma 固有の解釈である、と本 Issue でも明示しておく（論文準拠の議論と laarma 解釈を混同しないため）。
• [検討] IA の signal/decision 分離 — IntentAlignment は意図整合の信号産出に純化し、決定の割り当ては決定層（ルール＋SDK 決定論コード）へ #94 経路B での confidence の扱い（δ の一員として決定論マッピングの入力 signal になる）と整合。実装担当（LLM / プログラム / 埋め込みのどれが何を産出するか）は論文に縛られず設計してよい。

[y-nakata]

検討: confidence に文脈蓄積（履歴依存）の参照が必要か — 先行研究調査と結論

発端

confidence を「(a, C, δ) から計算/導出される evaluability」と表記してよいか、という思いつきから。具体的には、confidence_n を算出するとき過去ラウンドの情報（C や prior confidence_{n-1}）を参照すべきか——「このところ confidence の低いアクションが連発しているから今回も下げる」的な勘案を入れるべきか、を検証した。計算方法は論文の自由領域（前コメントの裏取り参照）なので、参考にできるものは何でも参考にしてよい前提で、先行研究（selective prediction / abstention）が履歴依存をどう扱うかを web 調査した。

調査結果: 二つの層を区別すると答えが割れる

層1: confidence の「閾値判定」は per-instance が標準形。
selective prediction の古典的定式は c(x) = 1[c̃(x) > τ] で、判定は当該入力 x のみの関数。「sequential prediction with abstention」という系列設定も中身は敵対的ロバスト性の理論（i.i.d. ストリームに破損サンプルが注入され、破損したものを abstain してよい）で、各ラウンドの判定は当該インスタンスが破損かで決まる。「前回 confidence が低かったから今回も下げる」という自己回帰は標準形に無い。 per-instance が主流。

層2: ただし履歴依存が正当化される実践が二つある。いずれも「連発だから下げる」とは別物。

1. temporal aggregation（窓平滑化＝ノイズ除去）: 生の confidence はノイズが多いので、直近 n ステップの因果的スライディング窓で期待値を取り低域通過フィルタする（Group Confidence 型, arXiv:2512.18605）。単発スパイクを均し持続する評価困難だけを拾う。これは罰の累積ではなくノイズ抑制。
2. adaptive recalibration（適応的再較正＝閾値更新）: 静的 confidence ゲートは文脈ドリフト下で非単調な abstention を生むため、最近データのスライディング窓で confidence–accuracy 写像を周期的に再推定し、モデルは固定したままゲート閾値 τ だけを更新する（arXiv:2603.09947）。confidence 値でなく閾値を動かす。

結論: 現状の per-action 維持が妥当（履歴依存は今は入れない）

• confidence 値の自己回帰（前回低いから今回下げる）は先行研究に支持が薄く、[検討] confidence_level の計算方法を業界実践（selective prediction / abstention）から見直す #77 で確定した「confidence ≠ 危険度」の境界を侵す。「連発の検知」は confidence でなく composite risk の領分（scope_expansion 蓄積、[検討] scope_expansion の意味判定の破綻と産出手段（プログラム/埋め込み/LLM）の設計 #99）。この仕分けは先行研究の per-instance 原則とも合う。
• したがって (a, C, δ) という表記は、標準形にない履歴依存を仕様に呼び込むので避ける。 現実装が other-δ_n（current-round の data classification / semantic distance / scope expansion / entity set）のみから confidence_n を算出し、C や prior confidence を直接食っていないのは、per-instance 標準形と整合していて正しい。表記するなら「confidence_n は a_n と現ラウンドの other-δ_n から算出（C への直接依存は持たない）」。
• なお confidence ⊂ δ（membership・値 n）と「confidence を算出する関数の入力」は別レイヤーで、混同しないこと。confidence は δ の計算 DAG の sink（他の δ_n が出揃ってから最後に算出）であり、これは現実装の record_action の順序（classify → distance → scope → matches_intent → confidence）が既に満たしている。

将来の含意（実害が観測されてから）

• confidence のノイズ（単発のブレ）が実害化したら、**窓平滑化（Group Confidence 型）を「自己回帰でなくノイズ除去として」**入れる余地がある。
• 文脈ドリフトで閾値が不適合になったら、**適応的再較正（閾値 τ の窓更新）**の余地がある。
• いずれも試作段階では不要（較正用データセットも無い）。per-instance のまま据え置く。

関連

• 前コメント（confidence の AARM 論文裏取り: δ の一員・計算方法は実装自由・evaluability は laarma 解釈）
• [検討] scope_expansion の意味判定の破綻と産出手段（プログラム/埋め込み/LLM）の設計 #99（scope_expansion 蓄積 ＝ composite risk の材料。「連発・系列の逸脱」はこちらの領分で、confidence に混ぜない）
• 外部参考: Group Confidence の temporal aggregation（arXiv:2512.18605）、文脈ドリフト下の adaptive recalibration（arXiv:2603.09947）、selective prediction の per-instance 定式（arXiv:2306.04459 §4.1.3）