Rosarium

用語・参照資料 / Reference / principle

数式・記号リファレンス

AIの出力の揺らぎや失敗リスクを考えるときに使う数式をまとめています。条件付き確率・Temperature・RAG・期待損失について、数学上の定義と設計用の簡略モデルを区別します。

最終更新:

数学 / 確率

読む目的: AI理論・モデルの性質

数式・記号リファレンス

このページでは、数学上の定義と設計上の説明モデルを区別する。数式は実システムの品質保証ではなく、前提や制御対象を明示するために使う。

数学上の定義

条件付き出力分布

P(Y∣X,C,I,M,D)P(Y\mid X,C,I,M,D)
記号意味
XX利用者入力・処理対象
CCContext
IIInstruction・制約
MMモデル
DDTemperature、top-pなどの生成条件
YY生成出力

自己回帰分解

P(Y∣C)=∏t=1TP(yt∣y<t,C)P(Y\mid C)=\prod_{t=1}^{T}P(y_t\mid y_{<t},C)

系列全体の確率を、各Tokenの条件付き確率の積として表す。完成済みの回答候補から一つを選ぶという意味ではない。

Temperature付きSoftmax

P(yt=i)=exp⁡(zi/T)∑jexp⁡(zj/T)P(y_t=i)=\frac{\exp(z_i/T)}{\sum_j\exp(z_j/T)}

ziz_iはlogit、T>0T>0はTemperatureである。TemperatureはToken分布の形を変えるが、事実性や安全性を直接保証しない。

設計上の説明モデル

RAGの二段階モデル

P(Y∣X)=∑ZP(Z∣X)P(Y∣X,Z)P(Y\mid X)=\sum_Z P(Z\mid X)P(Y\mid X,Z)

ZZは検索された根拠候補である。検索失敗と、根拠取得後の生成失敗を分けるための簡略モデルとして使う。

工程成功の連鎖

P(⋂i=1nSi)=∏i=1nP(Si∣⋂j=1i−1Sj)P\left(\bigcap_{i=1}^{n}S_i\right)=\prod_{i=1}^{n}P\left(S_i\mid\bigcap_{j=1}^{i-1}S_j\right)

各工程が独立で成功確率が同じ場合に限り、P(all correct)=pnP(\text{all correct})=p^nと簡略化できる。実システムの品質予測へそのまま使わない。

Riskと期待損失

Risk=P(error)×ImpactRisk=P(error)\times Impact E[L]=∑kP(Fk)Ik\mathbb{E}[L]=\sum_k P(F_k)I_k

実務では検出可能性、可逆性、露出量、復旧費用、拒否、Latency、Human Review負荷なども考慮する。何を損失として数えるかは設計判断であり、式だけでは決まらない。

読み方の注意

  1. 条件を省略した式は、利用するページで前提を補う。
  2. モデル内部の確率と、運用で観測した頻度を混同しない。
  3. 独立性を仮定した簡略式を、実測値へ直結させない。
  4. 数式の精密さを、主張の正しさの代わりにしない。