能力は、
許可と同じではない。
システムは、ある行動を技術的に実行できても、それを実行する権限を与えられているとは限りません。 KoLoはこの二つの事実を分けて扱い、運用上の統制が創発的ではなく明示的であり続けるようにします。
権限なき自律性は、私たちが配備する意思のある知能ではありません。
01 — 権限の原則
AIのインシデントの多くは、能力の失敗ではなく、許可の失敗である。
自動化されたシステムが機関に害をもたらすとき、その原因が「作業を実行できなかったこと」で あることはほとんどありません。原因は、それが何を行ってよいかを、事前に、文書として 誰も決めていなかったことです — そうして能力は、既定のまま許可になってしまいます。 その空隙は実行時に、たまたまシステムが到達できたものによって埋められます。
両者を別の事実として扱うことには代償があります。重大な行動はすべて、実行される前に 分類されなければなりません。その代償こそが要点です。ある行動を誰が承認したかを 言えない機関は、その行動を統制しているとは言えません。
能力は発見されるものです。許可は付与されるものです。両者を混同するシステムは、 いずれ誰も選ばなかったことを行います。
02 — 誰が何をしてよいか
4つの主体、4つの動詞。
KoLo配備におけるすべての重大な行動は、この表のいずれかのセルに帰着します。 表の外で動作するものはなく、自らの行動を自ら承認するものもありません。
| 観察 | 推奨 | 実行 | 承認 | |
|---|---|---|---|---|
| 自律システム | 定義済み | 限定的 | 境界付き | 許可されていません |
| KoLoエージェント | 定義済み | 定義済み | ポリシー準拠 | 許可されていません |
| 人間のオペレーター | 可 | 可 | ロールベース | 定義済み |
| 説明責任を負う権限者 | 可 | 可 | 可 | 最終 |
03 — 境界付き自律性
範囲の縁を定めるもの。
「境界付き」は、その境界が明示されない限り意味を持ちません。自律的なコンポーネントが 行ってよいことは5つの次元で定義され、そのそれぞれが、インシデントの最中に発見されるのではなく、 配備の前に宣言されます。
04 — 証拠と監査
記録のない行動は、説明責任を伴って起きたとは言えない。
事後に検証できないガバナンスは、統制ではなく主張です。活動を証拠に変えるのは、 次の5つの性質です。
多くのシステムが取り違えるのは4番目です。ジョブが実行されたことの記録は、 それが何かを達成したことの記録ではありません — そして前者の上に作られた ダッシュボードは、後者が完全に失敗していても緑を表示し続けます。
05 — エスカレーション
統制を人間に戻す条件。
06 — 主権
7つの層であり、1台のサーバーではない。
主権は、モデルがどこにホストされているかを根拠に主張されがちです。 ホスティングは、7つの層のうちの1つにすぎません。
07 — 展開をまたぐガバナンス
権限は、能力とともに広がらない。
ローカルモデルからフロンティアモデルへエスカレーションする配備は、能力を得ます。 しかしそれによって許可を得ることはありません — 範囲は、応答するモデルの性質ではなく、 機関のポリシーの性質だからです。
08 — 信頼は運用である
信頼は検証可能でなければならない。
機関の信頼は、システムが知的に見えることに依拠することはできません。 組織が、何が起きたのか、なぜか、誰の権限の下で、どの証拠に基づいてかを 確認できるかどうかに依拠します。
09 — ステータスと主張の境界
このページが主張しないこと。
目的は無制限の自律性ではありません。可視化された権限、証拠、そして人間の責任の 内側で機能する、有用な自律性です。