AIは、緩やかなIF文だと思う

プログラムのIF文は、条件がはっきりしています。

もし室温が25度以上なら、冷房をつける。
そうでなければ、冷房を止める。

同じ入力を与えれば、同じ分岐を通ります。動きが想定と違っても、条件を一つずつ追えば原因を探せます。

生成AIを使っていると、これとは別の分岐に見えることがあります。条件は書かれているのに、その境界がくっきりしていません。

私はこれを、緩やかなIF文 のようなものだと考えています。

境界線が一本ではない
#

室温だけでエアコンを動かすなら、25度という境界線を一本引けます。しかし、実際の快適さを判断するには、湿度、時間帯、在室人数、活動量、本人の好みなども関わります。

条件が増えるほど、「25度以上なら冷房」という一行では扱いにくくなります。ある人には暑くても、別の人にはちょうどよいかもしれません。同じ人でも、運動直後と就寝前では判断が変わります。

生成AIも、多くの情報を受け取って出力を選びます。依頼文だけでなく、それまでの会話、与えた資料、言葉の並び方などによって答えが変わります。従来のIF文のように、判断の境界を人が一行ずつ書いているわけではありません。

だから「緩やか」です。

もちろん、これはAIの仕組みを厳密に表す技術用語ではありません。ニューラルネットワークをIF文の集合として説明したいわけでもないです。入力と出力のあいだに明確な境界線を引きにくい、という使い手から見た比喩です。

境界が緩やかになると、テストの考え方も変わります。

従来のプログラムでは、入力と期待する出力を組にして確認できます。生成AIの文章は、同じ意味でも言葉や順序が変わります。期待する文章を一字一句固定すると、内容は正しいのにテストで落ちることがあります。

一方で、「自然な文章だから合格」とするのも危険です。存在しない事実を混ぜた文章でも、見た目だけは自然に読めるからです。

そこで、出力そのものより、採用できる範囲を先に決めます。たとえば問い合わせの要約なら、私は次のような条件を確認します。

表現が毎回違っても、この条件を満たしていれば使えます。逆に、文章が読みやすくても、事実を作っていれば採用できません。

緩やかな分岐には、緩やかな合格判定が必要なのではありません。許容する揺れと、越えてはいけない線を分ける必要があります。

以前の私は、AIの出力を確認する作業を「間違い探し」に近いものとして捉えていました。誤字や事実誤認を見つけて直せばよい、と考えていたのです。

ただ、実際には正誤だけで決められない出力があります。情報は正しくても、利用者の目的に合わないことがあります。内容は妥当でも、公開してはいけない情報を含むこともあります。

ここで必要になるレビューは、AIより詳しい知識を見せる作業ではありません。その出力を使ってよいか、自分で責任を持って判断する作業です。

生成AIができることが増えるほど、人はすべてを手で作らなくてよくなります。それでも、何を採用し、どこで止めるかは残ります。むしろ出力が自然になるほど、その判断は難しくなります。

生成AIのテストでは、代表的な入力だけを並べても足りません。条件の境界が見えにくいからこそ、判断が揺れそうな入力も試します。

それぞれに対して、唯一の正解文を用意する必要はありません。「不足情報を質問する」「資料にない数字を断定しない」のように、満たす条件を置きます。

そして、自動で確認できるものと、人が判断するものを分けます。形式、必須項目、禁止語は自動で検査しやすいです。文脈に合う優先順位や、誤解を生む表現は、人が読まなければ判断しにくいです。

AIにレビューを手伝わせることもできます。ただし、その判定もまた緩やかなIF文です。 AIが合格と言ったことを理由に、人の確認まで消すわけにはいきません。

最初のIF文へ戻ると、「25度以上」という境界はとても扱いやすいです。ただ、現実の判断は、いつもそこまで明確ではありません。

生成AIは、その曖昧さを扱えるから便利です。同じ曖昧さが、テストとレビューを難しくもします。

AIは緩やかなIF文だと考えると、使い方が少し変わります。答えを出してもらうだけではなく、どこまでなら採用できるのかを先に考えるようになります。私は、その境界を決める力が、AIを使う人に残る仕事だと思っています。

生成AI機能を実際に評価するときの基準は、生成AI機能の評価を、レビューで終わらせないにまとめています。