生成AIを、複雑な問題について考えを整理するための対話相手として使っています。

一つの問題について、長期間にわたり対話を重ねることもあります。

そのような使い方をしていると、AIは個々の論点については優れた分析をするのに、それまでの対話で蓄積した情報や判断基準を十分に使わず、全体として合理的でない結論を出すことがあると気づきました。

しかも、その問題を指摘すると、AIは誤りを認め、結論を修正します。

ところが、別の論点になると、また似た問題が起きる。

私が気になったのは、単にAIが間違えたことではありません。

AIは、複数の可能性を挙げるだけでなく、蓄積された情報からどの説明の蓋然性が高いかを評価し、全体の判断基準に照らして合理的な結論を導き続けることができるのか。

ということです。

弁理士の仕事でも、可能性を調べることと、集めた情報から判断することは違います。そして、その判断には責任が伴います。

今回は、AIとの長期対話で実際に経験した問題から、AIの判断能力について考えてみます。また、その判断が不安定だった場合に、利用者へどのような負担が生じるのかも考えたいと思います。

1．長期対話で、AIの判断がずれた

ある複雑な意思決定について、AIと長期間にわたり議論していたときのことです。

対話を通じて、判断対象の特徴や行動傾向、経済的な条件、将来の環境変化、選択によって生じる負担などを整理していました。

何を重視して判断するかという評価基準も、ある程度明確になっていました。

その途中で、私は一つの可能性を提示しました。

ある活動に時間や労力を集中させれば、その活動における負担が軽くなり、満足度が改善するのではないか。

するとAIは、その選択肢への集中を、全体としても合理的な方針であるかのように評価しました。

しかし、私はその分析に違和感を持ちました。

特定の活動に使える時間が増えても、それに伴って要求される業務量も増えるかもしれません。

環境を変えても、問題の原因となっている本人の行動特性が変わらなければ、同じ問題が再発する可能性があります。

さらに、環境を変更することで、現在の有利な条件を失うという損失もあります。

そもそも、環境を変える前に、現在の環境で問題の原因を改善するという選択肢もあるはずです。

これらは、私が後から新しく与えた条件ではありません。

それまでの対話で既に検討していたことです。

ところがAIは、直近の質問に含まれる「特定の活動の負担や満足度を改善する」という部分に強く注目し、以前から存在していた評価条件を十分に反映していませんでした。

そこで、全体の条件を考慮するよう指摘したところ、AIは自らの分析が部分的な問題解決に偏っていたことを認め、まず現在の問題の原因を改善することを優先すべきだと結論を修正しました。

ここで気になったのは、結論を修正するために必要だった主要な判断材料が、修正前から存在していたことです。

AIが情報を知らなかったというより、その回答では、既に得られていた情報を十分に統合できていなかったのです。

ただし、これだけでAIが内部的に何を記憶し、何を忘れていたのかまでは分かりません。

分かるのは、長い対話の中で整理した判断条件が、新しい質問への回答に一貫して反映されていなかったということです。

2．「可能性」「蓋然性」「合理的な選択」は違う

同じ対話では、もう一つ気になることがありました。

新しい事実についてAIに分析を求めると、

「別の可能性もあります」

「そのような解釈も考えられます」

「断定はできません」

という説明が繰り返されることがあったのです。

もちろん、情報が不足しているときに判断を保留することは必要です。

しかし、長期間の対話によって相当程度の判断材料が蓄積されているのであれば、単に複数の説明を並べるだけでなく、どの説明がより確からしいのかを考えることもできるはずです。

ここで区別したいのが、「可能性」と「蓋然性」です。

可能性とは、ある事象や説明が成立し得ることです。

蓋然性とは、得られている情報に照らして、その事象や説明がどの程度確からしいかということです。

例えば、明日、雨が降る可能性はあります。

しかし、降水確率が10％なのか80％なのかでは、雨への備え方が変わるでしょう。

一方で、80％だから必ず傘を持っていく、10％だから持っていかない、とも限りません。

濡れても困らない外出なのか、大切な書類を持ち歩くのか。傘を持つ負担がどの程度あるのかによっても、合理的な選択は変わります。

つまり、判断には少なくとも三つの段階があります。

• どのような可能性があるかを考える。
• 得られている証拠から、それぞれの蓋然性を評価する。
• 起きた場合の損失や利益、自分の評価基準を踏まえて行動を選ぶ。

最も蓋然性の高い説明が、そのまま最も合理的な行動を決めるわけではありません。

このうち、蓋然性の評価を考えるうえで参考になるのが、ベイズ推定です。

ベイズ推定では、もともとの情報に基づく確率を、新しい証拠によって更新します。

例えば、ある不具合の原因について、これまでの情報から社内機器の故障より外部回線の障害が有力だと考えていたとします。

そこへ社内機器の警告ランプが点灯したという情報が加われば、その情報がそれぞれの原因のもとでどの程度起こりやすいかを考え、評価を更新します。

重要なのは、新しい情報が一つ加わったからといって、それまでの判断を白紙に戻さないことです。

もちろん、実際の複雑な意思決定では、確率を正確に数値化できないこともあります。AIに常に数値的なベイズ推定を行わせるべきだという話でもありません。

私が長期対話で求めていたのは、それまでに形成した判断を前提とし、新しい事実がその判断をどの程度変えるのかを評価することでした。

今回の対話で感じた問題は、可能性を考える能力が不足していたことではありません。

むしろ、いろいろな可能性を挙げられる一方で、既に蓄積された情報に基づいて可能性の重みを評価し、さらに全体の評価基準に照らして結論を導くところに、不安定さがあったのです。

3．AIが誤りを認めても、合理的に訂正したとは限らない

AIにこうした問題を指摘すると、比較的素直に誤りを認めます。

今回も、可能性の列挙に偏っていたことや、局所的な改善を全体の合理性と取り違えていたことを認め、分析を修正しました。

誤った判断を訂正すること自体は望ましいことです。

ただ、私はここにも一つ問題があると思いました。

AIが結論を変更したとき、その理由には少なくとも三つの可能性があります。

一つは、新しい証拠が得られたため、以前の判断を更新した場合です。

もう一つは、以前から存在していた情報を見落としており、それを改めて考慮したことで推論を訂正した場合です。

そして、利用者が強く反論したため、その意見に合わせて結論を変更した可能性もあります。

この三つは意味が違います。

今回のように、以前から存在していた判断材料を再提示して結論が変わった場合は、新しい証拠による更新というより、既存情報を使った推論の見直しに当たります。

しかし、AIが自分の誤りを認めたという回答だけでは、その見直しが十分に合理的だったか、利用者への同調も含まれていたかまでは判断できません。

私は、AIに自分の意見を肯定してほしいわけではありません。

むしろ、自分の考えに誤りがあるなら、そこを指摘してほしい。

だからこそ、AIが結論を変えるなら、何を根拠に、どの判断を変更したのかが分かる必要があります。

反論を受け入れることと、反論の妥当性を正しく評価することは別です。

長期対話では、この違いも無視できないと感じました。

4．AIが減らした負担と、新しく生じた負担

ここまでの問題が繰り返される中で、私の関心は少し変わってきました。

AIの推論に問題があること自体よりも、その問題を誰が発見し、修正するのかということです。

AIを使う目的の一つは、人間の認知負荷を減らすことです。

大量の情報を整理し、複数の仮説を比較し、過去の情報を踏まえて判断する。

人間が一から行えば相当な時間がかかる作業を、AIに支援してもらうわけです。

ところが、AIがそれまでの判断条件を十分に反映していなければ、利用者がその不整合を発見しなければなりません。

今回の対話でも、私は本来検討したかった問題とは別に、

以前の判断と矛盾していないか。

重要な条件が抜け落ちていないか。

一つの条件を過大評価していないか。

結論の変更には合理的な理由があるか。

といったことを、繰り返し確認していました。

これは、単純にAIへ任せた作業を人間がやり直すという話ではありません。

AIの説明は、個々に読めばもっともらしいのです。

そのため、誤りを発見するには、過去の議論と現在の回答を比較し、どの判断条件が抜けているのかを特定しなければなりません。

AIの分析を検証するために、AIを使わなければ発生しなかった作業が新たに生じていたのです。

もちろん、専門的な意思決定に検証が必要なのは、AIを使う場合に限りません。

人間の専門家による分析でも、誤りや見落としはあり得ます。判断の重要性に応じて検証することは当然必要です。

ただ、今回気になったのは、既に確認したはずの条件が、別の質問になると十分に反映されず、利用者が再びそれを指摘しなければならなかったことです。

しかも、これが繰り返されると、利用者は分析結果を見るだけでなく、AIが適切に分析できているかを監督する役割まで担うことになります。

私は、AIの費用対効果を考えるなら、ここまで含める必要があると思います。

例えば、AIによって資料作成や分析にかかる時間が半分になったとしても、回答の検証や修正に相当な時間と注意力を使うのであれば、実際の効率化効果はそれほど大きくないかもしれません。

逆に、検証負担を含めても十分な時間短縮や判断品質の向上が得られるなら、AIを使う価値はあります。

見るべきなのは、出力までの時間だけではありません。

AIが減らした認知負荷と、AIを利用することで新しく生じた認知負荷の両方です。

私は、これを「総認知コスト」として考えたいと思っています。

5．長期対話の難しさは、研究でも扱われている

今回の経験は、私が実際にAIを使う中で気づいたものですが、関連する問題はAI研究でも取り上げられています。

例えば、Microsoft Researchの「LLMs Get Lost In Multi-Turn Conversation」では、複数ターンに分けて指示が与えられる状況を実験的に評価しています。

その結果、六つの生成課題において、単一ターンで指示する場合と比べ、複数ターンでは平均39％の性能低下が報告されています。

ただし、これはシミュレーションされた対話課題の結果です。長期間にわたる個人的な意思決定について、同じ割合で性能が低下することを示したものではありません。

また、2024年の「Lost in the Middle: How Language Models Use Long Contexts」では、長い文脈の中で関連情報が置かれる位置によって、言語モデルの性能が変化することが示されています。

これは長文からの情報検索や質問回答を対象とした研究であり、長期対話における判断の合理性を直接評価したものではありません。

確率的な判断については、2026年1月に Nature Communications で公開された「Bayesian teaching enables probabilistic reasoning in large language models」という研究があります。

この研究では、主に複数回の選択から利用者の好みを推測する課題において、通常のLLMが規範的なベイズモデルほど適切に判断を更新できないこと、また、そのような更新を学習させることで性能を改善できることが報告されています。

さらに、AIが利用者の意見に過度に同調する問題については、OpenAI自身が2025年5月に「Expanding on what we missed with sycophancy」を公表しています。

これらの研究や報告が、今回の私の対話で起きた問題の原因を直接証明するわけではありません。

また、今回利用したAIで観察されたことを、すべてのAIに共通する能力限界として一般化することもできません。

ただ、長い文脈の情報を適切に利用すること、情報の追加に応じて判断を更新すること、利用者への過度な同調を避けることが、それぞれ独立した研究・改善課題として扱われていることは確認できます。

私が実際の対話で感じた問題も、こうした課題と無関係ではなさそうです。

6．弁理士実務では、可能性を示した先に判断がある

この経験は、弁理士としてAIをどう使うかを考えるうえでも気になります。

例えば、新しい発明について、特許出願すべきかどうかを検討するとします。

AIに相談すれば、その発明について特許を取得できる可能性も、先行技術を理由に拒絶される可能性も説明できるでしょう。

先行技術文献と今回の発明の共通点や相違点について、さまざまな見方を提示することもできます。

しかし、実務では、可能性を並べただけでは出願方針を決められません。

先行技術との関係から、どの程度の特許取得の見込みがあると考えるのか。

仮に特許を取得できるとして、どのような権利範囲が見込めるのか。

その権利範囲は、実際の事業を守るうえでどの程度役立つのか。

さらに、発明の事業上の重要性、出願や審査対応にかかる費用、技術を公開することの影響、今後の製品開発の予定なども判断に関わります。

例えば、特許を取得できる見込みが比較的高くても、取得できそうな権利範囲が狭く、競合他社が容易に回避できるのであれば、出願の優先順位は低くなるかもしれません。

反対に、特許取得には不確実性が残っていても、その発明が事業の競争力を左右する重要な技術であれば、出願を選ぶ合理性もあります。

ここで必要なのは、特許を取得できる蓋然性だけを評価することではありません。

その蓋然性と、権利取得によって期待できる事業上の利益、費用、リスクなどを組み合わせて、どの方針を採るか考えることです。

しかも、検討の途中で新しい先行技術文献が見つかったとき、それまで確認していた事業上の重要性や権利範囲についての評価を忘れ、特許取得の見込みだけで出願方針を変更してしまえば、全体として合理的な判断になるとは限りません。

だから私は、AIを専門的な判断に利用するときには、個々の回答が正しいかどうかだけでなく、過去の情報から形成した判断を、次の分析へ一貫して引き継げているかも確認する必要があると思っています。

ただし、利用者が毎回、過去の議論を一から読み返してAIの結論を修正しなければならないのであれば、その使い方は再考した方がよいかもしれません。

もちろん、最終的な判断責任をAIへ移せるという話ではありません。

むしろ、専門家が責任を持って判断するためにAIを使うのであれば、AIに何を任せることで実際に負担が減り、何を人間が確認しなければならないのかを把握しておく必要があります。

今回の長期対話では、AIと議論することで、自分自身の考えが明確になった部分もありました。

一方で、AIが示した分析を修正するために、私が繰り返し判断の前提を整理し直していたことにも気づきました。

その意味で、この対話は無駄ではありませんでしたが、期待していた効率化がすべて実現したわけでもありません。

ただ、私が今回の経験を通じて最も考えさせられたのは、検証にかかった負担そのものではありません。

AIが個々の問題についてもっともらしい分析を示せても、それを積み重ねて、全体として合理的な判断を導けるとは限らないことです。

AIを使うことで、これまで考えなかった可能性に気づく。

これは大きな価値です。

しかし、その可能性のうち、蓄積した証拠から何が最も確からしいのかを評価すること、さらに全体の条件に照らしてどの行動が合理的なのかを判断することは、それぞれ別の能力です。

そして、一度結論を出した後も、新しい情報を得たときには、それまでの判断を踏まえて適切に更新する必要があります。

今回の対話では、この一連の判断が安定してつながらない場面がありました。その結果として、私自身が過去の条件を確認し、結論を修正する負担も生じました。

私は、AIの分析能力を評価するとき、個々の回答の詳しさや正確さだけでは十分ではないと思っています。

蓄積された情報から蓋然性を評価し、全体の評価基準に照らして合理的な結論を導き、その判断を新しい情報に応じて一貫して更新できるか。

長期的な思考の補助としてAIを利用するなら、そこまで含めて、その実務能力を見ていく必要があると考えています。