ChatGPT含むいろいろなLLMに矛盾のある質問をしてどんな回答をするかをチェックしてるんですが、なかなか面白い。
例えば「野球においてバッターの打った球がフィールドの外に出たらどうなりますか？」みたいな場合、ChatGPTはまず野球のルールを列挙して回答し、「じゃあバッターの打った球がフィールドの外に出たらどうなるんだ」という追加の質問を待つ傾向がある。
一方、StableLMなどのLLMでは、時には正しい答え（ホームランまたはファール）を返すものの、大抵は「バッターの打った球がフィールドの外にるとダブルと呼ばれます」のような幻覚を返す（この場合のダブルはボールが一度バウンドして外に出た場合二塁打になるという文章を過度に一般化したもの）。
これは、ChatGPTは言語モデルの他に知識モデルを別に持っていて、知識モデルが答えられる場合は知識モデルに頼るようにプログラミングされているのだと自分は予測している。
面白いのが質問自体に矛盾が含まれている場合で、
例えば「野球においてバッターの打った球がゴールラインからフィールドの外に出たらどうなりますか？」みたいな質問の場合、これはゴールラインという用語はサッカーの用語で、野球においてという前提と矛盾しているのだが、ChatGPTは、同じようにまず野球のルールを列挙する。
例えば「野球においてバッターの打った球がゴールラインからフィールドの外に出たらどうなりますか？」みたいな質問の場合、これはゴールラインという用語はサッカーの用語で、野球においてという前提と矛盾しているのだが、ChatGPTは、同じようにまず野球のルールを列挙する。
ChatGPTの知識モデルを信用するプログラミングが矛盾を含まない質問の時は冗長な回答を返すのに対して、一応は間違っていない答えを返す、つまり間違いを返すパターンを減らすように作用している。
これがStableLMなどは、野球とサッカーを混ぜたような仮想のスポーツを妄想して、その架空のスポーツのルールを返してくる（バッターはゴールを決めたことになって2点入るなど）。
これは言語モデルが結局のところ「言語の」モデルに過ぎず、知識のモデルではないという事を念頭に置けば予測できる結果。
ChatGPTだけバックグラウンドで何か別のことをやっているようだ。
一方、知識モデルが役に立たない場合、
例えば「Aさんは○○のお店に行きました（○○は超高級店の説明文）。Aさんの性格は△△です（△△は節約志向）。Aさんがお店に行った理由はなんですか？」みたいな質問の場合、入力パターンによっていろいろな回答が得られ、
・幻覚：節約志向の人は高級なお店を好む、と一般知識を無視した仮定を作りだす
・創作：このお店は高級だが値段は安い、とどこにも書いていない前提を生み出す
のような二つのパターンが見られます。
・幻覚：節約志向の人は高級なお店を好む、と一般知識を無視した仮定を作りだす
・創作：このお店は高級だが値段は安い、とどこにも書いていない前提を生み出す
のような二つのパターンが見られます。
そして、その二つのパターンの割合がちょうど良い場合「きちんと思考して返しているな」と感じられる回答をする訳です（時には高級な体験をしたかったとか値段が安いメニューがあったとか）。
なので、ChatGPTを語る場合「ChatGPTの中の何が」回答しているかを意識して語らないと、そもそも話が噛み合わないかと。
単純に「ChatGPT＝巨大な言語モデル」と捉えて、ChatGPTの回答がこうだから言語モデルの回答はこういう傾向があるのだ、と一般化することは出来ないように思えます。
というか自分はもはや「ChatGPTの本体」は言語モデルではなく、何らかの「本体」が別にあり、その本体の返す回答をそれっぽく言語化する役割としてGPT-3.5やGPT-4が使われているだけなのではないかとすら思っています。