ChatGPTがゴブリンを出力しがちになったという話、どうも強化学習である嗜好が強化され、そのモデルが報酬モデルやデータ選好に再利用されて・・・と学習時のデータフローが複雑で原因推定が難しかったらしい。
これはAIの出力と学習を繰り返すと多様性がなくなって行くという研究とも合致する。すでにWebの1/3がAI生成コンテンツという話も含めて、AI生成物を学習させることで性能が劣化してゆくステージに、既に入ってきているのかもしれない。
あとトークン操作系の研究がふたつ。NTTのマルチトークン化は計算量が多くなりそうだがGoogleのは高速推論なので組み合わせできないかな。