ジョークを理解するAIっていうのは、4月に開発記事が出てたかな。
これのメインは、ジョーク部分ではなく、
その背景にある大規模言語モデルの方だと思うけれど。
5400億って事は、GPT-3の3倍以上でMegatronLMの半分くらい。
そろそろ言語モデルも、パラメーター数だけじゃなくて、
パラメーター効率とかにも注目されてくる・・・と思うんだが、
Transformerがパラメーター増やせば簡単にスケーリングできるんで、
資金のある大企業はとにかく大規模化に走る。
モーションデータは、カメラから骨格検出の組み合わせると
色々使い道ありそう。データは神。
