TECH BLOG

なんか年末から物理法則×生成AI関係のジャンルが賑わっている気がする。 Genesis、Cosmosと一気に出てきた。 当然これは、AIに制御されるロボットを作るための環境作りという文脈なので、さらにその先がある。 こう […]

OpenAI、Googleが相次いで新モデルを公開。 ここら辺だと既にプロンプトエンジニアリングも含んだ複合モデルなんだろうから、新「モデル」と呼んでいいのかどうかも解らない。 詳細は当然企業秘密なんだろうけど、このまま […]

強化学習から目標達成を優先してその他の指示を無視する、というのは理解できる。 LLMにとって指示は目標の指示も条件設定の指示も同じで、拘束条件の中で目標を達成とか解りそうにないと思う。 でも「シャットダウンのリスクを察知 […]

溜まってたので少し古いのも含む。 巨大LLMがたった1つのパラメータで崩壊するというの、逆に言うと同レイヤーはその1つ以外パラメータにその他の情報が分散されているってことだな。 CNNの画像認識では、チャンネル内に重複す […]

コンテンツモデレーション用のAI、これからはチャットAI作るのでもこういったものが必要になってくるんだろうなぁ。 そして、LLMの単体性能ではなく、どれだけいろいろなオプションを入れているかが肝になってきたり。 そしてA […]

この間新しいテストが出る度にOpenAIがやっぱり最強に戻るって書いたが、今度はOpenAIがテストデータを出してきた。 サイズは小さく範囲も限定的だが、論文を見るとやっぱり他のテストよりもかなり深く考えられているように […]

AIがreCAPTCHAを突破とのことだが、もはやreCAPTCHAはロボットを排除するためじゃなくて、もっぱら機械学習用のデータ収集のために使われているんじゃないかな・・・ 新しいプロンプトエンジニアリングのテクニック […]

ベンチャーのAi2はGPT-4o超えを主張するがGoogleは控えめにGPT-3.5を超えたとリリース。 どちらが正しいのかは分からないけど、実感としてはGPT-3.5超えあたりが本当なんじゃないかって気が・・・ そして […]

OpenAIに匹敵するLLMを作ったと思ったらOpenAIは新しい機能を出してくるといういつもの流れ。 だけどパラメーター数が少なくて性能が高いというレポートは注目に値する。 オンプレミスで気軽に使えるサイズでそこそこの […]

HTMLから中身の文章だけを取り出すLLM、データ収集をしていた時にこういったのが欲しかった。 ただ今はもういろんなサイトがクローリング禁止になってるので、使える場所はどうなのかな。 LLaMaも既にデータを持っていて新 […]