Transformerからself-attentionを無くして、 それってTransoformerなのか・・・？ でもこの成果の一番使えるのは、 BERTにrel pos処理を追加して性能UPする手法かもしれない。 今 […]

ゴーストワーカーの存在は以前からシリコンバレーの闇と言われていた筈。HIVEやScale AI社が有名どころ？ まぁものは考えようで、 仕事のない発展途上国とかでもAmazon Mechanical Turkのワーカーと […]

中国初のAIのニュースとか見ると 日本は何やってんだって感じになりますねぇ・・・。 どこに行ってもCNNが異常検出がとか同じ話しか聞かない・・・。 自然言語系はもとより、画像解析系もTransoformerの登場で一気に […]

イラストを脱がせるAIとか・・・。 いや、技術的な観点からの興味ですよ？ゲフンゲフン CycleGANとかなんだろうか？ 　 　 今週は久しぶりにKaggleやってた。 コンペティションは時間が溶けるから注意しないといけ […]

Googleが凄いのだしました。 そうだよ、GPT-3とかの技術の流れからして、 次はそうなるんだと思ってたんだよ。 そのうち作りたいと思いながら、どうやって作ろうと思ってたとこなんだよ。 詳しい技術的詳細はまだなので、 […]

データセットのラベル間違いは、 実は以前から気づいている人は気づいていた。 そこで自己教師あり学習とかの流れが生まれたわけで。 でも人種的バイアスとかは困るね。

イラスト関係のAI二つ。 イラスト→線画で品質が良くなれば、線画→色つけAIも精度良くなるんだよね。 教師データを作るのに使えるから。 同じ要領で、表情の変換とかもDAに使って、 実は組み合わせ次第で、いろんな事ができる […]

  東芝のは最近はやりの自己教師あり学習による画像認識かな。 Image-Transformerとか使ってるんだろうか。 お皿サイズの巨大AIチップ、欲しい・・・。 めちゃくちゃメモリ積んだGPU一個の扱いになる、っての […]

　 　 大規模文章生成AIは、GPT-Freeとかいうプロジェクトで、 GPT-3の（性能的な）クローンを目論んでいるらしい。 大規模言語モデルのバイアスなどの問題についても きちんとした体制でやってほしいものだ。 　 […]

WIT Dataset公開、ありがたい。 画像系AIのトレンドは完全に自己教師あり学習（あるいは半教師ありとも呼ばれる）になったようで。 もう少し技術が固定されてから見てみたいところかな。 今週は、今更だけど、経済産業省 […]