Skip to main content
 

TECH BLOGTECH BLOG を配信します。

今週の気になったAIニュース vol. 9

 

Chromeにパワポにと、AIが当たり前に使えるようになってきたなという話。

そして馬鹿に刃物を渡すとどうなるか、という例。

 
今週はRoBERTaのLargeモデルの学習を試みてたのが、

途中で学習が発散したので中断。

前も同じ事になって、パラメーターチューンしたんだけど、

どうやら根深い問題みたい。

 

GPT2とBERT、同じようなものに見えて、

学習の特性もtransformerの特徴量も、結構違いがある。

忙しいのでRoBERTa-largeはしばらくPending。