Chromeにパワポにと、AIが当たり前に使えるようになってきたなという話。
そして馬鹿に刃物を渡すとどうなるか、という例。
今週はRoBERTaのLargeモデルの学習を試みてたのが、
途中で学習が発散したので中断。
前も同じ事になって、パラメーターチューンしたんだけど、
どうやら根深い問題みたい。
GPT2とBERT、同じようなものに見えて、
学習の特性もtransformerの特徴量も、結構違いがある。
忙しいのでRoBERTa-largeはしばらくPending。
Chromeにパワポにと、AIが当たり前に使えるようになってきたなという話。
そして馬鹿に刃物を渡すとどうなるか、という例。
今週はRoBERTaのLargeモデルの学習を試みてたのが、
途中で学習が発散したので中断。
前も同じ事になって、パラメーターチューンしたんだけど、
どうやら根深い問題みたい。
GPT2とBERT、同じようなものに見えて、
学習の特性もtransformerの特徴量も、結構違いがある。
忙しいのでRoBERTa-largeはしばらくPending。