![](https://www.clouds-inc.jp/wp-content/uploads/ai-2.png)
Transformerからself-attentionを無くして、
それってTransoformerなのか・・・?
でもこの成果の一番使えるのは、
BERTにrel pos処理を追加して性能UPする手法かもしれない。
今週はKaggleやってて、SIIMコンペで一瞬だけ暫定10位。
でもあっという間に下がってゆくんだよなぁ(ちなみに現在28位)。
コンペ終了時にメダル圏内にいればいい方か。
Transformerからself-attentionを無くして、
それってTransoformerなのか・・・?
でもこの成果の一番使えるのは、
BERTにrel pos処理を追加して性能UPする手法かもしれない。
今週はKaggleやってて、SIIMコンペで一瞬だけ暫定10位。
でもあっという間に下がってゆくんだよなぁ(ちなみに現在28位)。
コンペ終了時にメダル圏内にいればいい方か。