
ai-scholar.tech
https://ai-scholar.tech/articles/transformer/mlp_transformer
Transformerからself-attentionを無くして、
それってTransoformerなのか・・・?
でもこの成果の一番使えるのは、
BERTにrel pos処理を追加して性能UPする手法かもしれない。
今週はKaggleやってて、SIIMコンペで一瞬だけ暫定10位。
でもあっという間に下がってゆくんだよなぁ(ちなみに現在28位)。
コンペ終了時にメダル圏内にいればいい方か。