Transformerからself-attentionを無くして、
それってTransoformerなのか・・・?
でもこの成果の一番使えるのは、
BERTにrel pos処理を追加して性能UPする手法かもしれない。
今週はKaggleやってて、SIIMコンペで一瞬だけ暫定10位。
でもあっという間に下がってゆくんだよなぁ(ちなみに現在28位)。
コンペ終了時にメダル圏内にいればいい方か。
Transformerからself-attentionを無くして、
それってTransoformerなのか・・・?
でもこの成果の一番使えるのは、
BERTにrel pos処理を追加して性能UPする手法かもしれない。
今週はKaggleやってて、SIIMコンペで一瞬だけ暫定10位。
でもあっという間に下がってゆくんだよなぁ(ちなみに現在28位)。
コンペ終了時にメダル圏内にいればいい方か。