ここ数日、FlexGenという巨大パラメーターモデルを動かすためのライブラリをいじっているのだけど、どうにも速度が遅い・・・
自宅の環境だと論文で報告されている速度が再現できずに四苦八苦。
この手の(巨大モデルを1GPUで動かすとかの)手法は、大規模計算機科学の領域とAIの領域が被る境界にあるからどちらの知識も持っていないと対応できないので難しい。
↑の1.6Gメモリで学習のやつも論文読んでみると色々と大変そうだし・・・。
今から勉強して追いつくよりも今のスパコンの性能が家庭用に降りてくるまで数年待つ方が早そうにすら思えるのが困る。
ムーアの法則バンザイ。