今のところ未学習なのでまともに使えません あとscratchではめちゃくちゃ遅いけどturbowarpだったら1秒前後だと思う(会話を続けていくと少しずつ遅くなる) https://turbowarp.org/1390559114 Gesitの名前の由来 Ge Generative Si Simple T Transformer モデルアーキテクチャ ・Transformer(軽量版/Decoder Only) ・input tokenid->Embedding(QK)->Position Encoding ->Attention->LMHead->output tokenid ・過去の履歴(QKV)から次の文字を予測 ・AttentionのQと出力は最後の1トークンだけ ・vocab数: 2000(実際は1965), DimBase: 32(d_model) ・主要な計算はFFN3+1個(Bias無しのQKV+LMHead) とAttentionと正弦波PEのみ
