未学習 scratchでも1~2秒ほどで15(+1)文字を推論できます(プロンプトを除く) モデルアーキテクチャ DimBase=32 LMBase=32 MaxVocab=150 xLSTMのmLSTMを隠れ状態再帰構造に戻した (ここは元のLSTMからxLSTMの進化で消された仕様) =>xLSTMでのsLSTM層の強みを =>このmLSTMだけでも十分(学習は不安定) [tokenid] -> EmbeddingLayer -> Emb [H] -> LMBase -> Logit -> tokenid [Emb,H] -> FFNx5 -> Kf,Vf,Ki,Vi,Q [M,Kf,Vf,Ki,Vi] -> f,i -> f:Sigmoid, i:Tanh -> (M*f)+(i) -> M [M,Q] -> M*Q.T -> H ※M, f, iは行列
