未学習 AttentionとMLayer(Cugelの中身と同じ)のハイブリッド DimBase=100で483KパラメーターだからDimBaseが4830個分のパラメーター Emb->RoPE->Atten->M->Atten->M->LMHead 全ての隠れ層(PE, M, Atten等)に適応 X->Main->Mainout,X(x2 Dim)->FFN(GLU)->LayerNorm->Y vocabは150未満のもの
