名前の通り、Ideativeです どういうことか？今までのAsukaは、対話ペアのみを学習していたので、それを暗記していた。今回は、ウィキペディアや青空文庫、FineWeb2EduJpなどを、約60Mトークン学習しているので、より様々な文を生成することができる。その文安定性はない。でも丸暗記よりかは夢があっていいでしょう。
# 有職者用 2層LSTM + Attention 297K f16で保存 学習用IPYNBファイル 及びスクラッチの推論部分はHaiku5.5で生成 トークナイザは、1文字ずつ分けるタイプ 主な目的はモデルの容量を減らすため 事前学習 → Wikipedia 青空文庫 FineWeb2eduJapanese 何れもHFから読み込み・使用 約60Mトークン 事後学習 → 自作の日本語対話ペア 約21Kペア分 事後学習のみにおいて、アーリーストッピング実施 colabの無料TeslaT4GPUで、学習は事前・事後学習合わせて約6分、超高速だった この学習時間にトークナイザは含めない
