The English explanation is below. 日本語 RWKVというAIで英文を生成します。Tiny Shakespeareという有名なデータセットから学習したもので、その雰囲気の文を生成します。最初は「JULIET:」固定です。下に各トークンの選ばれる確率を表示しています。 ↓以下から実行してください https://turbowarp.org/?project_url=https://raw.githubusercontent.com/1A291109A6/shakespeare_generater_scratch/main/RWKV.sb3 English This AI, called RWKV, generates English text. It was trained on the well-known “Tiny Shakespeare” dataset and generates sentences in that style. The opening line is always “JULIET:”. The probabilities of each token being selected are displayed below. ↓ Please run it from the link below https://turbowarp.org/?project_url=https://raw.githubusercontent.com/1A291109A6/shakespeare_generater_scratch/main/RWKV.sb3
Parameters 3.3M 作りやすい&性能も悪くなさそうなのでRWKV-v4というモデルを実装してみました。動いたのでとりあえず共有。文字単位で生成しますがパラメータ数の割に案外悪くない気がします。自分の環境では平均10 tok/sec前後で、最大11.5 tok/secでした(実行するタイミングで結構変わる)。 自分の作品はAIを使っていないので作成に時間がかかります。(勉強を目的にしているため) 【追記】 スマホでは最大13 tok/sec出ました 学習はPythonでRTX 5080を使ったのに、GPU使用率25%ほどしか使えてなくて5時間程かかってしまった... Dataset: Tiny Shakespeare https://github.com/karpathy/char-rnn/blob/master/data/tinyshakespeare/input.txt 【Tags】 #AI #RWKV #ImageGenerator #Generator #GenerativeAI
