辞書なしで作られたトークナイザです。 辞書なしの割にはマシなはず 「はひふへほ」などと入力しても維持されます。 辞書ないと言っておきながら、候補1や候補2にはほぼ動詞が入っている… 格助詞 • が: 主語を示す（例：雨が降る） • を: 動作の対象を示す（例：本を読む） • に: 到着点、存在場所、相手などを示す（例：東京に着く、机のうえにある） • で: 動作の場所、手段・方法、原因を示す（例：学校で学ぶ、ペンで書く） • へ: 移動の方向を示す（例：京都へ行く） • と: 動作の相手、並列、引用を示す（例：友達と会う） • から: 起点や原因を示す（例：駅から歩く） • より: 比較の基準や起点を示す（例：昨日より寒い） • の: 名詞と名詞の接続、連体修飾を作る（例：私の本） • や: 同種類のものを非限定的に並べる（例：リンゴやバナナ）
調整システムの作成には「吾輩は猫である」、「ポラーノの広場」などの文の一部を使用しました。 【例文】 昨日の夜、駅前の新しいレストランへ行った。 ↓ 昨日の/夜、/駅前の/新しいレストランへ/行った。/
