word2vec

Instructions

⚠このプロジェクトはSporkで動かなくなりました⚠ turbowarpでのみ動作します。 https://turbowarp.org/1213103793 このAIは実際の文章を読み取ることで、約3000単語の関係性を理解します。 デフォルトの環境で約1000万回学習（一番左上の変数が学習回数）させると、ベクトルはそれなりに高い精度になります。 デモとして father - man + woman = mother? を表示しています。翻訳すると　父 - 男 + 女 = 母なのか？　です。単語をベクトルにすることで、足し引きができるようになります。このリストはその計算をしたベクトルに、近い単語のランキングを示しています。 上位に mother が来ることを期待しています。学習を続けると10位くらいまでには来ます。 経済関連のデータも学ばせたので、 mark - german + japan とかやると上位にyenが来たりして面白いです。 output vectorsはネガティブサンプリングを理解したらわかるようになります。その詳細な説明はここでは省きます。正例と負例の各sigmoid値がそれとだけ説明しておきます。なので 1, 0, 0, ... というリストになれば成功です。 単語数：2548 ベクトル次元：50 複数形や動詞の変化などはコーパス整形で統一し、冠詞などは事前削除しています。