[Python] 漫画のWikipediaの説明文から発表年を推定する

  • 2018.12.21

こんにちは。Link-Uの町屋敷です。 今回は、テキストデータを解析する一例として、 前回抽出した漫画のWikipediaの文章データを使って、 入力データを説明文、出力データを発表年として、入力データから出力データを推定して行きたいと思います。 また、入力データのどの要素(今回なら単語)がその回帰や分類に効力があるのかを調べる方法も紹介していきたいです。 インフォボックスから発表年のデータを取得 […]

GPUを使って無線LANをクラックする話:帰ってきたPyrit

  • 2018.12.21

次から次へと生まれ続ける「新技術」。今日もまた、「今後ITエンジニアに必要な技術はこれだ!」「キャッチアップ!」「未来が変わる!」と迫ってきます。たしかに、どれもすごい技術なのには間違いなさそうです。 しかしながら、疲弊してきているのも正直なところ本音ではないでしょうか。 …本当に身に付けたい能力ってなんだろう。 このタンポポの隣を通るたびに、いつもわたしは思うのです。 コンクリートの間のわずかな […]

Wikipediaのdumpからinfoboxの内容や文章を取ってくる方法

  • 2018.11.29

こんにちは! Link-Uの町屋敷です。 今回はWikipediaの本文を収集する方法と特定のInfoboxを収集する方法を書いていきます。 Wikipediaから文章を取ってくる Wikipediaの文章を取ってくる方法は主に以下の2つです。 MediaWikiのAPIを使う 同じくMediaWikiが提供しているXML形式のダンプファイルを使う。 APIを使う方法のほうが簡単ですが、Wikip […]

GPUを使って無線LANを(略) 番外編 GPUなしでCUDAは動かせるのか?

  • 2018.11.26

紅葉への切り替わり中です。秋って感じですね。 でも町を歩いていると、8月末くらいには紅葉のポスターが貼られだして、ハロウィン一色になったなぁ、と思ったら、今はもうクリスマス一色です。町から紅葉の絵はなくなり、雪の結晶やクリスマスツリーの絵ばかり。気が早えぇなぁ、人間。 わたしは最近こういう「イメージ」も「拡張現実」の一種なんじゃ無いかと感じています。ARゴーグルだけが「拡張現実」では、ないんじゃな […]

Numbaを使ってpyhonコードを高速化する方法

  • 2018.10.31

こんにちは、Link-Uの町屋敷です。 今回は、機械学習を行う際にほぼ必ず行わなければならない前処理を、 GPUを使ってやったら早く終わったので、メモがてらに書いていきます。 今回はpythonでの話です。 pythonでcudaを使ったGPU演算をする方法として、 NVIDIAの公式でも紹介されているnumbaを使いたいと思います。 @Vectorizeを使った方法 pipでも入るそうですが、a […]

AIを端末側で処理するチップ達

  • 2018.10.31

以前NVIDIAの新しいGPUを紹介しましたが、NVIDIAのGPUはPCで主に利用されると思います。 しかし、恐らくAI(正確には機械学習の推論)を行う回数で言うと圧倒的にスマートフォンの方が多いと思います。 今回はスマートフォン等に搭載されるチップがAIをどう処理するかを紹介していきましょう。今回はどのチップもPVがあったので全編PV付きでお送りします。 Snapdragon 845 スマホ用 […]

Pythonで次元圧縮する方法

  • 2018.09.27

こんにちは、Link-Uの町屋敷です。 今回は次元圧縮について書いていこうと思います。 データの次元数が多いとどうなるのか 次元の呪いという単語を機械学習では度々目にします。 入力するデータの次元数が多いとモデルに対して与えられる点が相対的に少なくなっていろいろ不都合が出るとか、単純に計算量が多くなってやばいといったもので、 計算が終わらないから次元圧縮するという流れになるんですが。 そもそも使用 […]

GPUを使って無線LANをクラックする話:Pyritの考古学/倫理学

  • 2018.09.21

拝啓。 自販機にたまにホット飲料を見かける季節となりましたが皆さまいかがおすごしでしょうか。 秋ですね。気まぐれと勢い 旅行で行った九州では彼岸花が咲いておりました。 今回は咲きかけギリギリのヒガンバナくんの写真です。 これぐらいのをお散歩中に見つけたら、だいたい翌日か翌々日ぐらいには咲きますので、翌日もぜひ見に行ってあげてくだせぇ。ヒガンバナくんは、写真で見るより実物のほうが絶対いいです。雨が降 […]

TuringアーキテクチャのGPUが発表されました

  • 2018.08.29

NVIDIAが新しいGPUシリーズ、Turingシリーズを発表しました。 弊社にあるGPU、GeForce 1080TiはPascalアーキテクチャ、Tesla V100はVoltaアーキテクチャです。 VoltaもTuringもPascalの進化系ではあるのですが、VoltaはGPGPUなどのコンピューティング系、Turingはグラフィックス系です。 GPUの使われ方が二極化してきたので設計を分 […]

C#で強化学習 その1 -Q-learning(Q学習)で簡単なゲームAIを作ってみる-

  • 2018.08.27

こんにちはLInk-Uの町屋敷です。 今回は強化学習をやっていきたいと思います。 主にQ-learningの具体的な実装の方法を書いて、Q-learning自体の証明とかには触れません。 強化学習は今までやってきたニューラルネットやSVMなどの学習方法と毛色が異なります。 何をやるかをざっくりいうと ある問題を解きたいときにある状況になったときにこういうことをしたらこうなったという経験を蓄積して、 […]