マルチスレッドで走るPythonプログラムをプロファイルするには?

  • 2019.03.22

さて、前の記事では実験とソースコード読解の両方から、python -m cProfile test.pyとして測定した場合、メインスレッドで実行される部分しか計測されていない事がわかりました。 でも、「Deep LearningといえばPython」な昨今、マルチスレッドで動くPythonのプログラムは目の前にいっぱい存在するわけで、それらを測りたいわけで。どげんかせんといかん。 ある意味で本題は […]

Pythonの標準プロファイラ、cProfileの中身を追いかける

  • 2019.03.21

Python、使ってますか。 わたしは最近、諸事情により、最近PythonとC言語とCUDAを使ったソフトウェアの高速化に取り組んでいます(できているとは言っていない)。ちなみに、ディープラーニングじゃないよ。 高速化するときに最も重要な道具は、ベンチマークとプロファイラであることを疑う人は居ないと思います。ベンチマークで高速化の効果を測定し、プロファイラでボトルネックを発見する。これが基本的かつ […]

DCGANでテキスト生成を試してみた

  • 2019.02.28

こんにちは、Link-Uの町屋敷です。 今回は生成モデルで有名なGANさんで、Word2Vecを使って英語の文章を生成するものを見つけたので、日本語でもできるのかやってみました。 DCGANのサンプルを動かしてみる 今回はMITライセンスのこのプロジェクトのDCGANをフォークして使っていきます。 まずはそのままのコードを確認していきましょう。 DCGANはGANの一種です。 GAN(Genera […]

GPUを使って無線LANをクラックする話 / モニター、ロック、スケーラビリティ

  • 2019.02.19

弊社は最近、それまでの神谷町(東京タワーの近く)から、神田と秋葉原の間くらいに引っ越しをしました。とは言っても、去年の夏の終わりぐらいなので、だいぶ前なのですが。 オフィスの立地で重要なことって、何でしょう。駅からの距離?ビルの高さ?地名のブランド?歓楽街からの近さ?ランチ営業をやってるレストランの多さ? みなさま、各々重視する点があると思うのですが、「一番近いコンビニが何か」は意外と見過ごされる […]

GPUを使って無線LANをクラックする話 Pythonのプロファイルを取る回

  • 2019.02.04

近所を散歩していたら、もう梅が咲いていました。今日は立春だそうです。早いなー。 わたしは梅のつぼみが大好きなので、これからはしばらく目が離せない日々が続きそうです。 前回のおさらい 前回得た結果は、「CPUとGPUを同時に使うより、GPUだけを使う方が実は倍ぐらい速い!」という、これまた逆説的な結果でした。 未改造のPyritでは「CPUとGPUを同時」に使うか、「CPUだけ」を使うかなので、なま […]

[Python] 漫画のWikipediaの説明文から発表年を推定する その2 どの単語が分類に有用かを調べる

  • 2019.01.31

こんにちはLink-Uの町屋敷です。 前回はWikipediaの漫画の説明文から発表年を推定しました。 そこそこ推定できましたが、そもそも漫画の説明文から発表年を推定してなにがうれしいかって特に生産性は無いんですよね、 しかし、学習器自体に生産性が皆無でも学習器がどんな基準で推定したかがわかれば何か別の有意義な情報が得られる可能性があります。 例えば今回で言うと入力は文章中に出てくる単語なので、時 […]

[Python] 漫画のWikipediaの説明文から発表年を推定する

  • 2018.12.21

こんにちは。Link-Uの町屋敷です。 今回は、テキストデータを解析する一例として、 前回抽出した漫画のWikipediaの文章データを使って、 入力データを説明文、出力データを発表年として、入力データから出力データを推定して行きたいと思います。 また、入力データのどの要素(今回なら単語)がその回帰や分類に効力があるのかを調べる方法も紹介していきたいです。 インフォボックスから発表年のデータを取得 […]

GPUを使って無線LANをクラックする話:帰ってきたPyrit

  • 2018.12.21

次から次へと生まれ続ける「新技術」。今日もまた、「今後ITエンジニアに必要な技術はこれだ!」「キャッチアップ!」「未来が変わる!」と迫ってきます。たしかに、どれもすごい技術なのには間違いなさそうです。 しかしながら、疲弊してきているのも正直なところ本音ではないでしょうか。 …本当に身に付けたい能力ってなんだろう。 このタンポポの隣を通るたびに、いつもわたしは思うのです。 コンクリートの間のわずかな […]

Wikipediaのdumpからinfoboxの内容や文章を取ってくる方法

  • 2018.11.29

こんにちは! Link-Uの町屋敷です。 今回はWikipediaの本文を収集する方法と特定のInfoboxを収集する方法を書いていきます。 Wikipediaから文章を取ってくる Wikipediaの文章を取ってくる方法は主に以下の2つです。 MediaWikiのAPIを使う 同じくMediaWikiが提供しているXML形式のダンプファイルを使う。 APIを使う方法のほうが簡単ですが、Wikip […]

GPUを使って無線LANを(略) 番外編 GPUなしでCUDAは動かせるのか?

  • 2018.11.26

紅葉への切り替わり中です。秋って感じですね。 でも町を歩いていると、8月末くらいには紅葉のポスターが貼られだして、ハロウィン一色になったなぁ、と思ったら、今はもうクリスマス一色です。町から紅葉の絵はなくなり、雪の結晶やクリスマスツリーの絵ばかり。気が早えぇなぁ、人間。 わたしは最近こういう「イメージ」も「拡張現実」の一種なんじゃ無いかと感じています。ARゴーグルだけが「拡張現実」では、ないんじゃな […]

1 3