ipyparallelで分散並列処理
1日に3エントリーも書いて、ただのブロガーみたいになってますが、ipyparallelが素敵すぎるので、メモ。

ipyparallelのページはこちら。その名の通り、並列処理を簡単にやってくれるライブラリです。
ドキュメントにある通り、インストールは至って簡単。

pip install ipyparallel

その後、.jupyter/jupyter_notebook_config.pyに以下を追加。

c.NotebookApp.server_extensions.append('ipyparallel.nbextension')

そうすると、notobookを起動した時に、IPython Clustersのところが使えるようになっています。
ipyparallel


import ipyparallel as ipp
# 設定した個数のクライアントが返ってくる
rc = ipp.Client()
#クライアントのIDを出力
rc.ids
lv = rc.load_balanced_view()
rs = lv.map_async(なんかの関数, 処理するデータのリスト)
# これが素敵。1秒ごとに進捗を表示してくれる
rs.wait_interactive()
# 修了したら、結果がこのリストに格納されます。
rs.result


すこし、使ってまた書きます。
スポンサーサイト
【2015/11/26 19:56】 | Python | トラックバック(0) | コメント(0) | page top↑
<<SublimeText3のカスタマイズ | ホーム | jupyter notebook server>>
コメント
コメントの投稿














管理者にだけ表示を許可する

トラックバック
トラックバックURL
→http://tanopy.blog79.fc2.com/tb.php/137-49a263c8
この記事にトラックバックする(FC2ブログユーザー)
| ホーム |