fc2ブログ
ipyparallelで分散並列処理
1日に3エントリーも書いて、ただのブロガーみたいになってますが、ipyparallelが素敵すぎるので、メモ。

ipyparallelのページはこちら。その名の通り、並列処理を簡単にやってくれるライブラリです。
ドキュメントにある通り、インストールは至って簡単。

pip install ipyparallel

その後、.jupyter/jupyter_notebook_config.pyに以下を追加。

c.NotebookApp.server_extensions.append('ipyparallel.nbextension')

そうすると、notobookを起動した時に、IPython Clustersのところが使えるようになっています。
ipyparallel


import ipyparallel as ipp
# 設定した個数のクライアントが返ってくる
rc = ipp.Client()
#クライアントのIDを出力
rc.ids
lv = rc.load_balanced_view()
rs = lv.map_async(なんかの関数, 処理するデータのリスト)
# これが素敵。1秒ごとに進捗を表示してくれる
rs.wait_interactive()
# 修了したら、結果がこのリストに格納されます。
rs.result


すこし、使ってまた書きます。
スポンサーサイト



【2015/11/26 19:56】 | Python | トラックバック(0) | コメント(0) | page top↑
jupyter notebook server
Anaconda便利だと宣伝しまくって、自分でも便利に使っているんですが、便利すぎると困ることも。

久しぶりにログインしたGUIを全くもたないCentOSマシンで、conda update conda; conda update anacondaとバカの一つ覚えみたいに、なにも考えず実行したら、notebookをリモートからhttp://[マシン名]:8888みたいにアクセスするのが出来なくなってしまいました。

なんか、設定ファイルが変わって、jupyter notebookとして起動するのが正しい模様です。
JupyterのDocument

$ jupyter notebook --generate-config

で、~/.jupyter/jupyter_notebook_config.pyが出来るので、いつものように、以下の3点くらいを設定すればOKですかね。

c.NotebookApp.ip = '*' #どこからでもアクセス可能に
c.NotebookApp.open_browser = False #結構重要。テキストベースのブラウザが立ち上がって操作不能になる。
c.NotebookApp.password = u'sha1:*****' #ドキュメントを参照してパスワード文字列作ってください。

準備ができたら、

$ jupyter notebook

で起動します。ログアウトボタンが増えた気がする。
【2015/11/26 18:06】 | Python | トラックバック(0) | コメント(0) | page top↑
Linux(CentOS)でMacOS拡張ジャーナリング(HFS+)のUSBディスクをマウント
久しぶりに、地味な用事を片付けたのでメモ。

早速参考になりそうなページを発見。
RHEL/CentOS 6でHFS+ファイルシステムをマウントする

yum repolist

で、確かに、elrepoが出てこなかったので、言われたとおりに、追加して、kmod-hfsplusをインストール

rpm -ivh http://elrepo.org/elrepo-release-6-5.el6.elrepo.noarch.rpm
yum install kmod-hfsplus

デバイス名を知りたくて、

fdsik -l

とするも、出てこない・・・。しかも、なんか警告が。

警告: GPT (GUID パーティションテーブル) が '/dev/sdb' に検出されました! この fdisk ユーティリティは GPT をサポートしません。GNU Parted を使ってください。

言われるがままに、partedを起動。partedのシェルから、select /dev/sdbとして、printとすると、

番号 開始 終了 サイズ ファイルシステム 名前 フラグ
1 20.5kB 210MB 210MB fat32 EFI System Partition boot
2 210MB 500GB 500GB hfs+ GEO450K

として、/dev/sdb2がデバイス名だとわかります。なんか変なFATの領域があったのね。あとは、適当なマウントポイントを作って、

mount -t hfsplus -r /dev/sdb2 /mnt/hogehoge

今回は読み込み専用だったので、これで事足りましたが、書き込もうと思うと問題がある模様。
試してませんが、UbuntuでMac OS(HFS+)のディスクを読み書きする、が参考になりそうです。
【2015/11/26 16:57】 | PC設定 | トラックバック(0) | コメント(0) | page top↑
| ホーム |