読者です 読者をやめる 読者になる 読者になる

上手く動かん ipython notebook pySpark on windows 10

環境
windows10 home 64bit 2016/05/05 インストール
Apache spark 1.6.1
anaconda Anaconda3-4.0.0-Windows-x86_64.exe
がインストール済


手順
1)環境変数にSPARK_HOMEを設定する
SPARK_HOME = sparkを入れたフォルダ 例 c:\spark161


2)IPythonのプロファイルを作る
cmd でどこでもいいから、
ipython profile create pyspark
と実行

C:\Users\ユーザー名\.ipython\profile_pyspark
ができてる


3)ipython_notebook_config.py 作成(SJISでOK)して、以下の内容を書く

場所:
C:\Users\ユーザー名\.ipython\profile_pyspark\ipython_notebook_config.py

記入内容:
c = get_config()
c.NotebookApp.ip = '*'
c.NotebookApp.open_browser = True
c.NotebookApp.port = 8880 # or whatever you want; be aware of conflicts with CDH


4)00-pyspark-setup.py 作成(SJISでOK)して、以下の内容を書く

場所:
C:\Users\ユーザー名\.ipython\profile_pyspark\startup\00-pyspark-setup.py
記入内容:
import os
import sys

spark_home = os.environ.get('SPARK_HOME', None)
if not spark_home:
raise ValueError('SPARK_HOME environment variable is not set')
sys.path.insert(0, os.path.join(spark_home, 'python'))
sys.path.insert(0, os.path.join(spark_home, 'python/lib/py4j-0.9-src.zip'))
execfile(os.path.join(spark_home, 'python/pyspark/shell.py'))


5)ipython notebook起動
cmdで、適当なディレクトを作って、
ipython notebook --profile=pyspark
で、しばらくすると、ブラウザが起動される。

上記5)のsys.path.insert(0, os.path.join(spark_home, 'python/lib/py4j-0.9-src.zip'))
は、sparkのバージョンに合わせて、変更します。




参考にしたURL
The Deriving Force of My Life: Installing IPython Notebook with Apache Spark on Windows 7
qiita.com