如何在windows下安装配置pyspark notebook

第一步:安装anaconda

anaconda自带一系列科学计算包

下载链接:http://pan.baidu.com/s/1b4jWlg 密码:fqq3

接着配置环境变量:如我安装在D盘下  

 

试一下命令行启动,确保ipython从anaconda启动

 

第二步:安装spark(需要提前安装JDK)

到官网下载spark安装包

http://spark.apache.org/downloads.html

我下的是这个版本:

解压缩之后,不要忘记添加环境变量

配置如下系统变量

 接着需要在命令行键入(spark安装目录下:如D:\spark) > sbt package   进行编译

 

这一步很重要  拷贝 E:\spark\python\pyspark  到 D:\anaconda\Lib\site-packages 目录下

 

第三步:修改spark\conf下的spark-env文件(不知道是否必要)

加入如下三行

export PYSPARK_PYTHON=/D:/anaconda
export PYSPARK_DRIVER_PYTHON=/D:/anaconda
export PYSPARK_SUBMIT_ARGS=’–master local[*]’

 

第四步:启动pyspark

发现已启动成功,一般网页会自动打开http://localhost:8888/tree#

 

第五步:测试sc

成功!

 

如何在windows下安装配置pyspark notebook

相关文章:

你感兴趣的文章:

标签云: