前言
最近在学习Spark，除了原生的Scala以外，Spark还提供了一个pyspark支持Python。以前曾经搭过一个基于IPython notebook的在线代码运行平台，其中用到的numpy，scipy，matplotlib，pandas等文本/数据处理库让我觉得如果能和pyspark结合说不定是个不错的组合——可以直观的测试代码逻辑，比起shell不知道要高到哪里去了。
至于这个平台，你可以搭载在树莓派，阿里云ecs，甚至是本机架设，方便快捷简单易上手。
事实上对于这篇文章，你也可以单纯把它看作是单机布置伪分布式Spark的教程，因为前面步骤一样一样的。
前期准备
硬件：
Linux/Mac计算机 x1
Linux用Ubuntu作为示例，Mac默认有HomeBrew或者Macport
软件：
Java环境，配置过JAVA_HOME
Python环境，默认为Python2
需联网，没有网络的请自行下载源码包并上传至机器
下载
Spark:
前往Apache官网下载:
hadoop2.6.0.tar.gz
spark-1.6.1-bin-hadoop2.6.tar.gz
scala-2.10.6.tar.gz
下载并统一使用
tar xvzf XXX.tar.gz
进行解压，之后执行
$mv hadoop2.6.0 /usr/local/hadoop$mv spark-1.6.1-bin-hadoop2.6 /usr/local/spark$mv scala-2.10.6 /usr/lcoal/scala
将文件夹移动到/usr/local备用
IPython：
之前用的Ipython notebook已经独立出来变成了jupyter，在这个步骤Python首先要安装setuptools，之后执行
$easy_install pip virtualenv
Virtualenv是Python的一个沙盒环境，适合配置不同版本的库来适配不同应用。
之后用Virtualenv创建一个IPython ENV
$cd /your/IPython/path/ $virtualenv ipython $source ipython/bin/activate (ipython)$
当前缀出现(ipython)的时候，说明这个env已经创建成功并正在使用中，如果需要退出就执行
(ipython)$cd ipython/bin && deactivate $
之后在ipython环境中执行
(ipython)$pip install ipython jupyter numpy scipy pandas snownlp
安装matplotlib库则稍微麻烦些，需要先安装其依赖的包libpng和freetype
安装libpng:
$apt-get install libpng-dev
安装freetype:
$cd ~/Downloads $wget http://download.savannah.gnu.org/releases/freetype/freetype-2.4.10.tar.gz$tar zxvf freetype-2.4.10.tar.gz $cd freetype-2.4.10/ $./congfigure $make $make install
之后执行
pip install matplotlib
配置环境变量
在这一步，Ubuntu请执行
$vim ~/.bashrc
Mac执行
$vim ~/.bash_profile
在文件末尾输入:
export PATH="$PATH:/usr/local/share/scala/bin"export HADOOP_INSTALL=/usr/local/hadoopexport PATH=$PATH:$HADOOP_INSTALL/binexport PATH=$PATH:$HADOOP_INSTALL/sbinexport HADOOP_MAPRED_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_HOME=$HADOOP_INSTALLexport HADOOP_HDFS_HOME=$HADOOP_INSTALLexport YARN_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"export SPARK_HOME=/usr/local/sparkexport PATH=$PATH:$SPARK_HOME/binexport PYTHONPATH=$PYTHONPATH:$SPARK_HOME/pythonexport PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python/lib/py4j-0.9-src.zip IPYTHON_OPTS="notebook"$SPARK_HOME/bin/pyspark
:wq保存退出之后可以开始进行最后一步的spark环境配置了
Spark配置：
说是Spark的配置其实是更像是Hadoop的配置，毕竟Spark默认配置就能运行。
首先进入Hadoop的配置文件夹
$cd /usr/local/hadoop/etc/hadoop$ls
你可以看到以下几个文件
core-site.xml
yarn-site.xml
mapred-site.xml
hdfs-site.xml
别急一个一个来
vim core-site.xml
写入
<property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value></property>
vim yarn-site.xml
写入
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property><property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
如果没有mapred-site.xml
$ mv mapred-site.xml.template mapred-site.xml && vim mapred-site.xml
写入
<property> <name>mapreduce.framework.name</name> <value>yarn</value></property>
vim hdfs-site.xml
写入
<property> <name>dfs.replication</name> <value>1</value> </property>
呼，长嘘一口气
然后格式化一下namenode
$hdfs namenode -format
启动hadoop服务
$start-all.sh
输入数次密码，如果不想每次都输密码就百度一下hadoop的ssh免密配置
$jps
看到如下
17785 SecondaryNameNode 17436 NameNode 17591 DataNode 18096 NodeManager 17952 ResourceManager 23635 Jps
很好你成功启动了hadoop，接下来进入spark文件夹
$cd $SPARK_HOME/sbin$start-all.sh
输入一次密码之后查看jps是否多了一个worker和一个master，不出意外的话你的spark应该是能运行了
启动Jupyter
好累啊终于到了这一步了，进入ipython环境的前提下执行
(ipython)$jupyter notebook --generate-config (ipython)$vim ~/.jupyter/jupyterA_notebook_config.py
写入
c.NotebookApp.ip='*'c.NotebookApp.open_browser = Falsec.NotebookApp.port =8888
然后执行
jupyter notebook
在浏览器输入http://ip_address:8888就能访问辣！
然后就愉快的新建notebook开始敲代码叭！
oh yeah
作者：蔡菜寀
链接：https://www.jianshu.com/p/bbd4190089e7
随时随地看视频
