spark环境搭建
一、jdk8安装与配置
1、下载。jdk-8u181-linux-x64.tar.gz。
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2、配置环境变量。
系统变量->新建->变量名：JAVA_HOME 变量值：D:\j2ee\jdk
系统变量->新建->变量名：CLASSPATH 变量值：.;%JAVA_HOME%\lib
系统变量->编辑->变量名：Path 在变量值的最前面加上：%JAVA_HOME%\bin;
3、验证。
在cmd命令中输入：java -version
二、scala安装与配置
1、下载。scala-2.11.12.msi
https://www.scala-lang.org/download/2.11.12.html
2、配置环境变量。（一般情况下，安装程序会自动完成配置）。
系统变量->编辑->变量名：Path 在变量值的最前面加上：D:\bigdata\scala\bin
3、验证。
在cmd命令中输入：scala
三、spark安装与配置
1、下载。spark-2.3.2-bin-hadoop2.7.tgz
http://spark.apache.org/downloads.html
2、配置环境变量。
系统变量->新建->变量名：SPARK_HOME 变量值：D:\bigdata\spark-2.3.2-bin-hadoop2.7
系统变量->编辑->变量名：Path 在变量值的最前面加上：D:\bigdata\spark-2.3.2-bin-hadoop2.7\bin
3、验证。
在cmd命令中输入：spark-shell
四、hadoop安装与配置
1、下载。hadoop-2.7.7.tar.gz
http://hadoop.apache.org/releases.html
2、配置环境变量。
系统变量->新建->变量名：HADOOP_HOME 变量值：D:\bigdata\hadoop-2.7.7
系统变量->编辑->变量名：Path 在变量值的最前面加上：D:\bigdata\hadoop-2.7.7\bin
五、winutils
1、下载。winutils-master.zip
https://github.com/steveloughran/winutils
2、将D:\bigdata\winutils-master\hadoop-2.7.1\bin下的文件
拷贝到D:\bigdata\hadoop-2.7.7\bin的目录下
六、spark命令行交互模式
在cmd命令中输入：spark-shell
七、访问控制台webui
http://127.0.0.1:4040/jobs/
