关于CTS项目的Spark在Windows下的环境搭建

关于CTS项目的Spark在Windows下的环境搭建

spark环境搭建
一、jdk8安装与配置
1、下载。jdk-8u181-linux-x64.tar.gz。
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2、配置环境变量。
系统变量->新建->变量名:JAVA_HOME 变量值:D:\j2ee\jdk
系统变量->新建->变量名:CLASSPATH 变量值:.;%JAVA_HOME%\lib
系统变量->编辑->变量名:Path 在变量值的最前面加上:%JAVA_HOME%\bin;
3、验证。
在cmd命令中输入:java -version

二、scala安装与配置
1、下载。scala-2.11.12.msi
https://www.scala-lang.org/download/2.11.12.html
2、配置环境变量。(一般情况下,安装程序会自动完成配置)。
系统变量->编辑->变量名:Path 在变量值的最前面加上:D:\bigdata\scala\bin
3、验证。
在cmd命令中输入:scala

三、spark安装与配置
1、下载。spark-2.3.2-bin-hadoop2.7.tgz
http://spark.apache.org/downloads.html
2、配置环境变量。
系统变量->新建->变量名:SPARK_HOME 变量值:D:\bigdata\spark-2.3.2-bin-hadoop2.7
系统变量->编辑->变量名:Path 在变量值的最前面加上:D:\bigdata\spark-2.3.2-bin-hadoop2.7\bin
3、验证。
在cmd命令中输入:spark-shell

四、hadoop安装与配置
1、下载。hadoop-2.7.7.tar.gz
http://hadoop.apache.org/releases.html
2、配置环境变量。
系统变量->新建->变量名:HADOOP_HOME 变量值:D:\bigdata\hadoop-2.7.7
系统变量->编辑->变量名:Path 在变量值的最前面加上:D:\bigdata\hadoop-2.7.7\bin

五、winutils
1、下载。winutils-master.zip
https://github.com/steveloughran/winutils
2、将D:\bigdata\winutils-master\hadoop-2.7.1\bin下的文件
拷贝到D:\bigdata\hadoop-2.7.7\bin的目录下

六、spark命令行交互模式
在cmd命令中输入:spark-shell

七、访问控制台webui
http://127.0.0.1:4040/jobs/

发表回复

您的电子邮箱地址不会被公开。