Spark spark-submit 参数说明

Spark spark-submit 参数说明

1、参数详解。

参数名

参数说明

--master

 master 的地址,提交任务到哪里执行,例如 spark://host:port,  yarn,  local

--deploy-mode

 在本地 (client) 启动 driver 或在 cluster 上启动,默认是 client

--class

 应用程序的主类,仅针对 java 或 scala 应用

--name

 应用程序的名称

[阅读全文]

关于CTS项目的Spark在Windows下的环境搭建

关于CTS项目的Spark在Windows下的环境搭建

spark环境搭建

一、jdk8安装与配置

1、下载。jdk-8u181-linux-x64.tar.gz。

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

2、配置环境变量。

系统变量->新建->变量名:JAVA_HOME 变量值:D:\j2ee\jdk

系统变量->新建->变量名:CLASSPATH 变量值:.;%JAVA_H [阅读全文]