分类： Spark

1、maven依赖。

2、测试代码。

package spark;

import java.util.ArrayList;

import java.util.Arrays;

import java.util.List;

import java.util.Properties;

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaRDD;

import org.ap

1、参数详解。

参数名

参数说明

–master

 master 的地址，提交任务到哪里执行，例如 spark://host:port,  yarn,  local

–deploy-mode

 在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client

–class

 应用程序的主类，仅针对 java 或 scala 应用

–name

 应用程序的名称

1、准备文件 C:\java\test.txt

10001,jiang1,11,suzhou1

10002,jiang2,12,suzhou2

10003,jiang3,13,suzhou3

10004,jiang4,14,suzhou4

10005,jiang5,15,suzhou5

2、启动spark。

spark-shell

3、在spark中测试。

spark.read.textFile(“file:///c:/java/test.txt”).show