sprak安装使用

环境要求

1. centOS7

2. Hadoop2.7.5

步骤

一、下载解压Spark文件

1. 下载
http://spark.apache.org/downloads.html

2. 下载完成后复制到虚拟机/usr/local目录下

3. 解压
tar -zxf ~/spark-2.2.1-bin-hadoop2.7.tgz -C /usr/local/
4. 重命名目录

sudo mv ./spark-1.6.0-bin-without-hadoop/ ./spark

二、配置Spark

1. 修改配置文件

安装后，需要在 ./conf/spark-env.sh 中修改 Spark 的Classpath，执行如下命令拷贝一个配置文件：

cd /usr/local/spark

cp ./conf/spark-env.sh.template ./conf/spark-env.sh

2.修改conf目录下的spark-env.sh文件（vim ./conf/spark-env.sh）

在最后添加一行代码

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

三、 切换到spark目录下执行测试程序

cd /usr/local/spark
./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"

四、Spark执行独立的程序

1. 设置环境变量

vim /etc/profile

在最后添加一下代码

#spark路径

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin

2.安装sbt

SBT(Simple BuildTool)即简单构造工具，它是用scala写的，具有强大的依赖管理功能，所有任务的创建都支持Scala，可连续执行命令。可以在工程的上下文里启动REPL。
一般来说，使用 Scala 编写的程序需要使用 sbt 进行编译打包，相应的，Java 程序使用 Maven 编译打包，而 Python 程序通过 spark-submit 直接提交。但是scala也可以使用maven来打包，不过配置起来较为复杂。这里就不再赘述了。
到官网下载安装包(http://www.scala-sbt.org/)。安装到/usr/local/sbt文件夹中

打赏