sbt构建scala代码jar包过程记录

最近在学习<<Spark快速大数据分析>>这本书，为了运行随书代码，安装了Spark环境。但是scala代码只能在spark-shell以交互形式运行，为了运行scala代码块，这两天集中学习了一下利用sbt构建scala代码jar包流程，这里做个记录。由于本人习惯win10系统，故下面的记录只针对win10.

构建scala的spark程序时，需要用到scala构建工具sbt(scala build tool)进行打包。其中的build.sbt是类似makefile的说明文件，它向scala编译器描述并指示与scala构建相关的任务，比如打包什么、需要解析哪些依赖包、去哪里解析等。具体过程如下。

要利用sbt构建jar包，就要下载sbt工具包然后进行构建，下面从sbt下载安装、jar包构建过程和jar包提交运行3个方面进行叙述。

sbt下载安装

从点击https://github.com/sbt/sbt/releases/download/v1.9.6/sbt-1.9.6.zip进行下载，合适文件夹下解压，我的目录为D:\sbt，配置环境变量：在系统变量path中新增D:\sbt\sbt\bin。安装完成后，win+R进入命令行，输入sbt出现如下结果表明安装成功：

jar包构建过程

在合适路径新建一个文件夹作为项目根目录，我的根目录为D:\sbt\my_sbt\LearningSparkV2\chapter2\scala，根目录新建build.sbt文件，内容如下：

//name of the package
name := "main/scala/chapter2"
//version of our package
version := "1.0"
//version of Scala
scalaVersion := "2.10.7"
//spark library dependencies
libraryDependencies ++= Seq(
 "org.apache.spark" %% "spark-core" % "2.0.0",
 "org.apache.spark" %% "spark-sql"  % "2.0.0"
) 

根目录下新建src文件夹，并按name of the package(这里是main\scala\chapter2)创建连续路径后，在src\main\scala\chapter2路径下创建自己的scala文件，该文件包含要打包的scala代码。

win+R进入命令行后cd到根目录，输入Sbt并回车进入sbt-shell后，输入compile命令进行编译，编译报错的话日志会有详细说明，否则可以输入package命令进行打包。打好的jar包在根目录下的target\scala-2.10目录下。

到这里为止，通过sbt构建scala代码的jar包流程就已经结束了。

jar包提交运行

这里再记录下上面打好的jar包怎么通过spark的spark-submit命令进行提交运行。

通过命令行进入到spark安装目录的bin目录，同时将jar包和jar包要处理的文件复制到合适的路径(所谓合适就是spark-submit命令能找到的spark安装目录的bin目录的相对路径)，输入下面命令进行jar包的执行：

spark-submit --class main.scala.chapter2.MnMcount ..\jars\myJars\main-scala-chapter2_2.10-1.0.jar ..\data\mnm_dataset.csv

\jars\myJars

其中bin,jars,data的目录结构如下：