Spark及Hadoop环境装配(1)-基本语言环境配置

版本选择

环境依赖清单：

Java在Spark与Hadoop生产中，一般使用Oracle JDK，版本选择是1.8 ScalaScala在Spark 2.0+时选用2.11，Spark 2.0以下时选用2.10 JDK部署 下载Oracle JDK下载链接：http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html#javasejdk 解压缩二进制包到/usr/local下的指定目录

使用软链接将指定目录依序/usr/local/jdk-1.8.xxx >> /usr/local/jdk-1.8 >> /usr/local/jdk

此处定义这种方法为本文中安装包软链接方案，这种方案有一些很灵异的好处，当你需要变更版本的时候，可以仅改变软链接就可以了。

设置环境变量在/etc/profile文件下添加以下内容： export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/jre/lib:$JAVA_HOME/lib Scala部署 下载Scala语言包下载链接：http://www.scala-lang.org/download/ 解压缩二进制包到/usr/local下的指定目录 使用软链接将指定目录依序/usr/local/scala-2.x.xxx >> /usr/local/scala-2.x >> /usr/local/scala 在/etc/profile文件下添加以下内容： export SCALA_HOME=/usr/local/scala
export PATH=$SCALA_HOME/bin:$PATH 生效与测试

使配置生效命令行执行:

source /etc/profile

测试java在命令行执行:

java

当不提示找不到命令则证明配置成功

测试scala测试方式与java相似

当执行scala时，出现scala-shell内容则证明成功