一、运行环境
实际配置环境结合了实际情况,没有和实验案例完全一致,不过整个功能正常实现。实际运行环境及版本如下所示。
Linux: Ubuntu14.04
JDK: Openjdk-1.7.0_181
Hadoop: 2.7.6
MySQL: 5.7.24
Hive: 1.2.2
Sqoop: 1.4.7
Spark: 2.1.0
Eclipse: 4.5.0
Echarts: 3.8.4
配置过程中截图如下所示,由于步骤较多,仅截取部分关键步骤。
图1.1 创建hadoop用户,添加管理权限
图1.2 安装配置SSH
图1.3 配置Java
图1.4 配置Hadoop
图1.5 运行Hadoop
图1.6 配置运行MySQL
图1.7 配置运行Hive
图1.8 配置运行Sqoop
图1.9 配置运行Spark
至此“淘宝双11数据分析与预测课程案例”所需要的环境配置完成。另外实际操作中发现在案例教程中存在一些小问题,比如教程中Eclipse版本为3.8,但是在配置Tomcat Server时又要求配置v8.0版本,然而3.8版本的Eclipse最多仅支持到v7.0版本的Tomcat,所以实际操作时使用了更新的Eclipse版本。