设计 任务书 文档 开题 答辩 说明书 格式 模板 外文 翻译 范文 资料 作品 文献 课程 实习 指导 调研 下载 网络教育 计算机 网站 网页 小程序 商城 购物 订餐 电影 安卓 Android Html Html5 SSM SSH Python 爬虫 大数据 管理系统 图书 校园网 考试 选题 网络安全 推荐系统 机械 模具 夹具 自动化 数控 车床 汽车 故障 诊断 电机 建模 机械手 去壳机 千斤顶 变速器 减速器 图纸 电气 变电站 电子 Stm32 单片机 物联网 监控 密码锁 Plc 组态 控制 智能 Matlab 土木 建筑 结构 框架 教学楼 住宅楼 造价 施工 办公楼 给水 排水 桥梁 刚构桥 水利 重力坝 水库 采矿 环境 化工 固废 工厂 视觉传达 室内设计 产品设计 电子商务 物流 盈利 案例 分析 评估 报告 营销 报销 会计
 首 页 机械毕业设计 电子电气毕业设计 计算机毕业设计 土木工程毕业设计 视觉传达毕业设计 理工论文 文科论文 毕设资料 帮助中心 设计流程 
垫片
您现在所在的位置:首页 >>计算机毕业设计 >> 文章内容
                 
垫片
   我们提供全套毕业设计和毕业论文服务,联系微信号:biyezuopin QQ:2922748026   
基于Spark+Hadoop+Java电商网店店铺回头客分析预测 课程论文+项目源码
文章来源:www.biyezuopin.vip   发布者:毕业作品网站  

目录

一、运行环境

二、本地数据集上传到数据仓库Hive

2.1 数据集的预处理

2.1.1 删除文件第一行记录(字段名称)

2.1.2 获取数据集中前10000条数据

2.1.3 把small_user_log.csv中的数据导入数据仓库Hive

三、Hive数据分析

3.1 查看user_log表

3.2 查询条数及统计分析

3.2.1 计算表内数据行数

3.2.2 查询uid不重复的数据条数

3.2.3 查询不重复数据条数

3.2.4 统计男女买家购买商品数量

3.2.5 查询某一天在网站购买该数量商品的用户id

3.3 用户实时查询分析

3.3.1 创建新数据表

3.3.2 导入统计后的数据

3.3.3 显示统计结果

四、将数据从Hive导入到MySQL

4.1 Hive预操作

4.1.1 创建临时表

4.1.2 数据插入

4.1.3 查看是否成功执行

4.2 使用Sqoop将数据从Hive导入MySQL

4.2.1 创建数据库

4.2.2 创建表

4.2.3 导入数据

4.2.4 查看MySQL中user_log表中的数据

五、利用Spark预测回头客

5.1 预处理test.csv和train.csv数据集

5.1.1 新建predeal_test.sh脚本文件

5.1.2 执行predeal_test.sh脚本

5.1.3 train.csv文件预处理

5.1.4 新建predeal_train.sh脚本文件

5.1.5 执行predeal_train.sh脚本文件

5.2 预测回头客

5.2.1 启用Hadoop

5.2.2 进入MySQL Shell

5.2.3 创建回头客预测表rebuy

5.2.4 启动Spark Shell

5.2.5 使用支持向量机SVM分类器预测回头客

六、利用ECharts进行数据可视化分析

6.1搭建Tomcat+MySQL+JSP开发环境

6.1.1 下载Tomcat安装包

6.1.2 启动MySQL

6.2利用Eclipse 新建可视化Web应用

6.2.1 在Eclipse中安装必要的Web组件

6.2.2 新建Dynamic Web Project

6.2.3 添加mysql-connector-java-5.1.47-bin.jar连接驱动

6.2.4 利用Eclipse 开发Dynamic Web Project应用

6.3启动项目

6.3.1 启动Server

6.3.2 在Web Browser浏览运行结果


一、运行环境

实际配置环境结合了实际情况,没有和实验案例完全一致,不过整个功能正常实现。实际运行环境及版本如下所示。

Linux: Ubuntu14.04

JDK: Openjdk-1.7.0_181

Hadoop: 2.7.6

MySQL: 5.7.24

Hive: 1.2.2

Sqoop: 1.4.7

Spark: 2.1.0

Eclipse: 4.5.0

Echarts: 3.8.4

配置过程中截图如下所示,由于步骤较多,仅截取部分关键步骤。

图1.1 创建hadoop用户,添加管理权限

图1.2 安装配置SSH

图1.3 配置Java

图1.4 配置Hadoop

图1.5 运行Hadoop

图1.6 配置运行MySQL

图1.7 配置运行Hive

图1.8 配置运行Sqoop

图1.9 配置运行Spark

至此“淘宝双11数据分析与预测课程案例”所需要的环境配置完成。另外实际操作中发现在案例教程中存在一些小问题,比如教程中Eclipse版本为3.8,但是在配置Tomcat Server时又要求配置v8.0版本,然而3.8版本的Eclipse最多仅支持到v7.0版本的Tomcat,所以实际操作时使用了更新的Eclipse版本。















  全套毕业设计论文现成成品资料请咨询微信号:biyezuopin QQ:2922748026     返回首页 如转载请注明来源于www.biyezuopin.vip  

                 

打印本页 | 关闭窗口
本类最新文章
基于Python的在线自主考试系 基于腾讯云的个人知识库管理系统 基于Android的酒店预定系统
基于matlab变频器控制交流电 基于微信小程序的家校联动平台管理 基于时频分析与自适应滤波技术的多
| 关于我们 | 友情链接 | 毕业设计招聘 |

Email:biyeshejiba@163.com 微信号:biyezuopin QQ:2922748026  
本站毕业设计毕业论文资料均属原创者所有,仅供学习交流之用,请勿转载并做其他非法用途.如有侵犯您的版权有损您的利益,请联系我们会立即改正或删除有关内容!