摘 要
随着气象服务行业的发展和全媒体时代的全面到来,面对爆发式增长的各类气象数据以及受众需求的引领,对数据信息进行可视化表达也逐渐成为气象服务行业传播服务信息的主要途径,目前,气象数据信息可视化传播已经做出多种尝试,传播效果得到一定程度提升.然而,现阶段对气象数据可视化技术的应用还处在尝试阶段,可视化手段和效果还停留在较浅层面,仍存在很多问题和进步空间。
本课题将开发一款基于Hadoop的Mapreduce气象数据分析可视化系统。该系统使用户可以方便直观的查询当日气象情况,也提供了在系统中存储的海量气象历史信息的简单分析与查询功能。而且考虑到本软件的商用目的,在设计时考虑到了软件的可扩展性,安全性和速度。
关键词:气象数据;数据分析;可视化;Hadoop;Mapreduce
Abstract
With the development of meteorological service industry and the arrival of the whole media era, in the face of explosive growth of all kinds of meteorological data and audience needs, Visual expression of data information has gradually become the main way to disseminate service information in meteorological service industry. However, at the present stage, the application of meteorological data visualization technology is still in the trial stage, the visualization means and effects are still in a shallow level, and there are still many problems and room for progress.
This paper will develop a visual system for Mapreduce meteorological data analysis based on Hadoop. The system enables users to query the meteorological situation of the day conveniently and intuitively, and also provides a simple analysis and query function of the massive meteorological historical information stored in the system. Considering the commercial purpose of the software, the scalability, security and speed of the software are considered in the design.
Keywords: meteorological data; data analysis; visualization; Hadoop;Mapreduce
目 录
摘 要
Abstract
1绪论
1.1选题背景及意义
1.2研究现状及趋势
1.3研究主要内容
2相关技术简介
2.1开发工具
2.1.1 JDK1.7
2.1.2 eclipse luna
2.1.3 Hadoop 2.7.2
2.1.4 hbase 1.1.3
2.1.5 hive 1.2.1
2.1.6 zookeeper 3.4.8
2.1.7 mysql 5.5
2.1.8 swing
2.1.9 VMware Workstation 12 Pro
2.1.10其他辅助开发工具包
2.2开发环境搭建
2.2.1 三台Linux虚拟机的搭建
2.2.2 配置静态ip
2.2.3 SSH安装及免密码登陆
2.2.4修改hosts文件
2.2.5安装jdk
2.2.6 Hadoop安装与配置
2.2.7 Zookeeper安装与配置
2.2.8 Hbase的安装与配置
4.2.9 Hive的安装与配置
2.2.10 mysql的安装与配置
4.2.11 Hive与Hbase的整合
2.2.12 Hadoop-eclipse-plugin插件安装
2.2.13 WindowBuilder插件
3 需求分析
3.1可行性分析
3.1.1可行性研究介绍
3.1.2可行性分析
3.2需求分析
3.2.1需求分析作用
3.2.2功能需求
4 可视化设计
4.1界面设计
4.1.1前台界面设计
4.2模块划分
4.2.1用户注册与登录模块
4.2.2上传气象数据模块
4.2.3数据分析模块
4.2.4定时更新气象数据模块
4.2.5历史气象数据查询模块
4.2.6今日气象数据动态显示模块
4.2.7历史气象走势与极端气象查询模块
4.2.8数据库设计模块
4.3数据库设计E-R图
5 可视化界面
5.1界面实现
5.1.1主窗体的创建与总体布局
5.1.2 界面主要控件实现
5.1.3界面动态图形展示实现
5.2各功能模块实现
5.2.1用户注册与登录模块实现
5.2.2上传数据模块实现
5.2.3数据分析模块实现
5.2.4定时在线更新与分析模块实现
5.2.5历史气象数据查询模块实现
5.2.6今日气象数据动态显示模块实现
5.2.7历史气象走势模块实现
5.2.8数据库模块实现
6 可视化展示
6.1用户注册与登录功能展示
6.1.1用户注册
6.1.2用户登录
6.2上传数据功能展示
6.3数据分析与定时更新功能展示
6.3.1数据分析
6.3.2定时更新
6.4数据库内容展示
6.5今日气象展示
6.6历史气象展示
6.7历史气象走势展示
7 总结与展望
7.1总结
7.2未来展望
参考文献
致 谢