摘  要
近年来，随着人们生活品质的不断提高，消费观念亦在不断升级。洗发水市场愈来愈繁荣，洗发水产品种类也在不断地增多，人们在进行电商浏览洗发水用品时，常常是通过店铺销量和已购买用户的评论进行选购的，面对如此繁多地产品以及网络购物中的不确定性，对大量的评论进行整合和处理，帮助消费者进行客观的判断从而选购到合适的洗发水用品是十分有必要的。
对于大量评论的热销洗发水产品，消费者如果靠阅读评论得到某洗发水产品全面性的分析，工作量极大，耗时长，获取的信息也有限。网络爬虫作为一个自动提取网页的程序,可以高效地从数据库的海量信息中挖掘出有效的信息，大量数据可以得到处理和分析。而爬虫系统可以不断抓取网页数据到本地，经过一系列的分析、过滤，从而得到高质量的数据。
本文选取京东真实存在的洗发产品店铺为研究对象，进行洗发产品销售数据分析，通过数据分析发掘出洗发产品的浏览倾向，利用Python获取各品牌洗发用品网销数据信息的数据。通过CSS、HTML、JavaScript等编程语言设计系统登录与显示页面的样式布局。本设计主要目标是获取洗发产品网销数据、分析各洗发品牌所宣称的效果是否良好，解决不同发质选择洗发用品的问题。
关键词：Python；mongodb；电商平台；洗发水产品；数据分析
ABSTRACT
In recent years, with the continuous improvement of people's quality of life, the consumption concept is also constantly upgrading.Shampoo market more and more prosperous, shampoo products are also increasing, people in electricity browsing shampoo, often through store sales and buy user comments to choose and buy, in the face of so many products and in the uncertainty in online shopping, a large number of comments integration and processing, help consumers to carry on the objective judgment to choose and buy to the appropriate shampoo is very necessary.
For popular shampoo products with extensive reviews, consumers can have a heavy, time-consuming workload, and limited information.As a program of automatically extracting web pages, the web crawler can efficiently excavate effective information from the large amount of information in the database, and a large amount of data can be processed and analyzed.The crawler system can constantly grab the web page data to the local, after a series of analysis, filtering, so as to get high-quality data.
This paper selects the real shampoo product stores of JD as the research object to analyze the sales data of shampoo products, explores the browsing tendency of shampoo products through data analysis, and uses Python to obtain the data of online sales information of shampoo products.S H programming languages like CSS, HTML and JavaScript.The main goal of this design is to obtain the online sales data of shampoo products, analyze whether the effect claimed by various shampoo brands is good, and solve the problem of choosing hair products with different hair qualities.
Key words: Python; mongodb; e-commerce platform; shampoo products; data analysis
目录
第1章 绪论 1
1.1 背景及意义 1
1.1.1 背景 1
1.1.2 目标及意义 1
1.2 应用现状 2
1.3 数据模型及主要板块 2
1.3.1数据模型建立 2
1.3.2 主要板块 2
1.4 主要方法及技术路线 3
1.4.1 主要方法 3
1.4.2技术路线 4
第2章 开发环境及技术 5
2.1硬件设备 5
2.1.1 CPU及操作系统 5
2.1.2 其他 5
2.2软件及IDE 5
2.2.1 mongodb 5
2.2.2 IDE 6
2.3主要技术 6
2.3.1 mongodb 6
2.3.2 Python 7
第3章 可行性分析与模块设计 8
3.1 可行性分析 8
3.1.1 技术可行性分析 8
3.1.2 数据可获得性分析 8
3.2 各模块设计 8
3.2.1 数据获取方法 8
3.2.2 数据预处理设计 8
3.2.3 数据分析思路设计 10
第4章 系统实现 11
4.1数据采集 11
4.1.1确定待采集数据 11
4.1.2确定采集对象及采集思路 11
4.2采集准备 12
4.3开始采集数据 12
4.3.1分析网页 12
4.3.2思考 15
4.4数据清洗与分析 16
4.5 可视化与分析 16
4.5.1 整体可视化大屏展示 17
4.5.2消费价格分析 17
4.5.3价格与净含量的关系分析 20
4.5.4 评论标签热词分析 21
4.5.5 洗发产品品牌分布 23
4.5.6 洗发产品产地分布 23
第5章 设计过程中存在的问题和解决过程 24
5.1问题1描述 24
5.2解决办法 24
5.3问题2描述 24
5.4解决办法 25
结  论 28
致  谢 29
参考文献 30