摘 要
农产品的价格波动更多的是因为在某一个地区某一个季节，某一种蔬菜的价格突然因为一些外在的因素而提高。而这样就导致了很多的人跟风，而这一情况必然导致下一季度这种蔬菜的价格必然出现下跌，这样就会出现很多的农户或者商家赚不到钱。准确地掌握作物历史产量的性质是建模输入的重要依据，有助于农民和政府组织决策过程中制定适当的政策。在计算和信息存储的数据提供了一个最广阔的进展。面临的挑战是从原始数据中提取知识，这就导致了新的方法和技术，如数据挖掘，可以将数据的知识与作物估产结合起来。
本文通过在农产品（蔬菜）的数据挖掘数据处理中，我们首先要寻找到足够的大量的农产品相关的数据信息的来源，因为拥有大量的数据信息是数据挖掘和数据处理的基础。其次是我们要做一些数据的准备：选择数据，就是确定待挖掘的数据的目标；数据预处理：研究数据的质量，确定将要进行的数据类型；数据转换：就是转换成一个分析模型。然后进行数据的挖掘：选择合适的挖掘算法。最后就是结果分析，主要是对提取的数据信息的可靠性、有效性等进行评估。
关键词：农产品；爬虫；数据挖掘；Python
Abstract
Prices of agricultural products fluctuate more because， in a certain region and season， the price of a certain vegetable suddenly rises because of some external factors. This has led to a lot of people following the trend， and this is bound to lead to the next quarter of the vegetable prices are bound to fall， so there will be many farmers or businesses can not make money. Accurate understanding of the nature of crop historical yield is an important basis for modeling input， and it is helpful for farmers and government organizations to make appropriate policies in the decision-making process. The data in computing and information storage provides one of the broadest advances. The challenge is to extract knowledge from raw data New methods and techniques， such as data mining， can combine data knowledge with crop yield estimates.
In this paper， through the data mining of agricultural products (vegetables)， we first need to find a large number of agricultural products related to the source of data information， because having a large amount of data information is the basis of data mining and data processing. Secondly， we need to do some data preparation: select data， is to determine the target of the data to be mined; data preprocessing: to study the quality of data， determine the data type to be carried out; data conversion: is to convert into an analysis model. Then carry on the data mining: select the appropriate mining algorithm. Finally， the result analysis is mainly about the reliability of the extracted data information. Evaluate effectiveness， etc.
Key words: agricultural products; crawlers; data mining; Python
目 录
摘 要 I
Abstract II
1绪论 1
1.1研究背景 1
1.2项目来源 1
1.3研究目的 2
1.3研究现状 2
1.4主要内容及预期目标 3
1.4.1数据挖掘技术简述及优点 3
1.4.2程序设计思路 3
1.4.3节点布置方案 4
1.4.4预期目标 5
2农产品（蔬菜）价格形成机制及影响因素分析 6
2.1蔬菜价格形成机制研究 6
2.2蔬菜价格影响因素分析 6
2.2.1市场内部影响因素 6
2.2.2市场外部影响因素 9
2.3蔬菜价格影响因素的测度 10
2.3.1变量与样本的选择 10
2.3.2模型形式与估计方法 11
2.3.3估计结果分析 11
3农产品（蔬菜）价格数据模型方案及功能分析 13
3.1分析与设计 13
3.2技术路线 13
3.2.1使用工具 13
3.2.2时间序列短期预测方法及模型 14
3.2.3数据采集模块 14
3.2.4功能实现模块 15
3.3数据仓库的组建 16
4农产品（蔬菜）价格短期预测模型的构建和实现 17
4.1 研究方法以及模型的基本原理 17
4.1.1研究方法 17
4.1.2模型的基本原理 17
4.2 估计步骤 19
4.2.1 利用ADF检验序列及其一阶差分的平稳性 19
4.2.2 选择模型的滞后阶数 19
4.2.3 Granger因果检验 20
3.2.4 Johansen协整检验及模型的建立 20
3.2.5误差修正模型的构建及检验 21
4.3 Python数据爬取网站 21
4.4 Python分析思路 21
4.5 Python爬虫源码说明 24
4.5.1首先创建一个Spider 24
4.5.2行情数据 24
4.5.3产地数据 29
4.5.4行情分布 32
4.5.5价格走势 41
4.5.6设计字典 44
4.5.7数据入库 47
总 结 53
参考文献 54
致 谢 55
