毕业作品网站

 首 页 机械毕业设计 电子电气毕业设计 计算机毕业设计 土木工程毕业设计 视觉传达毕业设计 理工论文 文科论文 毕设资料 帮助中心 设计流程 
垫片
您现在所在的位置:首页 >>计算机毕业设计 >> 文章内容
                 
垫片
   本站为毕业设计参考资料分享平台,资料使用与选题问题可咨询微信号:biyezuopinvvp QQ:1015083682   

基于Python的微博不实谣言信息数据的爬取、处理与分析 课程论文+源码及数据

文章来源:www.biyezuopin.vip   发布者:毕业作品网站  

目录

1. 环境配置说明 2

2. 数据爬取 2

2.1 网页分析 2

2.2 Cookie 获取 2

2.3 获得微博具体 URL 3

2.4 获得微博数据 4

3. 数据处理 5

3.1 数据清洗 5

3.2 TF-IDF 加权与词袋模型 7

3.3 基于 SVD 分解的 PCA(主成分分析)数据降维 9

4. 数据分析与可视化 10

4.1 数据聚类 10

4.2 数据可视化 11

4.2.1 热度变化趋势 11

4.2.2 词云 12

4.2.3 谣言转发和点赞之间的关系 13

4.3 数据分类 14

5. 不足与可能的改进 16

5.1 数据存储方式 16

5.2 数据源的改进 16


1.环境配置说明

• Python 解释器版本:Python 3.9 Anaconda

• 操作系统:Windows 10

• IDE:PyCharm 2021.3 (Professional Edition)

• 第 三 方 Python Packages: selenium, BeautifulSoup(bs4), pandas, jieba, numpy, sklearn, matplotlib, wordcloud

Python 额外程序包可以使用 pip/conda install 在 IDE 终端直接安装。或者也可以使用

PyCharm 的包安装程序(见图 1)。

图 1PyCharm 的包安装程序

注:本项目数据处理的最终结果是文件 analysis/CSV/weibo_data_classified.csv

2.数据爬取

2.1 网页分析

微博的所有网页均采用了 js 动态渲染技术,即使采用正确的 Cookie,利用 requests 等处理静态网页的库爬取网页仅能得到一大串无法使用的 Java Script 脚本。因此我最终决定采用selenium 库,配合 BeautifulSoup,利用浏览器驱动模拟真实浏览器获得 Cookie、发出请求。

2.2 Cookie 获取

本节代码:spider/GetCookie.py

通过多次尝试,我发现,微博网页的 Cookie 获取无论是通过账号密码或是邮箱方式,最后都必须通过手机短信或者手机扫码才能成功,即完全自动化的 Cookie 获取是比较困难的。因此我利用 selenium 来自动跳转至扫码界面(图 2):



















  资料目录与使用说明咨询微信号:biyezuopinvvp QQ:1015083682     返回首页 如转载请注明来源于www.biyezuopin.vip  

                 

打印本页 | 关闭窗口
本类最新文章
双模自适应消息传递网络在机械故障 … 基于MatlabSimulink … 35kV输电线路继电保护的设计 …
分布式风电场低电压穿越故障建模与 … 大学生内容分享和社交平台的设计与 … 基于SSM框架的企业人事薪酬管理 …
| 关于我们 | 友情链接 | 毕业设计招聘 |

Email:biyeshejiba@163.com 微信号:biyezuopinvvp QQ:1015083682  
本站毕业设计和毕业论文资料均属原创者所有,仅供学习交流之用,请勿转载并做其他非法用途.如有侵犯您的版权有损您的利益,请联系我们会立即改正或删除有关内容!