大数据-Pagerank-实验报告
目录
大数据-Pagerank-实验报告 1
(1) 概述 1
(2) 数据集分析 1
(3) 程序设计大致流程及关键代码解析 1
(4) 实验结果 19
(5) 实验结果分析 23
(1)概述
语言:C++。
分块:4×4,共16块。
大致过程:读取原始数据wikidata-分块-获取所有网页-初始化PageRank-Map_Reduce执行至收敛-写入数据
(2)数据集分析
①原始数据集wikidata以“[FromNodeID] [ToNodeID]”形式存储,包括了有入度有出度、有入度无出度、有出度无入度等各个类型的结点。
②涉及源网页6110个,所有网页点共7115个。
③数据集较稀疏,结点间联系不太紧密,可知用矩阵存储空间消耗较大。




