学号

导师姓名

专业

软件工程

班级

论文题目

基于 MapReduce 的分布式计算系统

关键词

分布式、MapReduce、高性能计算

1选题目的、意义

现代社会，对性能的需求越来越强，但摩尔定律随着芯片制程逐渐接近半导体的物理极限，难以维持。分布式系统的出现，使得可以通过增加机器数量，来满足对性能的需求。MapReduce 是由 Google 的工程师提出的一种用于处理大规模数据集的编程模型，也是一种对计算逻辑的抽象。使得可以通过简单的接口，就能实现自动的并行化并且分布式处理大规模的计算。

这次的题目，除了对 MapReduce 这个软件架构的实现，同样也加入了一些其他功能，如根据实时计算速度进行负载均衡，以及根据网络环境调整节点工作负载等。同时包含了对性能监控，日常维护等事项的论述。

2需求分析

总体的系统架构如图

图 1.1 系统架构

整个系统将会有三种不同的节点，WEB、Master、Slave。

WEB：通过提供一个 WEB 界面的方式，与用户进行交互，并把用户提交的任务发送至 Master，把 Master 收集的监控信息，以图形的方式展现给用户。整个系统的入口。

Master：任务调度，日志监控信息的采集

Slave：负责运算的节点

由于分布式系统，最终部署的机器数量可能会达上百台，人工维护十分困难，会采用 Docker 镜像，配合配置文件的方式，实现自动化部署。

3参考文献（要求10~15篇， 其中3~5篇外文技术文献、书籍或外文网站的地址等）

[1] Effective Modern C++（美）斯科特·迈耶（Scott Meyers）著；高博译.北京：中国电力出版社，2018.4

[2] Boost程序库完全开发指南：深入C++“准”标准库/罗剑锋著.北京：电子工业出版社，2015.3

[3] 程序员的自我修养：链接、装载与库/俞甲子，石凡，潘爱民著.北京：电子工业出版社，2009.4

[4] 计算机网络：自顶向下方法/（美）库罗斯（Kurose，J.F.），（美）罗斯（Roos，K.W.）著；陈鸣译.北京：机械工业出版社，2014，9

[5] 申时全.基于Linux多线程技术的网络并发编程及应用研究[J].现代计算机(专业版),2016(31):65-70.

[6] Jeffrey, Dean, Sanjay, et al. MapReduce: simplified data processing on large clusters[J]. Communications of the Acm, 2008.

[7] Ghemawat S , Gobioff H , Leung S T . The Google File System[C]// ACM. ACM, 2003:29.

[8] Chang F , Dean J , Ghemawat S , et al. distributed storage system for structured data. 2008.

[9] Go 官方文档：https://golang.org/doc/

[10] Python 官方文档：https://docs.python.org/3/

[11] bRPC 文档：https://github.com/apache/incubator-brpc

5进度安排

3月1日-------3月15日， 查阅相关文献，完成需求分析

3月16日-----3月31日， 完成总体设计

4月1日-----4月15日， 完成概要设计

4月16日-----5月15日， 编码与调试

5月16日-----5月25日， 撰写论文

5月25日-----6月初，准备答辩