中国大学大数据算法_2答案(mooc2023课后作业答案)

中国大学大数据算法_2答案(mooc2023课后作业答案)

点击查看答案

第一讲 大数据算法概述

大数据算法概述随堂测验

1、中国多源异构是大学大数大数据的特点

2、解决小规模数据上的据算算法设计技术不能用于设计大数据上的算法

3、大数据算法分析只需要分析时间和空间复杂性

4、法答传统的案m案可计算性理论仍然适用于大数据计算问题的可计算性分析

5、大数据上时间复杂性低的后作算法一定运行得比时间复杂性高的算法快

第一讲作业

1、请写出一种大数据的业答应用，并写出该大数据应用涉及到的中国数据规模、资源约束、大学大数时间约束和涉及到的据算算法。

第二讲 亚线性算法

亚线性算法概述随堂测验

1、法答亚线性算法一定是案m案近似算法

2、空间亚线性算法一定需要抽样

3、后作水库抽样是业答一种随机化算法

4、课堂上讲的中国求平面图直径的亚线性算法近似比为2

5、判定问题的答案只有"是"和“否”，这是无法近似的

亚线性算法概述单元测验

1、请写出一个时间复杂性下界为的判定问题(n为输入规模)，写出其远离的概念，设计相应的时间亚线性算法解决之，并分析其复杂性和判断正确的概率

第三讲 亚线性算法例析

亚线性算法例析随堂测验

1、判断一个数组是否单调递减存在一个随机化亚线性时间近似算法。

2、数据流上的算法一定亚线性时间的算法

3、求数据流上频繁元素的算法是一个随机算法

4、一个无向图中连通分量的个数可以在o(m)时间内精确估计

5、最小生成树的权重估计的亚线性时间算法时一个随机近似算法

第三讲作业

1、请写出一个不同于课堂讲过的数据流中统计量的计算问题，设计相应的扫描数据流一遍的时间空间亚线性算法，并分析其空间复杂性和结果的误差和概率。

第四讲 外存算法概述

外存算法概述随堂测验

1、存在I/O复杂性最优的外存排序算法

2、内存数据结构同样适用于外存

3、面向内存的算法同样适用于面向外存的算法

4、外存二叉查找树不易更新的问题可以通过将二叉树转化为多叉树解决

5、外存中的快速排序中，划分点的选取影响其I/O复杂性高低

第四讲作业

1、提出一个不同于课件上的问题，设计其I/O有效的外存算法并分析其I/O复杂度

第五讲 外存查找结构

外存查找结构随堂测验

1、B树是一种平衡树

2、(6,9)树是一种合法的B树

3、对B树的更新至多需要h次IO，其中h是树的高度

4、kdB树可以看成是用B树思想实现的磁盘版本的kd树

5、kd树仅能处理二维的空间查询

第五讲作业

1、请提出一个查找要求(如查找线段、查找区域等)，提出一个适用于外存数据的查找结构并分析该结构的查找和维护I/O复杂性

第六讲外存图数据算法

外存图数据算法随堂测验

1、对大小为N的表进行rank的I/O复杂度可以达到O(sort(N)).

2、每个有N个顶点的图中最大独立集合大小至少为N/3

3、图后序计数的I/O复杂度可以达到O(sort(N))

4、图数据算法的I/O复杂度和图的存储结构无关

5、缩图法采用了递归的算法设计思想

第六讲作业

1、在下列图计算问题中选择一个设计其外存有效的算法，要求设计存储结构、写出算法思想、算法伪代码、分析其I/O复杂性并证明其最优性： (1) 最大流 (2) 单源最短路径 (3) 图的最大匹配 (4) 给定无向图的边列表，对该图进行着色，求着色数 (5) 图模拟(simulation) (6) Pagerank (7) 任意两点间最短路径 (8) 计算图中三角形个数 (9) 计算图中最大团

第七讲 基于MapReduce的并行算法设计

基于MapReduce的并行算法设计随堂测验

1、编写MapReduce程序的时候无需知道Mapper和Reducer在何处运行

2、In-Mapper的聚合一定比显示的聚合更好

3、Map函数和Reduce函数的输入一定是Key-value对

4、MapReduce编程框架是编写并行算法的最有效途径

5、编写MapReduce程序必须编写其中的combine函数

第七讲作业

1、设计下列问题之一的MapReduce算法，并进行优化 (1) SVD分解 (2) 聚类 (3）相关规则挖掘 (4) 分类 (5）线性回归 (6) 排序

第八讲 MapReduce算法例析

MapReduce算法例析随堂测验

1、利用MapReduce平台处理k路多连接时，当桶数为m时，需要的reduce数量是

2、解决单源最短路径的MapReduce算法所需要的轮数是常数

3、在MapReduce平台上repartition join一定比hash join效率高

4、基于MapReduce的多重集合相似性连接算法适用于Jaccard,Cosine,Dice等多种相似性函数

5、解决单源最短路径的MapReduce算法中每一轮Map和Reduce之后都要进行收敛检测。

第九讲 超越MapReduce的并行大数据处理

超越MapReduce的并行大数据处理随堂测验

1、原始的MapReduce编程模型无法表示循环和迭代

2、Hadoop实现的PageRank的MapReduce算法中每轮迭代需要一轮MapReduce

3、Reducer输入缓存可以加速K-means的计算

4、MapReduce不适合图处理时因为图处理会导致大量迭代

5、实现Pregel平台时，图的顶点在不同机器间的分布会对处理效率没有影响

第九讲作业

1、针对SVM、决策树、CRF、人工神经网络等机器学习算法设计MapReduce平台的优化策略

第十讲 众包算法

众包算法随堂测验

1、对于众包来说，成本是其最重要的考虑因素

2、众包中最重要的回报是金钱

3、众包和用户反馈是一回事

4、工人回答的质量控制主要针对工人

5、对于基于众包的实体识别而言，基于对的方法比基于簇的方法更好

第十讲作业

1、现实当中的数据有很多错误，有些错误是能够根据规则自动修复的，但是有一些错误计算机无从知道如何修费，请设计策略，利用众包有效修复数据中的错误。要求描述众包策略的思想，设计界面，并论述提出的方法可以确保高效、低价并能够有效修复错误。

课程考试

1、利用本门课学的知识撰写一篇关于大数据算法的技术报告，需要有问题定义，问题的求解算法以及算法的分析，如果有实验结果会酌情额外加10-20分(加到满分位置)，注意：算法必须原创，如果抄袭或者翻译现有论文者给0分，论文打分主要依据问题是否有效(是否是一个大数据上的算法问题)，提出算法能否解决提出的问题，经过分析算法的有效性，提出的算法对本门课所讲知识的灵活应用，以及表述的清楚程度。

***.?中国大学大数据算法

随着大数据时代的到来，数据对于企业和个人来说变得越来越重要。在这个背景下，大数据算法变得越来越受到重视。作为大数据领域的一个重要分支，大数据算法在中国大学中也得到了广泛的应用和研究。

1. 什么是大数据算法

大数据算法是指在海量数据中通过计算机技术和算法技术，获取数据之间的关系、模式和规律，并从中发现有价值的信息和知识的过程。

大数据算法主要包含以下几个方面：

• 数据挖掘算法
• 机器学习算法
• 分布式计算算法
• 图像识别算法
• 自然语言处理算法

2. 大数据算法在中国大学中的应用

大数据算法在中国大学中的应用非常广泛。各大高校都设立了相关的课程和研究方向，涉及的领域也很多，如金融、医疗、环境、社交等。

以下是一些大学在大数据算法方面的应用和研究成果：

• 清华大学：清华大学的大数据与智能技术研究中心致力于研究大数据处理、机器学习、自然语言处理等领域。该中心所研发的“大数据平台”可以实现对海量数据的快速处理和分析。
• 复旦大学：复旦大学计算机学院的“人工智能与大数据”实验室，研究方向涉及机器学习、深度学习、推荐系统等。该实验室在图像识别、自然语言处理等领域都有较为出色的研究成果。
• 北京大学：北京大学的“大数据与知识工程”研究所，主要研究方向有大规模数据处理、复杂网络分析、社会计算等。该研究所曾在“KDD Cup”等数据挖掘竞赛中多次获得好成绩。

3. 如何学习大数据算法

学习大数据算法需要掌握大量的计算机技术和数学知识。以下是一些学习大数据算法的方法：

• 参加相关课程和培训班：各大高校和培训机构都开设了相关的课程和培训班，可以通过这些途径学习相关知识。
• 阅读相关书籍和论文：可以通过阅读相关书籍和论文来了解大数据算法的理论和实践知识。
• 实践项目：可以通过参加相关项目，将理论应用到实践中。

4. 大数据算法的前景

目前，大数据算法已经成为了数据处理和分析的重要工具，具有广阔的应用前景。未来，大数据算法将会在商业、社会、科学等各个领域发挥越来越重要的作用。

以下是一些大数据算法的发展趋势：

• 深度学习算法：深度学习算法是当前最流行的机器学习算法之一，未来还将继续发展和应用。
• 边缘计算和物联网：随着物联网的普及和边缘计算的兴起，大数据算法将在这些领域中发挥更加重要的作用。
• 人工智能：大数据算法和人工智能的结合将会创造出更多的价值。

5. 结语

大数据算法是当前最热门的技术之一，随着数据产生的速度和规模的不断增加，其重要性将会越来越突出。在中国大学中，大数据算法已经成为了一个重要的研究方向，各大高校也都在积极推动相关领域的研究和应用，相信在未来，大数据算法将会创造出更多的价值。