mooc大数据计算与可视化 2020学年春（宋顶利）章节答案(mooc2023课后作业答案)
83 min readmooc大数据计算与可视化 2020学年春（宋顶利）章节答案(mooc2023课后作业答案)
第1讲大数据概述章节单元测验
1、大数顶利答案答案第三次信息化浪潮的据计标志是：
A、个人电脑的算可视化普及
B、互联网的学年普及
C、云计算、春宋大数据、章节作业物联网技术的课后普及
D、虚拟现实技术的大数顶利答案答案普及
2、就数据的据计量级而言，1PB数据是算可视化多少TB？
A、512
B、学年1024
C、春宋1000
D、章节作业2048
3、课后以下关于云计算、大数顶利答案答案大数据和物联网之间的关系，论述错误的是：
A、云计算侧重于数据分析
B、云计算、大数据和物联网三者紧密相关，相辅相成
C、物联网可以借助于云计算实现海量数据的存储
D、物联网可以借助于大数据实现海量数据的分析
4、以下哪个不是大数据时代新兴的技术：
A、Hadoop
B、Spark
C、HBase
D、MySQL
5、每种大数据产品都有特定的应用场景，以下哪个产品是用于批处理的：
A、MapReduce
B、Pregel
C、Dremel
D、Storm
6、每种大数据产品都有特定的应用场景，以下哪个产品是用于流计算的：
A、GraphX
B、S4
C、Hive
D、Impala
7、每种大数据产品都有特定的应用场景，以下哪个产品是用于图计算的：
A、Cassandra
B、Flume
C、Storm
D、Pregel
8、每种大数据产品都有特定的应用场景，以下哪个产品是用于查询分析计算的：
A、MapReduce
B、HDFS
C、Dremel
D、S4
9、数据产生方式大致经历了三个阶段，包括：
A、运营式系统阶段
B、用户原创内容阶段
C、感知式系统阶段
D、移动互联网数据阶段
10、大数据发展的三个阶段是：
A、萌芽期
B、低谷期
C、成熟期
D、大规模应用期
11、大数据的4V特性包括：
A、数据量大
B、数据新颖
C、数据类型繁多
D、处理速度快
E、价值密度低
12、图领奖获得者、著名数据库专家Jim Gray博士认为，人类自古以来在科学研究上先后经历了四种范式，具体包括：
A、猜想科学
B、实验科学
C、理论科学
D、计算科学
E、数据密集型科学
13、大数据带来思维方式的三个转变是：
A、精确而非全面
B、全样而非抽样
C、效率而非精确
D、相关而非因果
14、大数据的四种主要计算模式包括：
A、批处理计算
B、流计算
C、框计算
D、图计算
E、查询分析计算
15、云计算的典型服务模式包括三种：
A、PaaS
B、IaaS
C、SaaS
D、MaaS
第2讲 大数据处理架构Hadoop
大数据处理架构Hadoop单元测验
1、启动hadoop所有进程的命令是
A、start-dfs.sh
B、start-hadoop.sh
C、start-all.sh
D、start-hdfs.sh
2、以下对Hadoop的说法错误的是
A、Hadoop的核心是HDFS和MapReduce
B、Hadoop是基于Java语言开发的，只支持Java语言编程
C、Hadoop2.0增加了NameNode HA和Wire-compatibility两个重大特性
D、Hadoop MapReduce是针对谷歌MapReduce的开源实现，通常用于大规模数据集的并行计算
3、以下哪个不是hadoop的特性
A、高容错性
B、高可靠性
C、成本高
D、支持多种编程语言
4、以下名词解释不正确的是
A、HDFS：分布式文件系统，是Hadoop项目的两大核心之一，是谷歌GFS的开源实现
B、HBase：提供高可靠性、高性能、分布式的行式数据库，是谷歌BigTable的开源实现
C、Hive：一个基于Hadoop的数据仓库工具，用于对Hadoop文件中的数据集进行数据整理、特殊查询和分析存储
D、Zookeeper：针对谷歌Chubby的一个开源实现，是高效可靠的协同工作系统
5、以下哪些组件是Hadoop的生态系统的组件
A、MapReduce
B、HDFS
C、Oracle
D、HBase
6、以下哪个命令可以用来操作HDFS文件
A、hadoop fs
B、hdfs dfs
C、hadoop dfs
D、hdfs fs
第3讲 分布式文件系统HDFS
分布式文件系统HDFS单元测验
1、HDFS的命名空间不包含
A、目录
B、文件
C、块
D、字节
2、对HDFS通信协议的理解错误的是
A、HDFS通信协议都是构建在IoT协议基础之上的
B、名称节点和数据节点之间则使用数据节点协议进行交互
C、客户端与数据节点的交互是通过RPC（Remote Procedure Call）来实现的
D、客户端通过一个可配置的端口向名称节点主动发起TCP连接，并使用客户端协议与名称节点进行交互
3、采用多副本冗余存储的优势不包含
A、加快数据传输速度
B、节约存储空间
C、容易检查数据错误
D、保证数据可靠性
4、假设已经配置好环境变量，启动Hadoop和关闭Hadoop的命令分别是
A、start-hdfs.sh，stop-hdfs.sh
B、start-dfs.sh，stop-dfs.sh
C、start-dfs.sh，stop-hdfs.sh
D、start-hdfs.sh，stop-dfs.sh
5、分布式文件系统HDFS采用了主从结构模型，由计算机集群中的多个节点构成的，这些节点分为两类，一类存储元数据叫 ，另一类存储具体数据叫
A、名称节点，数据节点
B、数据节点，名称节点
C、名称节点，主节点
D、从节点，主节点
6、下面关于分布式文件系统HDFS的描述正确的是：
A、分布式文件系统HDFS是一种关系型数据库
B、分布式文件系统HDFS是Google Bigtable的一种开源实现
C、分布式文件系统HDFS是谷歌分布式文件系统GFS（Google File System）的一种开源实现
D、分布式文件系统HDFS比较适合存储大量零碎的小文件
7、以下对名称节点理解正确的是
A、名称节点通常用来保存元数据
B、名称节点的数据保存在内存中
C、名称节点作为中心服务器，负责管理文件系统的命名空间及客户端对文件的访问
D、名称节点用来负责具体用户数据的存储
8、以下对数据节点理解正确的是
A、数据节点用来存储具体的文件内容
B、数据节点的数据保存在磁盘中
C、数据节点在名称节点的统一调度下进行数据块的创建、删除和复制等操作
D、数据节点通常只有一个
9、HDFS只设置唯一一个名称节点带来的局限性包括
A、性能的瓶颈
B、命名空间的限制
C、隔离问题
D、集群的可用性
10、以下HDFS相关的shell命令不正确的是
A、hadoop fs -ls <path>：显示<path>指定的文件的详细信息
B、hadoop dfs mkdir <path>：创建<path>指定的文件夹
C、hadoop fs -copyFromLocal <path1> <path2>：将路径<path2>指定的文件或文件夹复制到路径<path1>指定的文件夹中
D、hdfs dfs -rm <path>：删除路径<path>指定的文件
分布式文件系统HDFS单元作业
1、请简述第二名称节点的作用
第4讲 分布式数据库HBase
分布式数据库HBase单元测验
1、HBase是一种 数据库
A、行式数据库
B、列式数据库
C、文档数据库
D、关系数据库
2、下列对HBase数据模型的描述错误的是
A、HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳
B、HBase列族支持动态扩展，可以很轻松地添加一个列族或列
C、HBase中执行更新操作时，会删除数据旧的版本，并生成一个新的版本
D、每个HBase表都由若干行组成，每个行由行键（row key）来标识
3、下列说法正确的是
A、HBase的实现包括的主要功能组件是库函数，一个Master主服务器和一个Region服务器
B、Zookeeper是一个集群管理工具，常用于分布式计算，提供配置维护、域名服务、分布式同步等。
C、如果不启动Hadoop，则HBase完全无法使用
D、如果通过HBase Shell插入表数据，可以插入一行数据或一个单元格数据。
4、对于HBase数据库而言，每个Region的建议最佳大小是
A、100MB-200MB
B、500MB-1000MB
C、1GB-2GB
D、2GB-4GB
5、HBase三层结构的顺序是
A、Zookeeper文件，.MEATA.表，-ROOT-表
B、Zookeeper文件，-ROOT-表，.MEATA.表
C、-ROOT-表，Zookeeper文件，.MEATA.表
D、.MEATA.表，Zookeeper文件，-ROOT-表
6、客户端是通过 级寻址来定位Region
A、一
B、二
C、三
D、四
7、关于HBase Shell命令解释错误的是
A、create：创建表
B、list：显示表的所有数据
C、put：向表、行、列指定的单元格添加数据
D、get：通过表名、行、列、时间戳、时间范围和版本号来获得相应单元格的值
8、下列对HBase的理解正确的是
A、HBase是一个行式分布式数据库，是Hadoop生态系统中的一个组件
B、HBase是针对谷歌BigTable的开源实现
C、HBase多用于存储非结构化和半结构化的松散数据
D、HBase是一种关系型数据库，现成功应用于互联网服务领域
9、HBase和传统关系型数据库的区别在于哪些方面：
A、数据模型
B、数据操作
C、存储模式
D、数据索引
E、数据维护
F、可伸缩性
10、访问HBase表中的行，有哪些方式
A、通过单个行健访问
B、通过一个行健的区间来访问
C、全表扫描
D、通过某列的值区间
分布式数据库HBase单元作业
1、已知HBase数据库中已经存在一个学生表student(id,name,sex,age)，表中的数据如下所示，其中id是行键。请按要求写出下列操作的HBase Shell命令。
第5讲 NoSQL数据库
NoSQL数据库单元测验
1、下列关于NoSQL数据库和关系型数据库的比较，不正确的是
A、NoSQL数据库具有弱一致性，关系型数据库具有强一致性
B、NoSQL数据库很容易实现数据完整性，关系型数据库很难实现数据完整性
C、NoSQL数据库的可扩展性比传统的关系型数据库更好
D、NoSQL数据库缺乏统一的查询语言，而关系型数据库有标准化查询语言
2、以下对各类数据库的理解错误的是
A、HBase数据库是列族数据库，可扩展性强，支持事务一致性
B、文档数据库的数据是松散的，XML和JSON 文档等都可以作为数据存储在文档数据库中
C、键值数据库的键是一个字符串对象，值可以是任意类型的数据，比如整型和字符型等
D、图数据库灵活性高，支持复杂的图算法，可用于构建复杂的关系图谱
3、下列数据库属于文档数据库的是
A、MySQL
B、HBase
C、Redis
D、MongoDB
4、NoSQL数据库的三大理论基石不包括
A、CAP
B、BASE
C、最终一致性
D、ACID
5、关于NoSQL数据库和关系数据库，下列说法正确的是：
A、关系数据库有关系代数理论作为基础，NoSQL数据库没有统一的理论基础
B、NoSQL数据库可以支持超大规模数据存储，具有强大的横向扩展能力
C、大多数NoSQL数据库很难实现数据完整性
D、NoSQL数据库和关系数据库各有优缺点，但随着NoSQL的发展，终将取代关系数据库
6、NoSQL数据库的类型包括
A、键值数据库
B、列族数据库
C、文档数据库
D、图数据库
7、CAP是指
A、一致性
B、可用性
C、持久性
D、分区容忍性
8、NoSQL数据库的BASE特性是指
A、基本可用
B、软状态
C、最终一致性
D、持续性
9、目前，NoSQL的含义是“Not only SQL”，而不是“No SQL”。
10、一个数据库事务具有ACID是指：原子性，一致性，持久性，隔离性。
第7讲 MapReduce
MapReduce单元测验
1、下列说法错误的是
A、Hadoop框架是用Java实现的，MapReduce应用程序则一定要用Java来写
B、MapReduce框架采用了Master/Slave架构，包括一个Master和若干个Slave
C、Map函数将输入的元素转换成<key,value>形式的键值对
D、不同的Map任务之间不能互相通信
2、在使用MapReduce程序WordCount进行词频统计时，对于文本行“hello hadoop hello world”，经过WordCount程序的Map函数处理后直接输出的中间结果，应该是下面哪种形式：
A、<"hello",1,1>、<"hadoop",1>和<"world",1>
B、<"hello",2>、<"hadoop",1>和<"world",1>
C、<"hello",<1,1>>、<"hadoop",1>和<"world",1>
D、<"hello",1>、<"hello",1>、<"hadoop",1>和<"world",1>
3、对于文本行“hello hadoop hello world”，经过WordCount的Reduce函数处理后的结果是
A、<"hello",1,1><"hadoop",1><"world",1>
B、<"hello",2><"hadoop",1><"world",1>
C、<"hello",<1,1>><"hadoop",1><"world",1>
D、<"hello",1><"hello",1><"hadoop",1><"world",1>
4、下列关于传统并行计算框架（比如MPI）和MapReduce并行计算框架比较正确的是
A、前者是共享式(共享内存/共享存储)，容错性差，后者是非共享式的，容错性好
B、前者所需硬件价格贵，可扩展性差，后者硬件便宜，扩展性好
C、前者相比后者学习起来更难
D、前者适用于实时、细粒度计算、计算密集型，后者适用于批处理、非实时、数据密集型
5、MapReduce体系结构主要由哪几个部分组成
A、Client
B、JobTracker
C、TaskTracker
D、Task
6、MapReduce设计的一个理念就是“计算向数据靠拢”，而不是“数据向计算靠拢”，因为，移动数据需要大量的网络传输开销。
7、两个键值对<"a",1>和<"a",1>，如果对其进行归并(merge)，会得到<"a",2>，如果对其进行合并(combine)，会得到<"a",<1,1>>
8、MapReduce采用 策略，一个存储在分布式文件系统中的大规模数据集，会被切分成许多独立的分片，这些分片可以被多个Map任务并行处理。
9、所谓 过程，是指对Map输出结果进行分区、排序、合并等处理，并交给Reduce的过程。
第10讲 Spark
Spark单元测验
1、Spark SQL目前暂时不支持下列哪种语言
A、Scala
B、Java
C、Python
D、Matlab
2、RDD操作分为转换（Transformation）和动作（Action）两种类型，下列属于动作（Action）类型的操作的是
A、map
B、filter
C、groupBy
D、count
3、下列说法错误的是
A、Spark支持三种类型的部署方式：Standalone，Spark on Mesos，Spark on YARN
B、在选择Spark Streaming和Storm时，对实时性要求高（比如要求毫秒级响应）的企业更倾向于选择流计算框架Storm
C、RDD提供的转换接口既适用filter等粗粒度的转换，也适合某一数据项的细粒度转换
D、RDD采用惰性调用，遇到“转换(Transformation)”类型的操作时，只会记录RDD生成的轨迹，只有遇到“动作(Action)”类型的操作时才会触发真正的计算
4、下列关于常见的动作（Action）和转换（Transformation）操作的API解释错误的是
A、count()：返回数据集中的元素个数
B、filter(func)：筛选出满足函数func的元素，并返回一个新的数据集
C、take(n)：返回数据集中的第n个元素
D、map(func)：将每个元素传递到函数func中，并将结果返回为一个新的数据集
5、下列大数据类型与其对应的软件框架不适应的是
A、复杂的批量数据处理：MapReduce
B、基于历史数据的交互式查询：Impala
C、基于实时数据流的数据处理：Storm
D、图结构数据的计算：Hive
6、Apache软件基金会最重要的三大分布式计算系统开源项目包括
A、Hadoop
B、Spark
C、Storm
D、MapReduce
7、Spark的主要特点包括
A、运行速度快
B、容易使用
C、通用性好
D、运行模式多样
8、下列关于Scala的说法正确的是
A、Scala是一种多范式编程语言
B、Scala运行于Java平台，兼容现有的Java程序
C、Scala具备强大的并发性，支持函数式编程
D、Scala是Spark的主要编程语言，但Spark还支持Java、Python、R作为编程语言
9、Spark的运行架构包括
A、集群资源管理器 Cluster Manager
B、运行作业任务的工作节点 Worker Node
C、每个应用的任务控制节点 Driver
D、每个工作节点上负责具体任务的执行进程 Executor
10、RDD，中文全称是 ，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型。
第13讲 大数据在不同领域的应用
大数据在不同领域的应用单元测验
1、下列说法错误的是
A、UserCF算法推荐的是那些和目标用户有共同兴趣爱好的其他用户所喜欢的物品
B、ItemCF算法推荐的是那些和目标用户之前喜欢的物品类似的其他物品
C、UserCF算法的推荐更偏向社会化，而ItemCF算法的推荐更偏向于个性化
D、基于用户的协同过滤算法（简称UserCF算法）是目前业界应用最多的算法
2、推荐方法包括哪些类型
A、专家推荐
B、基于统计的推荐
C、基于内容的推荐
D、协同过滤推荐
E、混合推荐
3、协同过滤可分为基于用户的协同过滤(UserCF)和基于物品的协同过滤(ItemCF)。
4、一个完整的推荐系统通常包括3个组成模块：用户建模模块、推荐对象建模模块、 模块
5、是自动联系用户和物品的一种工具，和搜索引擎相比，其通过研究用户的兴趣偏好，进行个性化计算。
学习通大数据计算与可视化 2020学年春（宋顶利）
课程介绍
学习通大数据计算与可视化是一门涵盖大数据基础、数据可视化、数据挖掘、机器学习、深度学习等多方面内容的课程。本课程由著名大数据专家宋顶利教授讲授，旨在帮助学生掌握大数据计算与可视化的核心知识，培养学生的数据分析和解决问题的能力。
课程内容
本课程主要包括以下几个方面的内容：
- 大数据基础：介绍大数据的概念、特点、挑战和应用场景。
- 数据可视化：介绍数据可视化的基本概念、原则和常用技术，以及如何使用Python和R进行数据可视化。
- 数据挖掘：介绍数据挖掘的基本概念和技术，包括聚类、分类、关联规则挖掘等。
- 机器学习：介绍机器学习的基本概念和技术，包括监督学习、无监督学习和半监督学习等。
- 深度学习：介绍深度学习的基本概念和技术，包括神经网络、卷积神经网络、循环神经网络等，并介绍如何使用TensorFlow和Keras进行深度学习。
教学方法
本课程采用在线教学的形式进行，学生可以在学习通平台上进行学习。课程内容包括教学视频、课件、实验和作业等。学生可以根据自己的实际情况，自由选择学习的进度和内容。在学习过程中，学生可以通过在线讨论区进行互动交流，向教师提出问题和反馈意见。
评价方式
本课程的评价方式包括实验和作业两个方面。学生需要按时完成实验和作业，并在规定时间内提交。实验和作业的内容涵盖上述课程的各个方面，旨在帮助学生掌握所学知识并加深理解。
结语
学习通大数据计算与可视化是一门非常实用和有趣的课程，可以帮助学生掌握大数据分析和可视化的核心知识和技能，为未来从事相关领域的工作打下坚实的基础。同时，本课程也是一门有挑战性的课程，需要学生具备良好的自学能力和编程基础，但只要学生认真学习，一定能够取得好成绩。
中国大学大数据计算与可视化2020学年春（宋顶利）
大数据计算与可视化是当下非常热门的领域，它涉及到数据挖掘、机器学习、深度学习、数据可视化等多个方面。在中国的高等教育中，很多大学都开设了相关课程，其中就包括了中国大学的大数据计算与可视化2020学年春季课程。
课程背景
在互联网和移动互联网时代，数据量呈现爆炸式增长，如何高效、准确地处理这些数据已经成为了当下各个领域的热议话题。而大数据计算与可视化正是针对这一问题而提出的解决方案。
中国大学大数据计算与可视化2020学年春季课程是由宋顶利教授主讲的一门课程，通过该课程的学习，学生们可以了解到大数据计算与可视化的基本概念、相关算法、工具和技术等，同时也能够了解到当下大数据计算与可视化的发展趋势和应用领域。
课程内容
中国大学大数据计算与可视化2020学年春季课程主要分为以下几个模块：
1. 大数据计算基础
本模块主要讲解了大数据的概念、特点和应用场景，同时也介绍了大数据计算的基本概念、算法和技术。学生们通过本模块的学习，可以对大数据计算有一个全面的了解。
2. 数据挖掘和机器学习
本模块主要讲解了数据挖掘和机器学习的基本概念、算法和技术，同时也介绍了相关工具和技巧。学生们通过本模块的学习，可以对数据挖掘和机器学习有一个全面的了解，并且能够应用所学知识进行实际的数据分析和预测。
3. 深度学习
本模块主要讲解了深度学习的基本概念、算法和应用案例，同时也介绍了相关工具和技巧。学生们通过本模块的学习，能够对深度学习有一个全面的了解，并且能够应用所学知识进行实际的深度学习应用。
4. 数据可视化
本模块主要讲解了数据可视化的基本概念、原理和技术，同时也介绍了相关工具和技巧。学生们通过本模块的学习，能够对数据可视化有一个全面的了解，并且能够应用所学知识进行实际的数据可视化应用。
课程特点
中国大学大数据计算与可视化2020学年春季课程的特点主要有以下几点：
1. 紧贴时代需求
大数据计算与可视化是当下非常热门的领域，该课程紧贴时代需求，教授的知识点都是最新的、最前沿的。
2. 专业性强
宋顶利教授是该领域的专家，他的教学风格幽默风趣、深入浅出，使学生们能够更好地理解和掌握相关知识。
3. 实践性强
该课程强调实践，通过实际操作，学生们能够更深入地了解和掌握相关知识。
总结
中国大学大数据计算与可视化2020学年春季课程从大数据计算的基础、数据挖掘和机器学习、深度学习、数据可视化等多个方面进行了讲解，使学生们能够全面了解和掌握该领域的知识和技术。同时，该课程教学风格幽默风趣，实践性强，能够帮助学生们更好地应对当下的数据处理需求。
