moocHadoop大数据平台搭建与使用课后答案(mooc2023课后作业答案)

点击查看答案

2.3【课前摸底】

1、大数【单选题】大数据具有的据平建使四个典型特征是
A、大量、台搭多样、用课业答低速和价值
B、后答后作大量、案m案多样、大数高速和价值
C、据平建使小量、台搭多样、用课业答高速和价值
D、后答后作大量、案m案单一、大数高速和价值

2、据平建使【单选题】以下数据单位转换正确的台搭是
A、1TB=1024GB
B、1GB=1024TB
C、1PB=1024GB
D、1GB=1024PB

3、【单选题】以下有关大数据的描述错误的是
A、大数据指的是巨量数据
B、大数据具有价值密度低的特征
C、大数据的战略意义仅在于掌握庞大的数据
D、大数据产业的盈利关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”

4、【单选题】以下哪一项不属于研究大数据的意义
A、如何利用大规模数据，发掘其潜在价值，是赢得核心竞争力的关键
B、研究大数据最重要的意义是预测
C、大数据的潜在价值和增在速度正在改变着人类的工作、生活和思维方式
D、目前各个国家的大数据处理技术已相当成熟

5、【单选题】以下哪一个场景没有用到大数据技术
A、花旗银行利用IBM沃森电脑为财富管理客户推荐产品
B、蛋糕店根据顾客历史消费记录及其他相关因素，生产销售产品
C、通信公司根据用户历史通话行为识别是否为骚扰电话
D、超市导购员给消费者推销商品

3.3【前课测试】

1、【单选题】Hadoop的创始人是
A、Martin Fowler
B、Doug cutting
C、Martin Elliiot Zuckerberg
D、Kent Beck

2、【单选题】目前Apache Hadoop发布的版本有
A、Hadoop 1.x版本
B、Hadoop 2.x版本
C、Hadoop 3.0.0版本
D、以上都是

3、【单选题】Hadoop生态系统中，用于分布式计算中数据存储的是
A、HDFS
B、MapReduce
C、YARN
D、Sqoop

4、【单选题】Hadoop2.x版本与Hadoop1.x版本相比，新增了哪个模块
A、HDFS
B、MapReduce
C、YARN
D、NameNode

5、【单选题】HDFS中具体存放数据的是
A、NameNode
B、Secondary NameNode
C、DataNode
D、JobTracker

4.3【前课测试】

1、【单选题】当输入ifconfig命令后，只显示了lo没有显示eth0，如下图所示，可以输入以下哪个命令启动eth0?
A、ifup eth0
B、upif eth0
C、start eth0
D、eth0 start

2、【单选题】在安装JDK时，将JDK的安装包上传到/aa/bb目录下，然后将其解压缩到/aa/cc目录下，并重命名为DD，请问这里的JDK安装路径是什么？
A、/aa/bb/DD
B、/aa/cc/JDK
C、/aa/bb/JDK
D、/aa/cc/DD

3、【单选题】对文件进行重命名命令是哪一个？
A、cd
B、vi
C、mv
D、rm

4、【单选题】配置JDK环境变量时，需要对哪个文件进行修改？
A、profile
B、hdfs-site.xml
C、hadoop-env.sh
D、core-site.xml

5、【单选题】在Hadoop安装目录下，若使用start-dfs.sh一键启动命令无法将全部进程启动，可以单独启动每个进程，下面选项中哪个是单独启动namenode进程命令？
A、start hadoop-daemon.sh namenode
B、start namenode hadoop-daemon.sh
C、hadoop-daemon.sh namenode start
D、hadoop-daemon.sh start namenode

5.3【前课测试】

1、【单选题】Hadoop集群的以下哪种模式使用的是本地文件系统？
A、独立模式或单机模式
B、伪分布式模式
C、完全分布式模式
D、以上都不是

2、【单选题】以下对Hadoop安装目录描述有误的是
A、bin:存放操作Hadoop相关服务（HDFS、YARN）的脚本
B、etc:Hadoop各个模块编译后的jar包所在的目录
C、lib:该目录包含了Hadoop对外提供的编程动态库和静态库，与include目录中的头文件结合使用
D、sbin:该目录存放了Hadoop管理脚本， 主要包含HDFS和YARN中各类服务的启动/关闭脚本

3、【单选题】以下对Hadoop主要配置文件描述正确的是
A、core-site.xml:Hadoop核心全局配置文件，可在其他配置文件中引用该文件
B、hdfs-site.xml:HDFS配置文件，继承core-site.xml配置文件
C、mapred-site.xml:MapReduce配置文件，继承core-site.xml配置文件
D、以上都正确

4、【单选题】在以下哪个配置文件中可以修改数据块的副本数量
A、hdfs-site.xml
B、slaves
C、core-site.xml
D、hadoop-env.sh

5、【单选题】启动Hadoop集群，其实是要启动内部的哪两个集群框架
A、HDFS集群和YARN集群框架
B、HDFS集群和MapReduce集群框架
C、YARN集群和MapReduce集群框架
D、Hadoop集群和HDFS集群框架

6.3【前课测试】

1、【单选题】将Windows中的文件上传到HDFS目录下，共涉及到几个文件系统
A、1
B、2
C、3
D、4

2、【单选题】下面哪个命令可以用于创建目录/user/test
A、hdfs dfs -mkdir /user/test
B、hdfs dfs -get /user/test
C、hdfs dfs -cat /user/test
D、hdfs dfs -rmdir /user/test

3、【单选题】上传一个大小为216MB的文件a.txt到以Hadoop2.6搭建的集群上，这个文件会占用多少个HDFS文件块。
A、1
B、2
C、3
D、4

4、【单选题】下列哪个命令可以下载HDFS目录/user/root/live.txt
A、hdfs dfs -get /user/root/live.txt
B、hdfs dfs -download /user/root/live.txt
C、hdfs dfs -put /user/root/live.txt
D、hdfs dfs -move /user/root/live.txt

5、【单选题】hdfs dfs -moveFromLocal a.txt /user/test/b.txt 这行命令的作用是
A、将本地文件a.txt移动到HDFS的/user/test/下，并更名为b.txt；执行命令后本地文件将被删除
B、将本地文件a.txt移动到HDFS的/user/test/下，并更名为b.txt；执行命令后本地文件不会被删除
C、将HDFS下的a.txt文件移动到本地文件的/user/test/下，并更名为b.txt；执行命令后HDFS文件将被删除
D、将HDFS下的a.txt文件移动到本地文件的/user/test/下，并更名为b.txt；执行命令后HDFS文件不会被删除

7.3【前课测试】

1、【单选题】Zookeeper启动时会最多监听几个端口（）
A、1
B、2
C、3
D、4

2、【单选题】下列哪些操作可以设置一个监听器Watcher（）
A、getData
B、getChildren
C、exists
D、setData

3、【单选题】在装有ZooKeeper的机器的终端执行以下哪条命令，可以看当前节点的ZooKeeper是什么角色？
A、zookeeper-server status
B、zookeeper-server start
C、zookeeper-server stop
D、zookeeper-server standby

4、【单选题】ZooKeeper默认只有( )和( )两种角色，没有角色( )。
A、Leader,Observer,Follower
B、Observer,Follower,Leader
C、Observer,Leader,Follower
D、Leader,Follower, Observer

5、【单选题】下列关于zookeeper描述正确的是：（）
A、无论客户端连接的是哪个Zookeeper服务器，其看到的服务端数据模型都是一致的
B、从同一个客户端发起的事务请求，最终将会严格按照其发起顺序被应用到zookeeper中
C、在一个5个节点组成的Zookeeper集群中，如果同时有3台机器宕机，服务不受影响
D、如果客户端连接到Zookeeper集群中的那台机器突然宕机，客户端会自动切换连接到集群其他机器

8.3【前课测试】

1、【单选题】Hive是建立在（）之上的一个数据仓库。
A、HDFS
B、MapReduce
C、Hadoop
D、HBase

2、【单选题】Hive查询语言和SQL的一个不同之处在于（）操作。
A、Group by
B、Join
C、Partition
D、Union

3、【单选题】Hive最重视的性能是可测量性、延展性、（）和对于输入格式的宽松匹配性
A、较低恢复性
B、容错性
C、快速查询
D、可处理大量数据

4、【单选题】以下选项中，哪种类型间的转换是被Hive查询语言所支持的（）。
A、Double—Number
B、BigInt—Double
C、Int—BigInt
D、String—Double

5、【单选题】按粒度大小的顺序，Hive数据被分为：数据库、数据表、（）、桶。
A、元组
B、栏
C、分区
D、行

9.3【前课测试】

1、【单选题】在${ FLUME_HOME}/bin 下运行 ./flume-ng agent -n a1 -c conf -f ../conf/spooldir.conf -Dflume.root.logger=INFO,console 其中：-n a1是（ ）
A、指定配置目录
B、指定agent的名字
C、执行agent具体的的配置文件
D、配置文件

2、【单选题】有一采集方案部分配置如下： a1.sources.r1.type = netcat a1.sources.r1.bind = hadoop001 a1.sources.r1.port = 44444 a1.channels.c1.type = memory 请问source监控的数据类型为（ ）
A、http
B、memory
C、spooldir
D、netcat

3、【单选题】Flume的三个核心组件是（ ）？
A、NameNode、DataNode、Secondary NameNode
B、Source、Channel、Sink
C、Leader、Flower、Link
D、import、outport、export

4、【单选题】以下Flume的哪个组件用于源数据的采集？
A、Source
B、Leader
C、NameNode
D、import

5、【单选题】在多级Agent传输收集数据时，需要先从哪一级的Flume机器上启动Flume？
A、第一级
B、第二级
C、中间一级
D、最后一级

中国大学Hadoop大数据平台搭建与使用

随着大数据时代的到来，越来越多的企业和机构开始关注大数据的处理和应用。在教育行业中，大数据平台也逐渐成为了学校建设信息化的重要组成部分。本文将介绍中国大学Hadoop大数据平台的搭建和使用。

一、Hadoop大数据平台介绍

Hadoop是由Apache基金会开发的一个开源的分布式计算平台，用于存储和处理大规模数据集。Hadoop平台的核心组件包括Hadoop Distributed File System（HDFS）和MapReduce。HDFS是一个分布式文件系统，可以将大文件分成多个块存储在不同的计算机节点上，提高了数据的可靠性和可用性。MapReduce是一种分布式计算模型，可以将大规模的数据集映射到一组计算节点上进行处理，并将处理结果汇总成最终的输出。

二、中国大学Hadoop大数据平台搭建

1. 硬件环境

• 服务器：4台，CPU为Intel Xeon E5-2650，内存为64GB，硬盘为4TB。
• 交换机：1台，支持10Gbps带宽。

2. 软件环境

• 操作系统：CentOS 7.2。
• Hadoop版本：Hadoop 2.7.3。

3. Hadoop平台搭建步骤

以下是Hadoop平台的搭建步骤：

1. 安装Java环境。在每台服务器上安装Java环境，并配置环境变量。
2. 安装Hadoop。下载Hadoop安装包，解压到指定目录，修改配置文件，包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。
3. 启动Hadoop。在主节点上启动NameNode和ResourceManager，启动SecondaryNameNode和DataNode，启动NodeManager。
4. 测试Hadoop。运行hadoop fs -ls /命令，查看HDFS文件系统。

三、Hadoop大数据平台使用

1. HDFS文件系统使用

HDFS文件系统可以通过命令行hadoop fs命令进行管理。以下是一些常用的hadoop fs命令：

• hadoop fs -ls /：查看HDFS根目录下的文件。
• hadoop fs -put localfile /：将本地文件上传至HDFS。
• hadoop fs -get /path/to/hdfsfile localfile：将HDFS文件下载到本地。
• hadoop fs -rm /path/to/hdfsfile：删除HDFS文件。

2. MapReduce计算模型使用

MapReduce计算模型可以通过编写Java程序来进行开发和使用。以下是一个简单的MapReduce程序：

import java.io.IOException;import org.apache.hadoop.fs.Path;import org.apache.hadoop.conf.*;import org.apache.hadoop.io.*;import org.apache.hadoop.mapreduce.*;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class WordCount {   public static class Map extends Mapper<Object, Text, Text, IntWritable>{     private final static IntWritable one = new IntWritable(1);    private Text word = new Text();    public void map(Object key, Text value, Context context) throws IOException, InterruptedException {       String line = value.toString();      StringTokenizer tokenizer = new StringTokenizer(line);      while (tokenizer.hasMoreTokens()) {         word.set(tokenizer.nextToken());        context.write(word, one);      }    }  }  public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {     public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {       int sum = 0;      for (IntWritable val : values) {         sum += val.get();      }      context.write(key, new IntWritable(sum));    }  }  public static void main(String[] args) throws Exception {     Configuration conf = new Configuration();    Job job = new Job(conf, \wordcount\    job.setJarByClass(WordCount.class);    job.setOutputKeyClass(Text.class);    job.setOutputValueClass(IntWritable.class);    job.setMapperClass(Map.class);    job.setReducerClass(Reduce.class);    job.setInputFormatClass(TextInputFormat.class);    job.setOutputFormatClass(TextOutputFormat.class);    FileInputFormat.addInputPath(job, new Path(args[0]));    FileOutputFormat.setOutputPath(job, new Path(args[1]));    job.waitForCompletion(true);  }}

该程序通过MapReduce计算模型，实现了对输入文件中每个单词的计数。该程序可以通过以下命令进行编译和执行：

hadoop com.sun.tools.javac.Main WordCount.javajar cf wc.jar WordCount*.classhadoop jar wc.jar WordCount /input /output

运行结果将输出到HDFS的/output目录中。

四、总结

本文介绍了中国大学Hadoop大数据平台的搭建和使用。通过Hadoop平台可以实现对大规模数据的存储和处理，为学校的信息化建设提供了重要的支持。