首页 > 试题广场 >

关于 Hadoop 技术描述错误的是()

[单选题]
关于 Hadoop 技术描述错误的是()
  • HDFS 是一个分布式文件存储系统
  • HDFS 不适合低延时数据访问的场景
  • HDFS 适合存储大量的小文件
  • HDFS 存储空间由数据节点数决定
联盟链是什么???
发表于 2019-08-06 15:53:07 回复(3)
<p>C</p>
发表于 2020-07-01 00:05:06 回复(0)
HDFS不适合大量小文件的存储,因namenode将文件系统的元数据存放在内存中,因此存储的文件数目受限于 namenode的内存大小。HDFS中每个文件、目录、数据块占用150Bytes。如果存放的文件数目过多的话会占用很大的内存。
发表于 2019-06-17 19:41:37 回复(0)
因为hdfs里面数据是分块存储的,一个块可能是64m,128m,,一个小文件就占一个块的存储空间,比较浪费资源
发表于 2019-09-17 10:42:43 回复(2)
A选项不用说,这个是定义.
B选项说的联盟链应该是指HDFS中的联盟,
Hdfs federation实际是把多个hdfs集群统一到一个命名空间下。Hdfs federation 作用扩大NN容量,共享DN数据,且方便客户端访问。
C选项是错误的,HDFS小文件存储问题一直是一个令人头疼的问题,因为HDFS是基于大数据存储的,但是它还需要存储元数据信息,无论数据量多大,元数据量是差不多的,所以最好是存储大文件,而不是海量小文件,可以使用归约和压缩的方式进行解决
D选项:存储主要是由于DataNode决定,所以数据节点越多,存储能力越强,做错的同学可能DataNode看久了,看到数据节点反应不过来?
发表于 2020-10-19 19:15:54 回复(0)
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。
发表于 2019-08-17 14:38:48 回复(0)
运行在HDFS之上的程序有很大量的数据集。典型的HDFS文件大小是GB到TB的级别。所以,HDFS被调整成支持大文件。它应该提供很高的聚合数据带宽,一个集群中支持数百个节点,一个集群中还应该支持千万级别的文件。
发表于 2019-07-22 22:25:02 回复(1)
不适合大量小文件,因为文件源数据是存在namenode内存中的,如果小文件多,元数据多,占用nn内存大
发表于 2020-04-16 23:36:38 回复(0)

联盟链这个选项有问题吧,hadoop只能算是分布式集群框架,可以用来支持搭建联盟链。但是hadoop怎么也算不上是联盟链吧

发表于 2019-10-15 20:10:11 回复(0)
产品为什么要学这救命
发表于 2024-02-06 14:14:52 回复(0)
(看了评论,当前的B选项内容跟原来的不同了) HDFS不适合低延迟的数据访问: 比如毫秒级,HDFS 牺牲了低延迟是做不到的,因此HDFS 不适合低延迟的处理场景,适合需要高吞吐率的场景。
发表于 2022-08-27 01:22:42 回复(0)
显然是C,在hadoop中,每个文件单独切片,而每个切片又对应一个MapTask,小文件多意味着需要多个MapTask,而一个MapTask就需要一定的开销,太多小文件可能会让系统崩溃
发表于 2022-01-04 08:56:26 回复(0)
【正确答案】C
【解析】
本题考查候选人对Hadoop概念的了解

HDFS中文件是以单个模块的形式进行存储,因此不适合进行大量的小型文件,会造成空间不足的情况,故选C
编辑于 2021-12-24 17:39:21 回复(0)
HDFS中数据是以数据块的形式存储的,一个数据块是128MB,每个小文件都会占用一个128M的数据块,所以小文件是很占内存的,占用磁盘空间,有百害而无一利,因此HDFS适合管理存储大文件,而不是小文件。
发表于 2021-11-10 11:44:54 回复(0)
一个文件块要占NameNode150字节的内存,要是1亿个呢?
128G只能存储9亿的文件块。
发表于 2020-10-23 13:18:00 回复(0)
&

不知道b是啥 好难


发表于 2020-04-07 21:50:29 回复(0)