hadoop脑裂问题

如题,起因是今年秋招LZ曾面过北京appannie的大数据开发岗,技术面的时候面试官有问我一个很奇怪的问题

前面我们讨论了下关于集群如何保证高可用性,我说做成HA的,两个master,一个挂了,另一个接替
然后他问我,“两个master是同时运行的吗?”,我说“不是,一个action,一个是standby,二者的元数据是相同的。”
他这时候就问我,应该如何优化这种模式,因为你有2个主节点,一个运行,一个不运行,势必会有资源浪费

我当时就一愣,因为从没思考过这方面的问题,也没接触过类似的,我想了想,回答不知道
然后面试官就回答我说 “让两个都一起运行啊,这么简单都想不到吗?”

我就很懵,立刻我就反问道:“那你是如何解决脑裂问题的?两个master一起运行那不得打架?”
面试官就一脸高深莫测的说:“你下去自己看看吧,我就不跟你说了。”

直到现在,我TMD才明白那是个什么玩意,他的问法完全就是错的,只要配成HA模式,势必会有一个action状态的master和至少一个standby状态的master(3.0支持多个standby状态的master)
所以完全不可能两个都运行,这TMD是从底层原理上就限制了的

他想问的,应该是“Hadoop 的 NN 所使用的资源受所在服务的物理限制,不能满足实际生产需求时,应该怎么做?

这问题就很明了了,hdfs联邦制就是去解决这个问题了,即多个ha 联合组成一套集群环境,对外提供一致接口【ViewFs】(相当于扩容)
即cluserID 相等,但是相同的datanode服务于不同的namenode。
原理是通过namenodeID和blockPool-id来判别文件存放的位置。(相当于不同的namenode就是不同的入口,通过这些入口都可以访问都同一套东西,但因为有了多个入口,所以对于单个入口的压力变小了)

但那怕是这种的,也是一定会有至少一个standby状态的master,不可能存在一个没有standby状态的master,那就不叫HA了,坑啊
#Hadoop#
全部评论

相关推荐

1 2 评论
分享
牛客网
牛客企业服务