大数据开发学习记录帖 Day2
【事宜】今天跟着视频搭建了hadoop完全分布式集群,配了历史服务器,日志聚集和时间同步。弄清楚每一步要做什么,怎么做,为什么要这样做?核心配置文件的位置在哪里?要如何修改?配置完文件切记要分发到每台机器上,shell语法还得多练习,基本的脚本要会写。
【笔记】
主机名文件位置:/etc/hostname
IP地址文件位置:/etc/sysconfig/network-scripts/ifcfg-ens33
HADOOP的核心配置文件:core-site.xml, hdfs-site.xml, yarn-site.xml, mapred.xml
分发文件命令:scp -r, rsync -av
首次搭建集群切记要格式化namenode,后续如果要再次格式化,一定要删掉所有机器的data和logs目录!!!
【力扣】leetcode总题数:171,依然只刷了每日一题。
【感想】今天几乎整个早上都在看视频,搭集群。虽然搭成功了,但是还不熟练。不看文档的话估计还是搭不出来,还是得多看,多敲,多记,不要畏难。
天气转凉,添衣保暖~
【事宜】今天跟着视频搭建了hadoop完全分布式集群,配了历史服务器,日志聚集和时间同步。弄清楚每一步要做什么,怎么做,为什么要这样做?核心配置文件的位置在哪里?要如何修改?配置完文件切记要分发到每台机器上,shell语法还得多练习,基本的脚本要会写。
【笔记】
主机名文件位置:/etc/hostname
IP地址文件位置:/etc/sysconfig/network-scripts/ifcfg-ens33
HADOOP的核心配置文件:core-site.xml, hdfs-site.xml, yarn-site.xml, mapred.xml
分发文件命令:scp -r, rsync -av
首次搭建集群切记要格式化namenode,后续如果要再次格式化,一定要删掉所有机器的data和logs目录!!!
【力扣】leetcode总题数:171,依然只刷了每日一题。
【感想】今天几乎整个早上都在看视频,搭集群。虽然搭成功了,但是还不熟练。不看文档的话估计还是搭不出来,还是得多看,多敲,多记,不要畏难。
天气转凉,添衣保暖~
全部评论
相关推荐
360集团公司福利 409人发布
查看11道真题和解析