大数据开发学习记录帖 Day2

【事宜】今天跟着视频搭建了hadoop完全分布式集群,配了历史服务器,日志聚集和时间同步。弄清楚每一步要做什么,怎么做,为什么要这样做?核心配置文件的位置在哪里?要如何修改?配置完文件切记要分发到每台机器上,shell语法还得多练习,基本的脚本要会写。

【笔记】
主机名文件位置:/etc/hostname
IP地址文件位置:/etc/sysconfig/network-scripts/ifcfg-ens33
HADOOP的核心配置文件:core-site.xml, hdfs-site.xml, yarn-site.xml, mapred.xml
分发文件命令:scp -r, rsync -av
首次搭建集群切记要格式化namenode,后续如果要再次格式化,一定要删掉所有机器的data和logs目录!!!

【力扣】leetcode总题数:171,依然只刷了每日一题。

【感想】今天几乎整个早上都在看视频,搭集群。虽然搭成功了,但是还不熟练。不看文档的话估计还是搭不出来,还是得多看,多敲,多记,不要畏难。

天气转凉,添衣保暖~
全部评论

相关推荐

“无名小卒,还是名扬天下?”我知道很多人都不觉得我能走到今天这一步,当然,也包括我自己。在我的人生里,有两部作品刻下了最深的烙印:《斗破苍穹》与《龙族》。它们总被人拿来对照:一边是萧炎的桀骜轻狂,一边是路明非的怯懦衰颓。有人说,天蚕土豆没见过魂天帝,但江南见过真凯撒。我时常觉得,自己就是那个衰小孩路明非。可路明非可以开挂,我不可以;我也无数次幻想过,能拥有萧炎那般年少轻狂的人生,可我没有他与生俱来的逆天天赋。我只是个平庸的普通人,一个看过《斗破苍穹》却开不了挂的路明非,只能一步一步往上爬。从我下定决心找实习的那一刻起,我就给自己定下了目标:“我一定要为字节跳动卖命.jpg”。萧炎有他的三年之约,我有我的两年半之约(其实是一年半)。2024.11.20,科大讯飞的第一封实习offer落进邮箱,我迈出了这场奔赴的第一步。2025.8.18,放弃百度转正的安稳机会,转身走进前路未卜的不确定里。我很感谢我在百度的mentor,是她从茫茫人海选中了我,给了我大厂实习的机会。即便有段时间我状态差、产出不理想,她依旧愿意认可我、希望我留下转正。2025.11.14,我选择走进字节跳动,以实习生的身份重新出发。2026.3.25 - 3.31,一周速通上海飞书,幸遇赏识我的伯乐,斩获Special Offer。被告知面试通过的那一刻,我的内心无比平静,就像这个offer本就该属于我。不是侥幸,是应得的。这一路,有人看轻过我的出身,不相信我能走到这里;也有人在我看不见前路的时候,替我举过灯。没有他们的鼓励与支撑,就没有今天站在这里的我。我看到了自强不息的激荡,那是一个双非的伟大乐章!我是雨夜迈巴赫,我要开启属于我的新篇章了。
在看牛客的本杰明很勇...:真心祝贺l总 我永远的偶像 我滴神
春招至今,你收到几个面试...
点赞 评论 收藏
分享
评论
1
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务