数据一致性 一般来说，hadoop的用户希望数据能够保持一致性(Integrity)，但是由于hadoop的高并发性，数据被破坏的风险很高。一个用来检验数据是否被破坏的经典方法是计算校验和(checksum)，常见的校验码是CRC-32，不过HDFS用了它的一个高效变本CRC-32C。 在HDFS中，每当有数据被写入时都会计算校验和，并且在它们被读取时验证校验和。每dfs.bytes-perchecksum字节(默认值是512)的数据被计算一个校验和。 存入数据时：一个datanode在从client或者其他datanode收到数据时都会计算校验和，并且最后一个datanod...

Yarn简介及Capacity & Fair Scheduler Yarn简介 Yarn(Yet Another Resource Negotiator)是hadoop2中引入的一个集群资源管理系统。  在YARN中，有两种核心服务：一个是ResourceManager，一个是NodeManager。前者每个集群有一个，用来管理集群上资源的使用；后者则是每个节点拥有一个，用来负责启动和监控Container。其中Container是一个拥有一定资源(cpu, mem, network等)的特殊进程。  在mapreduce1中application的调度和监控...

Chapter 2: MapReduce mapreduce思想 MR的思想非常简单 Map将按照行读入输入文件，然后将它们parse为若干个< Key,Value>对 将map生成的KV对打乱并按照Key 排序 Reduce将所有key相同的KV对聚集在一起，组成一个< K, List< Value>>对列，并获得List< Value>的Iterator，然后再进一步处理，最后输出新的KV对到文件中。 mapreduce程序的实现 MapReduce一般用Java实现，故我们需要...

offer到了之后写一封唯美的拒信，过几天有奇效

360 （1） string s = "a"+"b"+"c"；创建几个对象 final StringBuffer可变么 string与StringBuffer 堆与栈的区别 设计模式 多线程，线程池 项目 spring、Struts2 数据库去重操作 （2） 项目，实习经历，实习收获 对后台的理解 项目的一些技术问题 Hadoop优缺点 （3）hr 喜欢的互联网大咖 不给offer怎么办 为什么不在腾讯 自己的缺点 实习的收获 是否有自己独立项目开发或者带团队的经验 offer  ------东软基础事业部------------...

突如其来的阿里面试，25号刚进行的笔试，26号就进行了面试。。。。希望经验对大家有些帮助，楼主这种渣渣是注定与阿里无缘了。。。 一面：典型的基础面，一个小时左右的时间，感觉把java相关的东西都问了遍 上来本想自我介绍一下，结果不让自我介绍，说看过简历不要说了。。。 （1）实习经历介绍，实习中的项目的介绍，几乎每说一句都会被打断，会对其实现和原理进行提问（p.s：感觉不要乱说，说多了自己承受不住） （2）JVM内存模型，JVM加载原理 （3）乐观锁，悲观锁 （4）IO实现及实现一下文件的复制 （5）NIO的原理 （6）多线程，线程与进程区...

360内推hr面之后就一直等通知么，有收到什么通知的小伙伴么