前言 region服务器会将数据保存到内存中，直到积攒足够多的数据再将其刷写到硬盘上，这样可以避免创建很多小文件。存储在内存中的数据是不稳定的，例如，在服务器断电的情况下数据就可能会丢失。这是一个典型的问题。 WAL 我们知道存储在内存中的数据是不稳定的，一旦我们的机器断电就会导致我们内存中的数据丢失一个比较常见的解决这个问题的方法是预写日志（WAL）°：每次更新（也叫做“编辑”）都会写入日志，只有写入成功才会通知客户端操作成功，然后服务器可以按需自由地批量处理或聚合内存中的数据。当灾难发生的时候，WAL就是所需的生命线。类似于MySQL的binary log，WAL存储了对数据的所有更...

前言 介绍一下HBase 常用的shell命令 一、基本命令 打开HBase shell： bin/hbase shell 获取帮助 help 查看服务器的状态 status 查看版本信息 version 二、关于表的操作 查看所有表 list 创建表 命令格式：create '表名称', '列族名称 1','列族名称 2','列名称 N' create 'Student','baseInfo','schoolInfo' 查看表的基本信息 describe 'Student' 检查表是否存在 exists 'Student'...

前言 ZooKeeper是一个开放源代码的分布式协调服务，由知名互联网公司雅虎创建，是Google Chubby的开源实现。ZooKeeper的设计目标是将那些复杂且容易出错的分布式一致***封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。 ZooKeeper是一个典型的分布式数据一致性的解决方案，分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。ZooKeeper可以保证如下分布式一致性特性。今天我们来看看如何分布式安装 Zookeeper分布式集群部署 下...

前言 Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。今天我们来看看如何用Ganglia来监控我们的flume集群数据。 Ganglia的安装与部署 1.安装httpd服务与php [root@bigdata107 flume]# sudo yum -y install httpd php 2....

前言 对于HDFS分布式文件系统来说，其Namenode会定期将文件系统的命名空间（文件目录树、文件/目录元信息）保存到fsimage文件中，以防止Namenode掉电或者进程崩溃。但如果Namenode实时地将内存中的元数据同步到fsimage文件中，将会非常消耗资源且造成Namenode运行缓慢。所以Namenode会先将命名空间的修改保存在editlog文件中，然后定期合并fsimage和editlog文件 FSImage类 FSImage类主要实现了以下功能。 1.保在命名空间——将当前时刻Namenode内存中的命名空间保存到fsimage文件中。 2.加载fsimage文件...

Java线程死锁 死锁是一种特定的程序状态，在实体之间，由于循环依赖导致彼此一直处于等待之中，没有 任何个体可以继续前进。死锁不仅仅是在线程之间会发生，存在资源独占的进程之间同样也 可能出现死锁。通常来说，我们大多是聚焦在多线程场景中的死锁，指两个或多个线程之 间，由于互相持有对方需要的锁，而永久处于阻塞的状态。 Java线程死锁是一个经典的多线程问题，因为不同的线程都在等待那些根本不可能被释放的锁，从而导致所有的工作都无法完成。如图所示 如何去定位Java线程死锁呢？ 定位死锁最常见的方式就是利用 jstack 等工具获取线程栈，然后定位互相之间的依赖关系，进而找到死...

Watcher机制原理 我们知道ZooKeeper提供了分布式数据的发布/订阅功能，一个典型的发布/订阅模型系统定义了一种一对多的订阅关系，能够让多个订阅者同时监听某一个主题对象，当这个主题对象自身状态变化时，会通知所有订阅者，使它们能够做出相应的处理。在ZooKeeper中，引入了Watcher机制来实现这种分布式的通知功能。ZooKeeper 允许客户端向服务端注册一个Watcher监听，当服务端的一些指定事件触发了这个Watcher，那么就会向指定客户端发送一个事件通知来实现分布式的通知功能。 ZooKeeper的Watcher机制主要包括客户端线程、客户端WatchManager和...

前言 Apache Zeppelin 是一个可以进行大数据可视化分析的交互式开发系统，可以承担数据接入、数据发现、数据分析、数据可视化、数据协作等任务，其前端提供丰富的可视化图形库，不限于SparkSQL，后端支持HBase、Flink 等大数据系统以插件扩展的方式，并支持Spark、Python、JDBC、Markdown、Shell 等各种常用Interpreter，这使得开发者可以方便地使用SQL 在 Zeppelin 中做数据开发。 安装环境： Centos6.8、jdk1.8、zeppelin-0.8.1-bin-all 安装步骤 打开下面链接进行下载:http://zeppelin...

前言 CocurrentHashMap是线程安全且高效的HashMap，在并发编程中使用HashMap可能导致程序死循环。而使用线程安全的HashTable效率又非常低下，基于以上两个原因，便有了ConcurrentHashMap的登场。 jdk1.7 ConcurrentHashMap的结构 通过ConcurrentHashMap的类图来分析ConcurrentHashMap的结构，如图所示 ConcurrentHashMap是由Segment数组结构和HashEntry数组结构组成的。Segment是一种可重入锁（ReentrantLock），在ConcurrentHashMap里扮演...

前言 Kafka是一个非常优秀的消息开源系统，作为分布式的消息队列之所以能够实现高吞吐，其中的一个原因就是sendFile 的零拷贝 关于零拷贝 "零拷贝"中的"拷贝"是操作系统在I/O操作中,将数据从一个内存区域复制到另外一个内存区域. 而"零"并不是指0次复制, 更多的是指在用户态和内核态之前的复制是0次. CPU COPY 通过计算机的组成原理我们知道, 内存的读写操作是需要CPU的协调数据总线,地址总线和控制总线来完成的因此在"拷贝"发生的时候,往往需要CPU暂停现有的处理逻辑,来协助内存的读写.这种我们称...

前言 虚拟机把描述类的数据从Class文件加载到内存，并对数据进行校验、转换解析和初始化，最终形成可以被虚拟机直接使用的Java类型，这就是虚拟机的类加载机制。 类加载时机 类从被加载到虚拟机内存中开始，到卸载出内存为止，它的整个生命周期：加载、验证、准备、解析、初始化、使用、和卸载7个阶段。其中验证、准备解析3个部分统称为连接（Linking），这7个阶段的发生顺序如图所示。 加载、验证、准备、初始化和卸载这5个阶段的顺序是确定的，类的加载过程必须按照这种顺序按部就班地开始，而解析阶段则不一定：它在某些情况下可以在初始化阶段之后再开始，这是为了支持Java语言的运行时绑定（也称为动态绑定...

分区策略 分区的原因 （1）方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个 topic又可以有多个 Partition 组成，因此整个集群就可以适应任意大小的数据了；（2）可以提高并发，因为可以以 Partition 为单位读写了。2）分区的原则我们需要将 producer 发送的数据封装成一个 ProducerRecord 对象。（1）指明 partition 的情况下，直接将指明的值直接作为 partiton 值；（2）没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition数进行取余得到 p...

前言 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。下面就让我们看看它的读写底层实现的过程。 HBase写的实现过程 如图：1.Client访问Zookeeper，查找ROOT-表，获取.META表信息。从.META表查找，获取目标数据的Region信息，从而找到对应的RegionServer并发送写请求。2.把数据分...

前言 由于Windows系统更新问题，导致电脑上的VMwareWorkstation pro无法使用，之前有卸过Windows组件，但是系统自动更新之后又不能打开，所有只能乖乖地将我的VMwareWorkstation更新到15版本。 首先根据系统的提示将最新的版本下载至我们的电脑中 由于我的电脑是Windows系统所以选择Windows版本 当我们打开运行安装时发现 于是我抱着可能丢失文件的风险将我的老版本VMwareWorkstation卸载 最后升级到我们的VMwareWorkstation pro版本即可，大功告成! 虚拟机又能打开了。（不过界面...）