1. docker基础知识 1.1 什么是docker docker就是一项容器虚拟化的技术. 容器虚拟化技术：简单而言，就是把开发环境和代码一起打包做成一个容器，放在其他电脑上就可以直接运行。类似于虚拟机，把环境配好，就可以直接运行了，但是容器虚拟化和虚拟机还是有很大区别。 1.2 docker能做什么 一次构建，随处运行。 更快捷的应用交付和部署；更便捷的升级和扩缩容；更加简单的系统运维；更高效的计算机资源利用。 它解决了虚拟机存在的资源占用多，冗余步骤多和启动慢的特点，剔除掉虚拟机中模拟的硬件以及不必要的的东西都剔除了。保留了必要的内核和用户自己根据需要安装的...

kafka集群中的Controller、rebalance和HW 1. Controller 集群中谁会来充当controoler？ 每个broker启动时会向zk创建一个临时序号节点，获得的序号最小的那个broker将会作为集群中的controller。主要负责 主副本选举 管理分区状态机 管理副本状态机 管理多种类型*** 2. Rebalance 机制 发生的前提是 消费组中的消费者没有指明分区来消费 触发的前提是消费组中的消费者和分区的关系发生变化的时候 组成员的个数发生变化时。比如有新的consumer实例加入该消费组或...

1.生产者的基本实现 1.1 引入依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <!--版本号根据kafka安装包版本指定，比如kafka_2.12-2.0.0--> <version>2.0.0</version> </dependency> ...

1. Kafka概述 kafka是最初由LinkedIn公司开发，是一个分布式、支持分区（partition）、多副本（replica），基于zookeeper协调的分布式消息系统，它的最大的特点就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Strom和Spark流式处理引擎，web、ngiinx日志、访问日志，消息服务等。用Scala语言编写，LinkedIn于2010年贡献给Apache基金会并成为顶级开源的项目。 1.1 Kafka的使用场景 日志收集： 消息系统 用户活动跟踪 运营指标 1.2 Kafka...

1. IK分词器简介 IK Analyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IK Analyzer已经推出了4个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。从3.0版本开始，IK发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。在2012版本中，IK实现了简单的分词歧义排除算法，标志着IK分词器从单纯的词典分词向模拟语义分词衍化。 后来，被一个叫medcl（曾勇 elastic开发工程师与布道师，elasticsearch开源社...

SpringData ElasticSearch 整合Elastic Search 1. Spring Data ElasticSearch 介绍 Spring Data Elastic Search 基于Spring data API 简化ElasticSearch操作，将原始操作Elastic Search的客户端API进行封装。Srping Data为Elastic Search项目提供集成搜索引擎。Spring Data Elastic Search POJO的关键功能区域为中心的模型与Elastic Search交互文档和轻松地编写一个存储索引库数据访问层。 官方介绍 2...

Elastic Search常见面试题 1. 为什么要使用ElasticSearch？ 系统中的数据，随着业务的发展，时间的推移，将会非常多。而业务中常采用模糊查询进行数据的搜索，而模糊查询会导致查询引擎放弃索引，导致系统查询数据时都是全表扫描。在百万级别的数据库中，查询效率是非常低下的。如果使用ES做一个全文索引，将经常查询的系统功能的某些字段，比如电商系统的商品表中商品名，描述、价格还有 id 这些字段我们放入 ES 索引库里，可以提高查询速度。 2. Elastic Search的Master选举流程？ Elastic Search的选主是ZenDIscovery模块负责的...

ElasticSearch 环境搭建 1. 单机、集群和节点概念。 1.1单机 单机ElasticSearch服务器提供服务，往往都有最大的负载能力，超过这个阈值，服务器性能就会大大降低甚至不可用。因此在生产环境下，一般都是运行在指定服务器集群上。 除了负载能力，单点服务器也存在其他问题： 单台机器存储容量有限 单服务器容易出现单点故障，无法实现高可用 单服务器的并发处理能力有限 配置服务器集群时，集群中节点数量没有限制，大于等于 2 个节点就可以看做是集群了。一 般出于高性能及高可用方面来考虑集群中节点数量都是 3 个以上。 1.2 集群 一个集群就是由一个...

Java API操作ES Elastic Search软件是由Java语言开发的，所以也可以通过Java API的方法对Elastic Search服务进行访问。 1. 引入POM文件 <properties> <elasticsearch.version>7.6.2</elasticsearch.version> </properties> <dependencies> <!-- elasticsearch-rest-high-level-client --&gt...

ElasticSearch 高级DSL查询语句 1. 准备测试索引和映射关系 向ES集群中发送Put请求，用以创建索引和映射关系：http://127.0.0.1:9200/student 请求Body携带json参数信息如下 { "settings": {}, "mappings": { "properties": { "name": { "type": "text", ...

1. ES索引的基础操作 1.1 ES创建索引 对于关系型数据库，创建索引就等同于创建数据库。 在Postman中，向ES服务器发送put请求. 例如创建索引 http://127.0.0.1:9200/shopping 1.2 查看索引 在Postman中，向ES服务器发送Get请求：http://127.0.0.1:9200/_cat/indices?v， 请求路径中的_cat表示查看的意思，indices表示索引，所以整体含义就是查看当前ES服务器中的所有索引，类似于MySQL中的show tables的样子。服务器的响应结果如下 1.3 查看单一索引 在P...

Presto简介 Presto概念 Presto是一个开源的分布式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。 注意：虽然Presto可以解析SQL,但它不是一个标准的数据库。不是MySQL、Oracle的代替品，也不能直接用来处理在线事务（OLTP） Presto架构 Presto的优缺点 优点 Presto基于内存计算，减少了硬盘IO,计算更快。 能够连接多个数据源，跨数据源连表查，如从Hive查询大量网络访问计算，然后从MySQL中匹配出设备信息。 缺点 Presto能够处理PB级别的海量数据分析，但Presto并不...

杂记 Typora 上传图片到博客园 import requests import json from sys import argv uploadUrl = 'https://upload.cnblogs.com/imageuploader/processupload?host=www.cnblogs.com' headers = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0...

Spark StandAlone模式和On Yarn模式搭建 Spark StandAlone模式 上传并解压 tar -zxvf spark-3.0.2-bin-hadoop3.2.tgz -C /data/soft/ 修改配置文件 # 进入conf文件夹目录 cd /data/soft/spark-3.0.2-bin-hadoop3.2/conf spark-env.sh # 修改文件名 mv spark-env.sh.template spark-env.sh # 修改spark-env.sh vi spark-env.sh export JAVA_HOM...