作者简介：刘超，网易云解决方案首席架构师。10年云计算领域研发及架构经验，Open DC/OS贡献者。长期专注于kubernetes, OpenStack、Hadoop、Docker、Lucene、Mesos等开源软件的企业级应用及产品化。曾出版《Lucene应用开发揭秘》。 以下为正文： 云计算概述 云计算主要解决了四个方面的内容：计算，网络，存储，应用。 计算就是CPU和内存，例如“1+1”这个最简单的算法就是把“1”放在内存里面，然后CPU做加法，返回的结果“2”又保存在内存里面。网络就是你插根网线能上网。存储就是你下个电影有地方放。本次讨论就是围绕这四个部分来讲的。其中，计算、网络、存...

阮一峰：全文搜索引擎 Elasticsearch 入门教程   阅读 1093   收藏 76   2017-08-23    原文链接： www.ruanyifeng.com  9月7日-8日 北京，与 Google Twitch 等团队技术大咖面对面www.bagevent.com  全文搜索属于最常见的需求，开源的 Elasticsearch （以下简称 Elastic）是目前全文搜索引擎的首选。 它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它。  Elastic 的底层是开源库 Lucene。但是，你没法直接用 Lucene，必须自...

一、总论 根据lucene.apache.org/java/docs/i…定义： Lucene是一个高效的，基于Java的全文检索库。 所以在了解Lucene之前要费一番工夫了解一下全文检索。 那么什么叫做全文检索呢？这要从我们生活中的数据说起。 我们生活中的数据总体分为两种：结构化数据和非结构化数据。  结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。 非结构化数据：指不定长或无固定格式的数据，如邮件，word文档等。  当然有的地方还会提到第三种，半结构化数据，如XML，HTML等，当根据需要可按结构化数据来处理，也可抽取出纯文本按非结构化数据来处理。 非结构化数据又一种叫...

写在前面 Max Grigorev最近写了一篇文章，题目是《What every software engineer should know about search》，这篇文章里指出了现在一些软件工程师的问题，他们认为开发一个搜索引擎功能就是搭建一个ElasticSearch集群，而没有深究背后的技术，以及技术发展趋势。Max认为，除了搜索引擎自身的搜索问题解决、人类使用方式等之外，也需要解决索引、分词、权限控制、国际化等等的技术点，看了他的文章，勾起了我多年前的想法。 很多年前，我曾经想过自己实现一个搜索引擎，作为自己的研究生论文课题，后来琢磨半天没有想出新的技术突破点（相较于已发表的文章...

什么是倒排索引？        见其名知其意，有倒排索引，对应肯定，有正向索引。      正向索引（forward index），反向索引（inverted index）更熟悉的名字是倒排索引。        在搜索引擎中每个文件都对应一个文件ID，文件内容被表示为一系列关键词的集合（实际上在搜索引擎索引库中，关键词也已经转换为关键词ID）。例如“文档1”经过分词，提取了20个关键词，每个关键词都会记录它在文档中的出现次数和出现位置。            得到正向索引的结构如下：        “文档1”的ID > 单词1：出现次数，出现位置列表；单词2：出现次数，出现位置列表；……...

#设计模式基础学习总结 这篇总结主要是基于我之前设计模式基础系列文章而形成的的。主要是把重要的知识点用自己的话说了一遍，可能会有一些错误，还望见谅和指点。谢谢 #更多详细内容可以查看我的专栏文章：设计模式学习 #https://blog.csdn.net/a724888/article/category/6780980 设计模式 创建型模式 创建型模式 创建型模式的作用就是创建对象，说到创建一个对象，最熟悉的就是 new 一个对象，然后 set 相关属性。但是，在很多场景下，我们需要给客户端提供更加友好的创建对象的方式，尤其是那种我们定义了类，但是需要提供给其他开发者用的时候。 单例 单例模式...

这位大侠，这是我的公众号：程序员江湖。  分享程序员面试与技术的那些事。 干货满满，关注就送。   Hadoop生态基础学习总结 这篇总结主要是基于我之前Hadoop生态基础系列文章而形成的的。主要是把重要的知识点用自己的话说了一遍，可能会有一些错误，还望见谅和指点。谢谢 更多详细内容可以查看我的专栏文章：Hadoop生态学习 https://blog.csdn.net/a724888/article/category/7779280 Hadoop生态 hdfs 架构 hdfs是一个分布式文件系统。底层的存储采用廉价的磁盘阵列RAID，由于可以并发读写所以效率很高。 基本架构是一个nameno...

这位大侠，这是我的公众号：程序员江湖。  分享程序员面试与技术的那些事。 干货满满，关注就送。   Spring和SpringMVC源码学习总结 这篇总结主要是基于我之前Spring和SpringMVC源码系列文章而形成的的。主要是把重要的知识点用自己的话说了一遍，可能会有一些错误，还望见谅和指点。谢谢 更多详细内容可以查看我的专栏文章：#Spring和SpringMVC源码解析 https://blog.csdn.net/column/details/21851.html Spring和SpringMVC Spring是一个框架，除了提供IOC和AOP以外，还加入了web等众多内容。 1 I...

0背景介绍 随着机器个数的增加、各种服务、各种组件的扩容、开发人员的递增，日志的运维问题是日渐尖锐。通常，日志都是存储在服务运行的本地机器上，使用脚本来管理，一般非压缩日志保留最近三天，压缩保留最近1个月，其它直接删除或迁移到日志服务器上。 运维会将这些日志mount到远程的日志服务器上，然后开发人员使用运维分配的账号登陆堡垒机器跳转到日志服务器上查看不同项目不同机器的日志。 下图是日志服务器某一个项目的所有ip日志目录截图，相信大家传统的查看日志类似这样。  如果你要查阅不同的项目，项目机器数十上百的话，将会是非常繁琐和低效的事，并且运维管理、账户安全都是需要解决的问题。另外如果你要对这些日...

 购买链接：https://cloud.tencent.com/act/campus/group/detail?fromSource=gwzcw.1075736.1075736.1075736&group=34181

Spring Boot系列文章（一）：SpringBoot Kafka 整合使用 2018-01-05  × 文章目录  1. 前提 2. 创建项目  2.1. 项目整体架构：  3. Kafka 设置  3.1. 启动 zk 3.2. 启动 Kafka 服务  4. 运行 5. 关注我 6. 最后     前提 假设你了解过 SpringBoot 和 Kafka。1、SpringBoot 如果对 SpringBoot 不了解的话，建议去看看 DD 大佬 和 纯洁的微笑 的系列博客。 2、Kafka Kafka 的话可以看看我前两天写的博客 ： Kafka 安装及快速入门 学习的话自己开台虚拟...

Kafka 安装及快速入门 2018-01-04  × 文章目录  1. 介绍 2. 安装 kafka 3. 功能验证：  3.1. 1、启动 zk 3.2. 2、启动Kafka 服务 3.3. 3、创建 topic 3.4. 4、产生消息 3.5. 5、消费消息 3.6. 6、查看描述 topics 信息  4. 集群配置  4.1. 单机多broker 集群配置 4.2. 多机多 broker 集群配置  5. 使用 Kafka Connect 来导入/导出数据 6. 使用 Kafka 流来处理数据 7. 参考 8. 关注我 9. 最后     介绍 官网：http://kafka.apa...

浅谈分布式消息技术 Kafka         本文主要介绍了这几部分内容：1基本介绍和架构概览2kafka事务传输的特点3kafka的消息存储格式：topic和parition4副本（replication）策略：主从broker部署和partition备份，以及选主机制5kafka消息分组，通过comsumergroup实现主体订阅6push和pull的区别，顺序写入和消息读取，零拷贝机制Kafka的基本介绍Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日...

这位大侠，这是我的公众号：程序员江湖。  分享程序员面试与技术的那些事。 干货满满，关注就送。   本文基于之前的分布式系统理论系列文章总结而成，本部分主要是实践内容，详细内容可见我的专栏：分布式系统理论与实践 https://blog.csdn.net/column/details/24090.html 本文主要是按照我自己的理解以及参考之前文章综合而成的，其中可能会有一些错误，还请见谅，也请指出。 分布式技术 分布式数据和nosql 分布式一般是指分布式部署的数据库。 比如Hbase基于HDFS分布式部署，所以他是一个分布式数据库。 当然MySQL也可以分布式部署，比如按照不同业务部署，或...