kafka

MySQL: 国民级关系型数据库，是Web应用和大多数互联网公司的默认选择，普及度极高。Redis: 缓存领域的绝对王者，是网站/App高并发访问的必备神器，普及度100%。Spark: 一个非常快的分布式计算引擎，大数据领域的绝对核心，是数据处理任务的标配，普及度和认可度无可撼动。Hive: 它让你可以用写SQL的方式去分析存在HDFS上的海量数据。大数据领域曾经的绝对核心和入门必备。Hadoop: 大数据技术的基石（HDFS：存，MapReduce：算），普及度100%，是入门大数据的起点。Flink: 实时计算的标杆，与Spark构成批流一体两大巨头，在国内大型互联网公司中应用非常广泛。Kafka: 高吞吐消息队列。事实上的标准，是数据管道、微服务通信的绝对核心。ES: 搜索和日志分析领域的标配，普及度极高。Oracle: 又大又贵又稳，银行、政府、大国企的“标配”。HBase: 一个巨大的NoSQL仓库。互联网公司用于存储日志、用户行为等海量数据，普及度很高。ClickHouse: 近年来极度火爆，是实时数据分析领域的明星，各大公司都在用，社区非常活跃。Doris: 源自百度的全能型分析仓库。既能高并发查询，也能做实时分析，在很多公司逐步替代其他复杂方案。HDFS: HDFS是分布式文件存储系统，一个由无数台机器硬盘组成的专门用来存海量文件的大存储系统。RabbitMQ: 传统消息队列的首选，但在超高吞吐量的数据流场景不如Kafka。ZooKeeper: 分布式系统的基石，虽然近年来有etcd等挑战者，但其在Hadoop生态中的核心地位暂时无法撼动。Presto: 可以让你用一条SQL语句同时查询MySQL、Hive、Kafka等多个数据源，快速拿到结果。几乎所有大数据平台都会部署。SQL Server: 微软全家桶专用数据库。Iceberg: 主流数据湖表格式技术之一，由Netflix开源。Hudi: 主流数据湖表格式技术之一，由Uber开源。Cassandra: 高可用的分布式仓库，更强调“无单点故障”，在任何地方都能读写。在国内不如HBase普及。