国内科技公司数据基础设施需求热度榜单

MySQL: 国民级关系型数据库,是Web应用和大多数互联网公司的默认选择,普及度极高。
Redis: 缓存领域的绝对王者,是网站/App高并发访问的必备神器,普及度100%。
Spark: 一个非常快的分布式计算引擎,大数据领域的绝对核心,是数据处理任务的标配,普及度和认可度无可撼动。
Hive: 它让你可以用写SQL的方式去分析存在HDFS上的海量数据。大数据领域曾经的绝对核心和入门必备。
Hadoop: 大数据技术的基石(HDFS:存,MapReduce:算),普及度100%,是入门大数据的起点。
Flink: 实时计算的标杆,与Spark构成批流一体两大巨头,在国内大型互联网公司中应用非常广泛。
Kafka: 高吞吐消息队列。事实上的标准,是数据管道、微服务通信的绝对核心。
ES: 搜索和日志分析领域的标配,普及度极高。
Oracle: 又大又贵又稳,银行、政府、大国企的“标配”。
HBase: 一个巨大的NoSQL仓库。互联网公司用于存储日志、用户行为等海量数据,普及度很高。
ClickHouse: 近年来极度火爆,是实时数据分析领域的明星,各大公司都在用,社区非常活跃。
Doris: 源自百度的全能型分析仓库。既能高并发查询,也能做实时分析,在很多公司逐步替代其他复杂方案。
HDFS: HDFS是分布式文件存储系统,一个由无数台机器硬盘组成的专门用来存海量文件的大存储系统。
RabbitMQ: 传统消息队列的首选,但在超高吞吐量的数据流场景不如Kafka。
ZooKeeper: 分布式系统的基石,虽然近年来有etcd等挑战者,但其在Hadoop生态中的核心地位暂时无法撼动。
Presto: 可以让你用一条SQL语句同时查询MySQL、Hive、Kafka等多个数据源,快速拿到结果。几乎所有大数据平台都会部署。
SQL Server: 微软全家桶专用数据库。
Iceberg: 主流数据湖表格式技术之一,由Netflix开源。
Hudi: 主流数据湖表格式技术之一,由Uber开源。
Cassandra: 高可用的分布式仓库,更强调“无单点故障”,在任何地方都能读写。在国内不如HBase普及。

#mysql##redis##spark##elasticsearch##kafka##hadoop#
全部评论

相关推荐

昨天 16:14
四川大学 Java
点赞 评论 收藏
分享
评论
点赞
1
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务