京东数据开发一面

6.17 腾讯云一面原以为到六月份就没啥hc了，结果早上就投到了腾讯云的后台开发，然后电话问我下午有没有空面试，太意外了，也太惊喜了，终于迎来我的处女面了面试官看我是大二还是第一次面，问的都比较简答，但我太紧张了，有点胡言乱语，但面试官还是很好的说， 总共拷打了70分钟左右，但是没怎么问八股，主要还是在拷打项目，记的不是很清楚，见谅面试过程：自我介绍，手撕：合并区间并输出索引列表，因为我用的c++，所以就是结构体+自定义排序+遍历计网：tcp三次连接，tcp与udp区别，udp为什么不可靠？数据结构：c++与java中的数据结构，c++中vecotr我设置长度为8然后push_back第九个元素会发生什么(因为我用c++写的手撕，面试官就问了写c++ stl相关的，以后还是尽量用java写吧避免挖坑)ArrayList与LinkedList，B+树用来做什么的(索引)？数据库中哪里用到了悲观锁和乐观锁，慢sql语句优化项目：第一个项目自己介绍了亮点，然后面试官问如果我前端心跳请求每1s发一个该怎么处理？(我答的redis搭建主从或者哨兵)第二个项目问了如何实现redis缓存高可用(答了针对缓存击穿、穿透、雪崩的几种方案)，对于项目描述中说拦截90%请求是怎么知道这个数据的(答的用Jmeter)反问：面试官觉得我想要进入该公司实习需要具备什么能力：面试官说项目+八股+算法搞好面试官对我的评价怎么样和建议：还可以，建议写程序的时候变量名要规范(我手撕的时候有点懵，变量都是a，b，c)大概就是这些了，能不能二面已经无所谓，重要的是经验+1，面试官人真的很好

大纲1.商品数据变更溯源系统运行流程分析2.Canal推送到RocketMQ的binlog数据模型3.Canal推送到RocketMQ的binlog数据解析4.表的监听配置查询以及关联字段的监听配置查询5.根据binlog数据对象构建数据变更对象6.完成binlog数据到数据变更消息的转换7.数据变更消息推送到多系统多路topic中8.外部消息数据格式转化以及写入DB中9.外部消息发送触发以及多路系统Topic推送10.商品数据变更溯源系统消息处理1.商品数据变更溯源系统运行流程分析(1)需求描述(2)数据库表(3)整体流程(1)需求描述在商品的整个⽣命周期中，商品数据是可以不断变化的。⽐如商...

一·语言方面：由于很多大数据框架都是基于JAVA开发的，个人认为JAVA语言是必不可少的，有余力的话可以去掌握以下PYTHON😊二·数据结构与算法：大二课上没好好学，现在只能再补一遍了，悲😣打算刷完Leetcode的Hot100就先放一边，等秋招再刷别的题😇三·MYSQL:一个关系型数据库管理系统，SQL BOY的开始，初步领略通过建表来管理数据的思想，学完可以去刷一下基础50题和进阶50题（虽然本菜鸡只刷了基础50😓）四·Linux:会安装虚拟机，掌握常见linux常见命令即可五·Hadoop:一个分布式计算框架。所谓分布式，就是将一台电脑无法处理的数据量分散给一个由多台电脑组成的计算机集群来处理，互相分工，彼此合作，形成一个有机整体。框架分为三部分：HDFS（数据存储），MapReduce(数据计算），Yarn（资源调度）。虽然MapReduce已经逐渐被Spark淘汰，但思想依然值得借鉴。高可用机制也应当学习六·Maven:会用即可，打包项目用的七·Hive：也是一种SQL，有了MYSQL的基础应该还算好理解八·Scala和Spark：Spark是用Scala写的，在学习之前得先浏览一遍基本语法。Spark是基于内存的批式计算引擎，已经逐渐取代MapReduce（基于磁盘的计算引擎），APACHE也基本上停止了对MapReduce的更新（经典白学😃）。将来很多离线数仓项目也都是基于SPARK的，可以说非常重要了九·Kafka，Hbase，Flume和ZooKeeper：都是一些小组件，将来面试可能会问到十·Flink：一个流式实时计算引擎，本人JAVA基础较弱，听的时候也是懵懵懂懂当然，仅仅这些肯定远远不够，本人将来还要学Doris，数仓建模理论，数仓项目，八股面经等等。上述理解如有错误还请友好指正（叠甲叠甲叠甲😱）。这些理论也只是匆匆过了一遍（大一太贪玩，大二2月份才开始学），发布笔记也只是记录自己的学习过程，提醒自己不要懈怠（还有当个免费网盘😏）。如果能帮助到你就更好了，虽然我也比较迷茫😖

前言笔者在前几个月前经历了一次因为执行DDL而导致业务疯狂打印error日志的场景，虽然不是笔者执行但是这一次经历也警惕了笔者需要敬畏生产、明确原理后再操作的习惯。希望这个亲身经历能够帮助初入职场的同学们避免因为这种问题而导转正失败的问题😊背景阐明背景表：大表DDL语句：添加覆盖索引执行时间：晚上低峰期（企业中对一些操作有严格的时间把控，必须要到业务低峰期才能执行）直接影响上层业务疯狂打印error日志（日志在企业是非常重要的）告警电话疯狂diss你表对外展示出来就是不可用，类似宕机（读和写统统被超时拒绝）可能你会说只有大表才会有这种问题吧，我如果只是几十万、几百万数据的表执行这个应该没有问...