在现公司干得有点憋屈，想跑路了，得先找一下感觉，看差点啥，再补补，明年拿了年终就可以跑了。   一上来，不多说，自我介绍。      然后介绍项目，介绍完开始抠细节：   1、团队多少人？数据量多少？   2、业务调研怎么做的？   3、如何确定主题域的？   4、怎么分层的？   5、为什么这么分层？   6、各个表抽取策略是怎样的？如何确定增量抽还是全量抽？   7、数据质量怎么保证的？   8、数据开发规范是怎么样的？   9、任务是怎么调度的？   10、怎么监控调度的？   11、任务优先级怎么排的？       接着再问了点技术问题：   1、遇到过数据倾斜吗？怎么解决的？   2...

一、概述   KNN（K-最近邻）算法是相对比较简单的机器学习算法之一，它主要用于对事物进行分类。用比较官方的话来说就是：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例， 这K个实例的多数属于某个类，就把该输入实例分类到这个类中。为了更好地理解，通过一个简单的例子说明。   我们有一组自拟的关于电影中镜头的数据：     那么问题来了，如果有一部电影 X，它的打戏为 3，吻戏为 2。那么这部电影应该属于哪一类？   我们把所有数据通过图表显示出来（圆点代表的是自拟的数据，也称训练集；三角形代表的是 X 电影的数据，称为测试数据）：     计算测试数据到训练数据...

周日，一大早收到数据跑批告警电话，急急忙忙回园区处理，才发现是源系统有个表的字段变了，先匆匆处理完，打了个电话去质问源端，他们居然说他们紧急变更把字段长度改了，事出紧急，没通知到位…我可真是服了。

最近收到很多周边，全都是参加活动后，平时摸鱼或者下班后写点东西获得的，以后还要分享故事和经验，希望大家多多交流

如果工作一直消耗情绪还要做下去吗？遇到这种事，一定要找到原因，不然就算辞职找到下家还是有可能会出现同样的问题。如果是因为待遇，可以跳槽去待遇好点的；如果是对自己的发展感到迷茫，要好好规划一下再跳槽；如果只是单纯的不喜欢工作，那没办法，谁爱工作呢？只能给自己做好心理建设，累了的话休假去放松一下，歇完还得继续前进。

没错，说的就是你不管你是在学习还是上班摸鱼，如果刷到这条动态，请立刻马上完成以下事情中的一到每一件：1.站起来伸懒腰2.去上个洗手间3.做5次提纲运动4.用力夹紧臀部10秒钟5.喝杯水我是您的健康小贴士，为了您的健康，请及时完成，谢谢

发现组里几个30岁出头的同事已经在养生了，问了一下，发现有的尿酸高，有的血糖高，有的腰肌劳损。着实把我吓到了，还是要注意健康呀，上班没事多起来接水喝，多喝点水，别久坐，共勉共勉！

最近有朋友问我，大数据开发平时工作都干些什么？需要写代码吗？ 今天，就来给简单说一下，我的数据开发工作都是些什么。 因为我们公司都是买的别人的产品和服务，所以很少需要自己开发，一般都是在平台上写写SQL，配配调度，然后有问题了排查优化，除非有一些特殊的需求，或者平台没法完成的功能，才会通过自己写点代码去完成。虽然这些代码最后也是通过shell脚本调用，然后在平台上调度。所以很多数据开发工程师一般都会自嘲 SQL BOY 上面那些其实主要是和开发搭上边的，还有其他工作。比如对于一些新需求，需要去评估一下是否需要接入新的表，如果现有数仓有的那还好说，如果没有的，还需要和数仓负责人沟通，看是否需要接...

上一篇对Kafka做了简单介绍，还没看的朋友可以点击链接大数据面试题之——消息中间件有什么用？Kafka懂吗？ 在开始之前，先了解一下消息在Kafka中是如何存储的，如下图所示，一般我们称那些数字为offset（偏移量）一般来说，消息在持久化后应该是有序的，这里的有序是针对分区的，而不是针对 Topic 的。 而且，生产者写入消息时，是往 Leader 写入，Follower 从 Leader 进行复制。   别看生产者只是发消息，调用 API 也是几行代码，但它的学问多着呢。为更好地理解后面的内容，请带着以下问题阅读：  生产者发送消息前会做什么准备？ 生产者发送消息怎么保证数据不丢失？ 生...

作为曾经在国企上过班的“过来人”，我觉得还是有机会聊上几句的。因为我以前拿到的都是一些市属国企以及国企市分属公司，所以以下的观点可能只适用于这类。市属国企的门槛一般不会很高，毕竟作为一个双非本，我也没被刷掉。这类国企在校招的面试，技术一般不会问得很深，相对比较基础，即使是算法题，也是简单题；问得最多的当属数据库方面的问题了。他们更看重的是你的稳定性，会问你为什么选择来我们公司之类的问题，主要还是考察你的稳定性。因此这类问题也要琢磨一下怎么回答。然后面试稍微穿得正式一点，表现得自信大方点，国企面试，眼缘很重要，第一印象好可以加分。至于其它，可能一时想不到，有问题可以评论，知道的我会解答，当然只限市属国企以及国企市分属公司哈，比如中国联通某某分公司、某某交通、某某城商行之类的

一、明确一下自己的目标 如果是想要进人行、银保监等单位，那还是要按考公去准备； 想要进四大行，要好好准备一下行测等以及自己的专业知识；学历没那么好看的，可以选择一些城商行或者农商行。 二、准备简历进行网申 相对好的简历是面试的敲门砖，必须好好重视。简历的内容要包括自己的个人信息、学历等。  有实习经历的要把这段经历写进去，包括所在的部门/组、时间段、具体的工作内容等； 还有项目经历，挑选一些自己比较熟悉的，写清楚项目背景、用什么方案、解决了什么问题、获得什么结果，最好写明涉及的技术； 个人技能，比如熟悉某个数据库，熟悉某个开发语言，掌握某种中间件，了解某个组件等，根据自己的实际情况写，不会的就...

最近一直有人问我，大数据行业前景怎么样？如果转行的话有什么岗位？有什么要求？ 为了解答这一系列问题，我觉得还是有必要科普一下大数据岗位的情况。 大数据，毋庸置疑，行业前景是很不错的。 现在是数据时代，近几年一直在强调数字化转型，互联网就不用多说，很多传统企业都在转型。 而今年有个国家重点工程“东数西算”，指通过构建数据中心、云计算、大数据一体化的新型算力网络体系，将东部算力需求有序引导到西部，优化数据中心建设布局，促进东西部协同联动。 可想而知，大数据的发展只会越来越好，就业机会也会越来越多。 在应用上，大数据在互联网、金融、电信、工业行业广泛应用。像行程码，地图的路况，金融风控，疫情地图等，...

面试大数据相关的岗位，如果面试官问：用过什么消息中间件？基本上想听到的就是 Kafka，毕竟大数据领域 Kafka 是最常用的。那么消息中间件有啥用呢？Kafka 的架构是怎么样的？它为什么这么设计呢？且听下回分解 往下看👇👇👇 背景与问题 以前一些传统的系统，基本上都是“用户——系统——数据库”一条线，拿下单做例子，用户下单，系统接受并处理请求，把数据存到数据库。 这样的好处就是简单，但随着需求越来越多，用户量越来越大，系统需要承载的压力就越大；如果需要扩展系统，修改代码，牵一发动全身，麻烦滴很。 消息队列可以解决这些问题，它是一个存放消息的队列，生产者往队列推数，消费者从队列取数。 ...

除非有紧急的事，不然必须到点下班。下了班去饭堂慢慢吃个饭喝个汤，然后骑着小电驴回家，回家的路上看看风景，吹着小曲开始一天的生活。回到家后看会儿视频玩会手机刷刷牛客，八点一到就健身，大概半个小时到一个小时之间完事。然后休息十来分钟就去洗澡。洗完澡就和几个好友聊聊天，再学习会儿，十一点一到就去睡觉。如此反复，虽然每天的生活挺重复的，但还是相对充实且美好，暂时不用上班就更好了