刚下班的打工人呕心沥血复盘项目过程，快来围观

前言

去年参与了业务中台的项目（为了保密，具体什么业务就不方便说了），因为业务涉及到改动，因此企业级数据仓库需要进行配套改造。整个项目历时8个月，我在该项目中担任数据仓库工程师。数据仓库改造从需求分析到上线大概用了半年，我在整个过程遇到不少问题，还好最后成功上线。

背景

由于我们公司的有几个系统功能类似，表结构类似，但渠道不同、且数据分别存在不同的系统。每次有新的需求，每个系统都需要进行变更，为此，公司决定将这些渠道的业务进行合并，提高系统复用性，因此启动了业务中台项目。

多个系统合并及变更，有些表结构也会变，同时有些字段会被弃用或者新加字段，业务人员及领导对数据的要求也有所变更，因此数据仓库需要根据需求做改造。

过程

调研

数据仓库改造的过程，最重要的一点就是调研。

需要不断和业务系统开发人员，了解系统的改造，比如新旧表字段映射，哪些字段新增，哪些弃用；同时还要跟相关的业务人员沟通，了解其业务诉求；还要和数据仓库下游沟通，比如报表相关的，了解其口径，确保某些字段不被删除等。

这个阶段最终输出调研文档，但是沟通过程是贯穿始终的，而不是一开始沟通完后续就没事了。

模型设计。

根据需求及调研文档，为每一层建模，并登记层与层间字段的映射。同时还需要将相应模型划分到对应主题域，然后在应用层进行维度建模。

而对于原有但需要修改的模型，只需要对字段进行增删改即可。

开发

只要前面两个步骤做得好，开发反而是最简单的事，只需要根据模型及开发规范进行开发即可，涉及到的sql也需要不断审查，防止出现低效率代码或者数据错误等情况。

测试

测试的指标主要看数据量、逻辑准确性、性能、空值等情况。测试也是很重要的一环，涉及到数据质量的好坏，因此需要提前评估并确定质量标准，严格按照标准执行。

上线交付

上了生产环境，需要关注调度和监控。刚上线那会，业务系统经常会有bug，导致上了生产后经常需要跟着更新，以至于数据仓库相关的人员经常接到“午夜凶铃”，急忙跑到公司处理问题，起夜率极高（懂的都懂）

结果

这个项目数仓涉及的工作内容和强度中规中矩，没有出现严重失误或者计划延误的情况，也算相当顺利的完成了。

整个项目过程估计很多从事数据开发的朋友都比较感同身受吧；对于即将就职数仓或数据开发的人员，希望能让你们对这份工作有所了解，不至于对未知事物感到恐惧；对于其它朋友，希望可以让你了解我们的工作情况。

共勉！