大数据之路

本人本科是数据科学与大数据专业，目前研0研究生也是大数据专业但是为了出成果导师让学的dl，这个方向根本找不到工作，自己更倾向于继续走大数据的工作想问一下研究生阶段如何规划？还有学习路线什么的应该在哪里找资源

元数据 元数据概述   核心定义：“描述数据的数据”——记录数据的结构、含义、血缘、生命周期等核心属性。   元数据分类    类型 描述 典型数据 平台工具     技术元数据 数据的物理存储与结构信息 表结构、文件路径、压缩格式 DataWorks   业务元数据 数据的业务含义与规则 指标定义（GMV）、业务术语 OneData   管理元数据 数据的运维与治理信息 负责人、访问权限、生命周期 Data Catalog      关键技术创新  实时血缘捕获：解析Flink SQL语法树 → 自动生成字段级血缘。 智能元数据推荐：基于历史访问模式，自动推荐表关联关系。 冷热数据分级：根据...

事实表基础   事实表的本质与目标   本质：记录业务过程可度量的事件，如交易支付、用户点击。   设计目标    目标 实现手段 业务场景     高性能查询 预聚合 + 分区剪枝 双11实时大屏响应<1秒   低成本存储 列式压缩 + 生命周期管理 历史数据OSS归档降本90%   数据一致性 统一原子指标定义 集团GMV口径100%统一   业务可扩展 动态添加度量字段 新增“碳中和指标”零改造        事实表设计原则  原则1：尽可能包含所有与业务过程相关的事实。 原则2：只选择与业务过程相关的事实。 原则3：分解不可加性事实为可加的组件。 原则4：在选择维度和事实之前必须...

实时技术 流式技术架构   数据采集：数据的源头，一般来自于各个业务的日志服务器，这些数据被实采集到数据中间件（Kafka）中， 供下游实时订阅使用。  DB变更日志：比如 MySQL 的 binlog 日志、 HBase 的 hlog 日志、 OceanBase 的变更日志、 Oracle 的变更日志等。 引擎访问日志：用户访问网站产生的 Apache 擎日志、搜索引擎的接口查询日志等。    数据处理：下游实时订阅数据并拉取到流式计算系统的任务中进行加工处理，需要提供流计算引擎（Flink）以支持流式任务的执行。   StreamCompute：全链路流计算开发平台，涵盖了从数据采集到数据...

OneData概述   核心痛点：指标口径混乱、模型重复建设、数据孤岛、开发效率低下。   OneData：阿里巴巴内部进行数据整合及管理的方法体系和工具。   规范定义层（治本之策）   业务术语标准化：建立集团级业务知识库（如明确定义“支付成功订单”：已付款 + 未退款 + 物流签收）。   指标分层管控  原子指标：用来描述某个特定的事件、行为或状态，如销售额、播放量、转化率等。 衍生指标：由原子指标、时间周期、维度三大要素构成，用于统计目标指标在具体时间、维度、业务条件下的数值表现。 复合指标：通过对原子指标进行计算得出，如CTR = 点击量 / 曝光量。      模型设计层（架构核...

数据开发平台 统一计算平台   MaxCompute：主要服务于海量数据的存储和计算 ，提供完善的数据导入方案， 以及多种经典的分布式计算模型，提供海量数据仓库的解决方案，能够更快速地解决用户的海量数据计算问题，有效降低企业成本，并保障数据安全。   MaxCompute客户端：包括Web、SDK、CLT、IDE等形式完成 Project 管理、数据同步、任务调度、报表生成等常见操作。   MaxCompute接入层：提供HTTP服务、Cache、负载均衡，实现用户认证和服务层面的访问控制。   MaxCompute控制层：实现用户空间和对象的管理、命令的解析与执行逻辑、数据对象的访问控制与授...

第1章 综述 数据采集层  Aplus.JS：Web端日志采集技术方案。 UserTrack： APP端日志采集技术方案。 TimeTunnel：DB增量数据传输及日志数据传输，支持流式计算和基于时间窗口的批量计算。 DataX：阿里数据同步工具，直连异构数据库来抽取各种时间窗口的数据。  数据计算层  MaxCompute：离线大数据存储及计算平台。 StreamCompute：实时大数据存储及流式计算平台。 OneData：数据整合及管理（如指标体系和数据服务）的方法体系和工具，包含OneID、OneMetric和OneService。 离线数仓：数据计算主要以天为单位（包含小时、周、月）...

第一章 再出发：数据中台的萌芽与蜕变1.1 历年起源：中台思维的初步形成阿里巴巴数据中台的起源：从分散到统一的变革之路1. 数据体系的多元化发展2011年，阿里巴巴的业务主要由B2B、淘宝和支付宝三大板块构成，每个板块都拥有独立的数据仓库团队。由于技术和业务模式的不同，这些团队在数据建设上形成了各自独立的体系。这种差异化的发展，为后来数据中台的诞生奠定了基础。随着业务的快速扩张，数据的效率、管理和价值成为业务部门日益关注的核心问题，甚至有些部门希望能够自行管理数据。为了更好地满足业务需求，阿里巴巴在这一阶段对数据团队进行了多次组织结构调整。2. 1688数据团队的变革：构建“三板斧”体系201...