星型模型 星型模型中只有一张事实表，以及0张或多张维表，事实表与维表通过主键外键相关联，维表之间不存在关联关系，当所有维表都关联到事实表时，整个图形非常像一种星星的结构，所以称之为“星型模型”。星型模型是最简单最常用的模型。星型模型本质是一张大表，相比于其他数据模型更合适于大数据处理。其他模型可以通过一定的转换，变为星型模型。星型模型的缺点是存在一定程度的数据冗余。因为其维表只有一个层级，有些信息被存储了多次。比如一张包含国家、省份、地市三列的维表，国家列会有很多重复的信息。雪花模型当一个或多个维表没有直接连接到事实表上，而是通过其他维表连接到事实表上时，其图解就像多个雪花连接在一起，故称雪花...

名词解释域地盘业务域顾名思义，以业务模块/业务系统划分的地盘数据域是以数据粒度划分的地盘，一般从业务域往下拆解主题域是以分析视角来抽象划分的地盘，可能会涉及多个数据域来做计算以及分析二级数据域、二级主题域不看二级 还是本义，加上二级 为子集的关系 也就是在XX域里又拆分了下 叫二级XX域业务域&数据域&主题域【大图】

   解决数据管理问题休息时间搞的• 建立数据共享机制与平台：通过构建统一的数据共享平台，打破数据地方保护主义，制定数据共享规范与流程，明确各部门数据提供与获取的权限和义务，促进数据在组织内的流通，例如建立企业级数据仓库，整合各方数据资源。• 统一指标口径：成立数据治理委员会或专项小组，负责梳理和规范指标体系。对所有指标进行明确定义，消除同名不同义与同义不同名的情况，并发布指标字典供全公司使用，确保所有人员对指标理解一致。• 整合 BI 工具或选定标准工具：评估现有 BI 工具的功能与使用情况，根据企业需求选定一种或几种作为标准工具，并进行整合与优化。建立工具使用培训体系，提高员工对标准工具的熟练度与应用能力，确保数据处理与分析的一致性。• 明确报表边界与分工：清晰界定业务系统报表与 BI 报表的功能边界，业务系统报表侧重于日常业务运营数据的记录与简单呈现，BI 报表则聚焦于多维度数据整合、分析与决策支持。制定报表开发与维护的分工流程，避免重复工作与数据冲突。• 简化与优化权限管理体系：基于角色和职责对数据访问权限进行重新设计，采用分级分类管理模式，如普通员工、部门主管、高层领导等不同角色对应不同的数据访问级别。利用权限管理工具实现自动化的权限分配与监控，定期审查权限设置，确保其合理性与安全性。• 优化数据需求响应流程：建立数据需求管理平台，所有部门的数据需求统一提交到平台上，进行分类、分级与优先级排序。优化数据处理流程，采用敏捷数据开发方法，提高数据提取、转换与加载（ETL）的效率，对于紧急需求开辟绿色通道，确保重要数据需求能够及时得到响应。• 构建指标关系体系：组织数据分析师与业务专家共同梳理指标间的逻辑关系，绘制指标关系树或数据地图，明确各指标的层次结构与关联关系。建立指标元数据管理系统，对指标的定义、计算方法、数据来源以及与其他指标的关系进行详细记录与管理，方便查询与分析。• 完善指标全生命周期管理平台：开发或引入专门的指标管理平台，涵盖指标从规划、定义、开发、测试、部署到监控、优化的全生命周期管理功能。在平台上建立指标版本控制机制，确保不同时期指标的一致性与可追溯性，同时通过自动化流程与提醒功能，保障指标的及时更新与维护。• 强化指标质量审计机制：制定指标质量评估标准，包括数据准确性、完整性、一致性、时效性等方面的具体要求与量化指标。建立数据质量监控工具与流程，定期对指标数据进行审计与评估，发现质量问题及时追溯数据源头并进行整改，同时记录数据质量问题日志，以便后续分析与优化。• 编写指标故事线与应用指南：由数据团队与业务团队合作，针对关键业务流程与决策场景编写指标故事线，将相关指标串联起来形成有逻辑、有情节的数据分析框架。为每个指标编写应用指南，详细说明指标的含义、用途、计算方法以及在实际业务中的应用案例与注意事项，通过培训与宣传推广，提高业务人员对指标的理解与应用能力。

  在当今的数据管理领域，诸多问题亟待解决：1. 数据不流通：数据地方保护主义盛行：各地区或部门出于自身利益考量，对数据进行封锁与割据，形成数据孤岛，严重阻碍数据在更大范围内的共享与流通，如同设置了重重贸易壁垒，使数据难以自由流动，无法发挥其整合后的巨大价值。2. 口径不统一：指标同名不同义、同义不同名现象频发：相同名称的指标在不同业务场景或部门中含义存在差异，反之，同一概念又可能被赋予不同的指标名称，这使得数据的理解与整合变得异常艰难，犹如不同语言体系下的混乱表达，极易造成沟通障碍与分析偏差。3. 工具不统一：各种 BI 工具百花齐放却缺乏整合：市场上 BI 工具种类繁多，每个工具都有其独特的功能与特点，但由于缺乏统一规划与整合，企业在使用过程中往往面临工具兼容性、数据迁移等诸多问题，如同各种风格迥异的乐器杂乱演奏，难以形成和谐的乐章。4. 边界不清晰：业务系统报表与 BI 报表职责界定模糊：业务系统报表和 BI 报表在功能、应用范围等方面没有明确区分，导致在数据呈现与分析过程中出现重复劳动、数据不一致等情况，仿佛两块相邻土地的权属不明，引发诸多争议与混乱。5. 权限难管控：复杂权限体系令人困扰：随着数据的增多与业务的复杂，权限管理变得极为复杂，不同层级、部门、岗位对数据的访问权限难以精准设定与有效控制，好似一座迷宫，管理者在其中迷失方向，容易出现权限漏洞或过度授权等风险。6. 响应不及时：贯穿所有部门的数据需求难以快速满足：各部门对数据的需求日益增长且多样化，但由于数据处理流程繁琐、资源有限等原因，数据提供方往往无法及时响应，导致业务决策因缺乏数据支持而延迟或失误，就像快递在漫长的运输途中耽搁，错过最佳使用时机。7. 指标不体系：指标关系树尚未构建完善：指标之间缺乏系统性的梳理与构建，未能形成完整的逻辑关系树，使得数据分析师难以从宏观层面把握数据全貌，在分析过程中犹如盲人摸象，只能获取片面信息，无法深入挖掘数据背后的内在联系。8. 指标难管理：基于指标平台的全生命周期管理亟待加强：指标从定义、采集、存储到应用、更新等整个生命周期缺乏统一有效的管理平台与规范流程，导致指标的准确性、一致性与时效性难以保障，如同没有管家的豪宅，物品杂乱无章，难以有效利用。9. 指标不准确：指标质量审计环节薄弱：对于指标数据的质量缺乏严格的审核与监督机制，无法及时发现与纠正数据偏差、错误或异常值，使得基于不准确指标得出的分析结果与决策建议可能产生误导，仿佛在错误的地图上导航，必然偏离正确方向。10. 指标不会用：缺少指标故事线辅助理解与应用：虽然有众多指标数据，但缺乏将指标串联起来形成有逻辑、有情节的故事线，导致业务人员难以理解指标含义与应用场景，无法将数据有效转化为实际行动方案，如同拥有众多珍珠却缺少串线，难以制成精美的项链。

工作请教一下，就是写hsql，执行的时候只能看到ds的日志，应该怎么调优？见了临时表，能看到有一段sql的时间比较长，但是那是简单的选取字段，可能有资源的问题，就是我平常自己在本地生产环境里跑这段sql就十一分钟左右，但是放调度，上面就要跑一个多小时解答：ds也有露出的applicationid呀，直接看日志，有可能是在等待资源分配，感觉不可能这么慢可以看看日志有没有成功提交任务看看任务里有没有资源 excutor 或 taskmanager

Timeline：2024.1.9 面试Boss直聘沟通面试流程：公司要求驻场开发，接受加班，接受出差你是25届是吧？能在六个月左右是吗？目前在校吗？后续有什么规划？你怎么理解数据开发这个岗位的？讲讲简历上这两个项目？是你在学校做的是吧？项目你是全程参与是吧？聊天这个项目的数据源是哪里来的呀？项目整体是落在HDFS上是吧？单一架构，嗷，然后可视化，是哇？下一个电商项目介绍一下？数据来源讲讲？那意思是已经讲，非结构化数据已经转换成结构化数据了是哇？进入MySQL中数据量有多少？数据拉取的工具是什么？MySQL增删改查了解不？接触过数仓分层没？具体讲讲你认为分层的优势是什么？有没有接触过其他的数据库？或者其他体系？讲一下用户日志分析的特定维度那么产出的一些指标呢？有哪些？项目面向一些案例化的群体是吧？维度考核的指标是什么？那你怎样保证数据一致性和完整性的校验?校园经历也是Hadoop这一套？你实习为什么做了3个月？实习经历的收获介绍一下实习过程中对你帮助比较大的点你认为实习经历和项目经历的区别处理数据过程中有没有什么比较困难的点，简单介绍一个你之前直接对接过客户吗？你对我们公司有过了解吗？出差有什么问题？多久能到岗呀？反问环节：团队和主要工作：为医院做数据治理，院内数据抽取分析，数仓模型开发，数据展示数据量级：亿级前期偏向离线还是实时：都有，根据业务场景会具体细分

投递时间：2024.11.2中午约面 （简单沟通能否接受上海办公）2024.11.3下午面试面试流程：面试连接：牛客网简单做下自我介绍你的这个实习经历主要是做后端Java开发么？略微涉及Python 主要是数据分析和策略输出接触过Java么？接触过一些语法基础和面向对象问一些计算机基础吧，网络的七层模型你还有印象么？没，物理层做一些基础硬件通信，传输层有TCP/IPTCP协议和UDP协议的区别，讲一讲数据结构相关的话，数组链表有了解过么？链表没有了解过么？你觉得数组和链表有什么区别么？红黑树有了解过么？MySQL底层是使用什么来存储？b+树b+树有什么特点？这个有了解过么？数据库的特性比如SQL可以有哪些优化？那你怎么知道它提升的效率怎么样？redis你有用过吗？没有那spring？啊哦对，你没用过Java，算了那我们简单来做一道题目吧，语言可切换成你熟悉的牛客 - 中等 - 重排链表不会，没思路题目的意思是，第一步要找到链表的中间节点，有思路么？没有你有什么想阐述的么？没

面试官是软件开发部经理自我介绍学校的地点实习和毕设以及学校安排冲突吗打算参加秋招的具体时间专业是软件工程是吧数学学过那几科呢概率统计中有平均值，标准差，中值，方差，具体讲讲定义以及计算方法正太分布如何计算，一般如何使用线性代数学的怎么样0的整数次方有哪几种结果呢那0的0次方呢那0的-1次方的那在程序中输入会出现什么呢在写程序中有遇到过0除这样的异常吗Python基础有多少如何使用Pandas库进行一些数据加载工作呢数据清洗的时候的量有多大，是如何加载的自己有做过编程相关的实践么如何使用python从Hadoop加载数据，具体描述一下过程Linux如何新增一个用户具体讲一下项目服务器多节点，这些负责做是么软件环境呢安装包是如何获取的项目中JDK和CentOS以及其他大数据组件的版本是团队是如何分工的项目是帮老师做的是吧项目有上线部署运行吗节点不够这个问题是怎样发现的实习时间是怎样规划的是在校本部是吗之前为什么去家电行业实习呢当时的实习薪资有多少为什么会去比较远的地点实习当时是找合适的方向不好找是么学校校园经历具体介绍，谈谈贡献以及对自己的帮助

科大讯飞一面实习面试流程：自我介绍平时用的最多的语言是用的最顺手的编程语言是Python学了多久数据库比较熟悉是吧之后偏向什么方向发展，我们这边偏向Python讲一下MapReduce哈希表，背后是哪两种数据结构分布式有哪些了解Docker有使用过么谈一下对数仓分层的了解简单介绍一下MySQL和NoSQL的区别如何使用SQL查询重复数据多表联合Linux中如何安装并配置Java的运行环境反问环节如果正常入职的话，后续打算通过学习和提升的地方简单讲讲一般会如何管理自己的编程项目，按照文件结构自己讲讲一个项目中具体的组织安排

自我介绍第一个项目中的成员分工数据规模是多少数据模型是怎样考虑的项目中有没有遇到过什么问题，是如何解决的当时考虑接外部软件是吧，为什么没有考虑在数据可视化部分自己做一些定制化的开发第二个项目是部署上线的，可使用的项目是吧SQL中做行列转换如何操作如何找到脏数据中十条重复数据并删除如果直接筛，可能导致被锁住，有其他办法么SQL中几种删除方式的区别索引有了解吗，有哪些索引的类型什么情况下会导致索引失效分区有了解过吗大数据量处理慢SQL的解决和优化方法雪花模型和星型模型的区别事实表和维度表有什么区别Hive中内外部表有什么区别Hive和Spark有什么区别Sqoop在项目中主要做什么如何用Sqoop实现增量数据的处理常用Linux命令具体讲解改文件执行权限用什么命令做定时任务用什么命令找到某一目录下，找到占用空间的最大的文件创建文件呢校园经历，写过PPT是吧

这些年辅助数据方向很多校招同学，转行同学，还有一些在职同学，学到了很多数据侧核心内容和突破某阶段的实际效果，很欣慰，也一样牛客给予我们社区更大的平台，助力数据同学再次突破自我！ 牛客简介你可能感兴趣，可以试试看    

一位数仓选手拿着他那狗屁不通，hr看了吃不下饭的简历找我来优化了，我也只能给他指导下核心数仓的简历咋写。大家加油            

引流 字节 阿里 腾讯 百度 京东           

毁约offer 你也可以