岗位职责:1、机票业务数据仓库的建设与优化以及日常数据需求开发。2、有业务sense，理解并合理抽象业务需求，构建面向产品策略等相关的数据模型。3、协助产品人员基于数据驱动产品迭代。4、参与数据治理工作，提升数据易用性及数据质量，统一数据口径，制定数据标准化规则。5、负责 ETL 流程的优化及解决 ETL 相关技术问题。6、负责日常数据仓库的监控、分析、性能调优、故障诊断与排除等工作。职位要求:1、本科或以上学历，计算机相关专业:2、熟悉数据仓库各类建模理论，以及数据仓库数据层级关系，具备数据仓库逻辑模型和物理模型设计经验。3、熟练掌握 Java、Scala、Python、SQL、Shell ...

岗位JD职责大数据集清洗 分析 质量评估大数据系统搭建和优化 赋能数据清洗流程混合数据清洗调研训练NLP模型 OCR文字提取技术要求熟悉python数据分析和处理掌握Linux系统 熟练常用命令 熟悉数据结构与算法 操作系统基本知识熟悉Hadoop Spark加分项：熟悉大语言模型 NLP OCR ML深度学习技术一面自我介绍实习经历 在武汉的实习经历 数据分析师 主要是做什么 数据清理的方法 缺失值填充用的什么方法比赛 大数据的比赛 个贷违约预测比赛 介绍一下用的什么模型 前30%树木径向分析 用的什么模型 没有听过 介绍下做两道题 python做的两和=s 反问 你有什么想问的吗想问问面试...

岗位JD使用大数据组件对海量数据进行建模，参与数据仓库的的开发、维护及优化岗位要求计算机相关专业，对大数据有浓烈的兴趣 扎实的计算机基础，熟练使用python/java/scala其中至少一种语言 熟悉Hadoop生态体系，包括但不限于Hadoop/Hive/Spark/Clickhouse 学习能力强，强烈的责任心，具有较强的沟通能力及团队合作精神，细致耐心、积极主动 有大规模数据/日志处理经验，熟悉离线计算者优先一面自我介绍对数仓分层、维度建模有什么相关的了解。数仓分层答的不是很好 磕磕绊绊 得加强 维度建模还行项目是都跟着走完了还是？维度建模分数据域和分层 主题域 分了哪些数据域 数据...

select artical_id, max(instant_viewer_cnt) max_uv from ( SELECT artical_id, dt, sum(diff) over (partition by artical_id order by dt,diff desc)instant_viewer_cnt FROM ( SELECT artical_id, in_time AS dt, 1 AS diff FROM tb_user_log WHE...

select date_format(in_time,'%Y-%m-%d') as dt, round(sum(unix_timestamp(out_time)-unix_timestamp(in_time))/count(distinct uid),1) as avg_viiew_len_sec from tb_user_log where date_format(in_time,'%Y-%m')='2021-11' and artical_id != 0 group by date_format(in_time,'%Y-%m-%d') order by avg_viiew_l...

结果 select avg(if (datediff(date2, date1) = 1, 1, 0)) as avg_ret from ( select distinct device_id, date as date1, lead (date) over ( partition by device_id order by date ...

结果 select q2.difficult_level, round(sum(if(q1.result='right',1,0))/count(q1.result),4) as correct_rate from question_practice_detail q1 left join question_detail q2 on q1.question_id = q2.question_id where q1.device_id in (select device_id from user_profile where university='浙江大学' ) gr...

结果 select up.device_id, university, ifnull(qpd.question_cnt,0) as question_cnt, ifnull(qpd.right_question_cnt,0) as right_question_cnt from user_profile up left join ( select device_id, count(question_id) as question_cnt, sum(if(result='right',1,0)) as right...

select device_id,university,gpa from ( select *, row_number() over (partition by university order by gpa) as rn from user_profile ) as t2 where rn=1 order by university 子查询中用窗口函数，按university分组 组内按gpa升序排序 再选择出第一个gpa

select substring_index(substring_index(profile,',',3) ,',',-1) age,count(*) number from user_submit group by age substring_index(FIELD, sep, n)可以将字段FIELD按照sep分隔：(1)当n大于0时取第n个分隔符(n从1开始)之前的全部内容；(2)当n小于0时取倒数第n个分隔符(n从-1开始)之后的全部内容；先取出180cm,75kg,27 再取 27

select day(date) as day, count(question_id) as question_cnt from question_practice_detail t1 where t1.date like '2021-08%' group by day select day(date) as day, count(question_id) as question_cnt from question_practice_detail where date_format(date,'%Y-%m') = '2021-08' group by day

select university, difficult_level, round(count(t2.device_id)/count(distinct t2.device_id),4) as avg_answer_cnt from user_profile t1, (select q1.device_id,q1.question_id,q2.difficult_level from question_practice_detail q1,question_detail q2 where q1.question_id=q2.q...

select university, difficult_level, round(count(t2.device_id)/count(distinct t2.device_id),4) as avg_answer_cnt from user_profile t1, (select q1.device_id,q1.question_id,q2.difficult_level from question_practice_detail q1,question_detail q2 where q1.question_id=q2.q...

select university, round(count(result)/count(distinct t2.device_id),4) as avg_answer_cnt from user_profile t1,question_practice_detail t2 where t1.device_id = t2.device_id group by university order by university