数据分析工具有哪些？（大厂面试必备）

大家好，我是爱踢球的阳仔。上期我们聊了业务分析师首先要了解业务，本期我们来聊聊业务数据分析师能力模型的第二项 - 数据分析工具。

所谓“工欲善其事必先利其器” ，一件称手的工具能够让我们事半功倍。

对于业务数据分析师来说，数据分析流程主要包括[数据获取]、[数据清洗]、[统计分析]、[数据可视化] 4部分。其中最常用的组合是 SQL + Excel + 可视化软件。

图1：业务数据分析各流程常用工具

Excel

Excel是最实用的综合数据工具，但是在实际生活中，Excel的真正被大家使用的只是一小部分。

函数、透视表可解决大部分问题； Power Query + Power Pivot可实现数据清洗及数据建模自动化；数据分析工具库可快速实现回归、方差分析、相关分析等常用统计分析。

如果Excel基础一般，建议先去刷两遍【王佩丰Excel实战课】，可以帮你解决大部分问题，网易云课堂有免费课。

如果常用Excel做周期报告的话，推荐学习Power Query + Power Pivot。

Power Query是Excel插件，也是Power BI的组件。提供了对各类型源数据的链接及预处理工作。Power Pivot可以处理查询、执行计划的数据刷新，结合数据透视、切片器和筛选器，可以做数据可视化和交互。

一般情况下，Power Query和Power Pivot是一起使用的，前者负责数据连接和清洗，后者进行计算和分析。可以报个小课系统学习，或者看看公开资料。

例如：学前必看 | Power Query爱好者 (pqfans.com)、微软官网的 PowerPivot - 概述和学习 - Excel (microsoft.com)

SQL

写SQL是数据分析师的基础要求，多数数据来源于数据库，在数据获取和数据清理环节都会用到SQL。写好SQL需要回答2个问题：1.数据从哪儿来？2.如何提取？

1.数据从哪儿来？

写好SQL的前提是熟悉数据表结构，简单来说就是数据从哪里获取，需包括数仓结构、各层内容、数据表的命名规则、数据计算周期等。熟悉公司数据表结构并不是个简单的事情，需要循序渐进。建议首先搞清楚常用的指标来源哪些表，再去熟悉公司数仓架构，最后结合工作需求逐渐学习其他数据模块的内容。

图2：滴滴顺风车实时数仓架构图

来源于滴滴技术公众号-《实时数仓在滴滴的实践和落地》

2.如何提取？

在熟悉数据表结构后，要实现日常的数据提取和分析，需要熟悉基本的查询语句结构及函数，包括select、distinct、where、and&or、order by、insert、update、delete等。

select 			        -- 查找    
  column1    
  , column2    
  , Sum(column3)		-- 函数
from table			    -- 来自table
where column1 = vluse	-- 条件
group by 			    -- 分组    
  column1    
  , column2
order by column1 desc   -- 排序

当数据量过大或数据结构复杂的时候，简单的数据提取就不能满足需求，需要掌握高阶语法（多表链接、子查询、开窗函数、多维度汇总、正则表达式等）。同时还需要了解Access，Oracle，Mysql，SQL Server，DB2等主流数据库的语法差异，建议做一个表整理常用函数的差异。

分类	解释	HIVE	SQL Server
日期函数	当前日期	current_date()	getdate( )
日期函数	自定义日期	date_format(date,'YYY-MM-DD')	format(date,'YYY-MM-DD')
日期函数	判断日期周数	weekofyear(date)	datepart(wk,date)
日期函数	周几	pmod(datediff(current_date(),'1900-01-08'),7)	datename(weekday,date)
日期函数	当月最后一天	last_day(current_date())	EOMONTH([DATE])