一.需求分析 通过与相关人员沟通交流等了解大数据建模的需求背景、主要目的，以及明确建模的目标。二.数据收集a.利用现有数据：内部的或者网络上开源整理的。b.埋点采集：在页面进行数据埋点记录用户行为实时采集。c.通过网络爬虫在互联网上爬取所需数据。d.购买数据或标注师手动标注。三.数据存储a.结构化、数据量有限的采用关系型数据库存储（MySQL、Oracle）。b.非结构化数据采用NoSQL数据库（MongoDB）进行存储。c.少量高频使用的采用内存型数据库存储（Redis、Imdb）。d.海量数据采用Hadoop平台存储。e.针对实时性数据采用流处理平台（Storm、Flink）进行处理后存储...
