MySQL+Hadoop+DataX+Flume+Hive+Spark+DolphinScheudler+Python+Shell+Superset等

1.基于电商的业务数据需求分析和指标体系建立
2.原始数据(业务数据和日志数据)探索
3.用户、商品、订单、订单详情、订单支付、收获地址、供应商、时间维度、地区维度等相关业务数据全量和增量同步
4.业务数据同步任务开发、上线、测试及数据同步问题的数据补跑
5.用户浏览、点击、交互、启动、安装、滑动、输入和搜索等相关行为数据采集和任务上线运行
6.广告投放外部数据采集和任务上线运行
7.用户、订单、交易、营销等主题的DWD、DWS和ADS层开发
8.维度层数据加工与开发处理
9.ADS层数据导出到MySQL，配置相关任务，上线运行
10.使用Superset BI可视化工具实现各个主题报表配置、看板配置与看板发布

ECS、RDS、DataHub、MaxCompute、DataWorks、QuickBI

1 部署一站式ODPS大数据环境
2 探索商城多种C端、B端和物流端等业务与数据，梳理相关业务指标体系
3 ODS层建立对应模型，应用ODPS的数据集成模块，将业务数据同步至ODS层
4 DWD和DIM层数据建模，将ODS层数据加工处理到DWD和DIM层
5 构建DWS层用户行为、商品、购物车和订单等宽表模型，并将DWD层数据加工到对应的宽表
6 ADS面向应用构建需求模型，将DWS层的数据再次加工到ADS层各个表中
7 使用QuickBI制作数据报表与可视化看板操作
8 数据质量监控开发和数据权限控制设置

Hadoop、Hive、Spark、DolphinScheudler、Hue、Shell

1 用户和课程标签体系建设
2 ID-Mapping打通
3 用户基础标签与聚合标签模型构建与加工
4 物品基础标签与聚合标签的模型构建与加工等
5 画像标签落盘与维护
6 画像标签的应用与服务

MySQL、Kafka、Hadoop、Hive、Spark、ClickHouse、Superset、Hue、DolphinScheduler 或采用阿里云大数据服务

1 电商业务需求讨论与评审
2 业务评审、架构评审和技术评审
3 电商相关指标体系，用户、订单、交易和商品等主题划分
4 相关类别、地域和品牌等维度层数据加工，数据仓库各层模型构建
5 电商业务数据同步和指标计算的任务排期、任务测试与上线部署
6 使用BI工具进行主题数据报表和看板制作与发布
7 企业级大屏数据抽取、加工、推送、露出全流程数据加工流转方式

MySQL、Kafka、Hadoop、Hive、Spark、ClickHouse、SuperSet、Hue、DolphinScheduler 等

1 问答系统业务需求讨论与评审
2 问答系统数据仓库架构构建
3 问答系统相关指标体系，用户、问答和互动等主题划分及各层模型建设
4 业务数据和行为数据的同步与采集
5 用户、问答、互动和行为相关指标的计算
6 使用可视化工具对相关指标和数据进行展示
7 相关任务调度与上线配置