求职意向

数据研发工程师 薪资面议 随时到岗

教育背景

2020.x -2020x 锤子简历大学 机械设计制造及其自动化

工作经验

2020.x -2020x 有数金服 大数据工程师

公司大数据基础平台的建设，处理和提取数据

2020.x -2020x 博彦科技 大数据工程师

数据仓库开发

项目经验

2020.x -2020x 浙江省政府数据清洗平台项目 核心开发程序员

参与浙江省大数据平台的建设，构建了以HDFS为基础，Spark Streaming，Hive作为数据处理工具，Hbase及Phoenix作为数据存储查询的大数据平台。在数据平台的基础上，使用datax从各省市的Mysql、Oracle采集数据，参与设计并实现了一整套数据治理和管理体系。在2017年中旬交付给省政府

2020.x -2020x E化平台 数据仓库开发

基于spark采集平安金管家等APP的日志，转换成hive表。针对hive进行udf函数开发，补充Hive没有的函数。基于python开发了oracle sql到hive sql的转换工具，可以简单的转换Oracle的存储过程到hive sql，自动生成Oracle到Hive的Sqoop数据同步脚本。

2020.x -2020x 知鸟直播数据集市 数据仓库开发

维护已有的数据报表，整理元数据以及整个报表的加工逻辑，并修复了大量的数据问题。主要使用工具Hive

2020.x -2020x 互联网集市 数据仓库开发

基于互联网保险销售数据，建立数据管理体系，构建一套以代理人，客户，app操作，app促销活动四个主题的数据集市。

自我评价

1.深入掌握Python、Scala。可以使用Java开发udf函数。
2. 熟悉分布式系统的原理，在微信公众号写了一系列关于存储，一致 性，数据复制等分布式系统的文章
3. 熟悉Hive，Spark，Sqoop，Datax，Hbase等Hadoop生态圈工具
4. 熟知数据仓库模型的建立以及HiveSql优化。