锤子简历品牌推广师
大数据开发工程师个人简历模板范文
作者:锤子简历 2022/02/10 04:50:00
阅读 969

求职意向

大数据开发工程师 浙江杭州 薪资面议 随时到岗

教育背景

2020.x -2020x 锤子简历大学 计算机技术

研究方向云计算大数据,发表两篇论文(EI检索)

2020.x -2020x 锤子简历大学 计算机科学与技术

信息安全方向

工作经验

2020.x -2020x 锤子简历信息技术有限公司 大数据开发工程师

物联网中心-大数据部-基础技术组,负责实时分析系统、ETL系统的开发维护。


    独自开发完成新再灵实时分析系统(电梯画像,运行数据统计等功能),支撑10W台设备5种数据源(PB级)稳定运行。
    独立开发杭州市电梯管理预警系统(96333)ETL部分,抽取杭州市登记电梯数据整合后提供数据报表分析使用。

2020.x -2020x 锤子简历信息技术有限公司 大数据开发工程师

大数据研究院-数据库服务组,负责开发大华云数据库及部门间协作任务。


参与开发大华云数据库2.0版本,数据备份与恢复模块。使该版本数据库支持多介质备份恢复。
参与开发大华视频云平台1.90版本(大华首个云平台项目),saas层模块。






项目经验

2020.x -2020x 新再灵实时分析系统 软件开发工程师

    项目描述: 该系统基于storm流式计算框架处理电梯传感器数据,实现对电梯数据的实时分析,支持按电梯编号订阅信息流。分析结果发往redis、kafka,为后续数据展示及复合分析使用。

项目职责:
1、开发新的拓扑网路,整合多种类型传感器数据,生成电梯画像系列数据,实时展示电梯运行里程,运行状态等信息,支持10w台以上设备无延迟稳定运行。
2、优化系统性能:1)解决storm-kafka连接数据消费缓慢问题,阅读storm相应源码,定位并修改相关代码,使kafka消费速度得到大幅提升。
                              2)优化业务逻辑,整合各个拓扑数据源,做到每个数据源只消费一次,减轻数据流量压力,解决出现的内存移除问题。

2020.x -2020x 新再灵数据迁移系统 软件开发工程师

项目描述: 该系统基于spark框架,是实现多种数据源之间的数据迁移、清洗、整合、存储功能的ETL工具。

项目职责:
    1、开发杭州电梯管理预警系统(96333)ETL部分,使用spark与mybatis,支持数据的全量及增量处理。优化数据处理耗时。
    2、针对特定需求,实现数据迁移、清洗、存储功能。包括csv,kafka、mysql、hbase、hdfs各数据源之间的定时迁移任务。

2020.x -2020x 大华数据库中间件 软件开发工程师

     项目描述:大华通用Mysql数据库主备同步数据库中间件,提供主备选举、心跳保活、数据同步功能。

    项目职责:
     交接维护该工程并根据公共需求进行二次开发。 通过结合MySQL onlineDDL与pt-osc工具,实现不中断服务前提下的Mysql表结构升级。

2020.x -2020x 大华视频云1.0 软件开发工程师

    项目描述: 大华战略项目,支持云平台的视频实时查看、录像文件的回放、智能分析等功能。 

    项目职责: 在该项目中负责HA模块的开发以及视频回放相关restful接口的编码。  
    1)HA功能的开发,通过发送、监听心跳的方式感知机器是否在线,处理主备选举与脑裂等情况。出现主机故障时及时切换备机承担业务确保业务实时访问。
     





    2)视频回放功能的编码(SaaS层),视频云支持视频实时播放与录像回放。 录像回放功能与大华云存储交互获取录像的URL解析后查询数据库得到录像起始位置与帧信息

2020.x -2020x 大华云数据库2.0 软件开发工程师

    项目描述:

    基于开源组件的分布式数据库,使用开源组件有:HDFS、HBase、solr、spark。主要功能有:
1、数据导入:支持从Oracle、Mysql、parquet文件、csv文件导入数据至Hbase并在solr中建立索引。
2、数据备份:支持将数据备份至HDFS、FTP、EFS(大华云存储)三种介质并从介质中恢复数据。
3、数据查询:使用restful架构,通过通过nosql的方式查询数据。
    项目职责:
    1)开发备份恢复模块,通过HDFS客户端,访问集群资源,将HBase文件由分布式文件系统备份至本地存储,支持全量、增量、按文件三种备份方式,并将本地存储的备份文件选择按日期,按文件恢复至分布式集群。
    2)开发数据查询模块的缓存管理功能,查询模块使用spark作为计算引擎,产生的查询结果为Spark RDD,缓存管理提供基于时间的缓存管理方式,控制数据集的生存周期。

自我评价

本人性格活泼开朗,有良好的沟通能力,责任心强事业心强,有不服输和吃苦耐劳的精神,学习能力强,喜欢接触新生事物

内容来源说明:本文章来自网络收集,如侵犯了你的权益,请联系QQ:2772182309进行删除。