求职意向

大数据工程师 薪资面议 随时到岗

教育背景

2020.x -2020x 锤子简历大学 会计学

2020.x -2020x 黑马程序员 云计算大数据

工作经验

2020.x -2020x 锤子简历信息技术有限公司 Hadoop开发工程师

1、主要从事软件编码工作。
2、需求调研，需求分析，功能模块分析以及编码实现等。
3、调整整个项目的开发周期
4、参与系统的业务需求分析

项目经验

2020.x -2020x 她社区论坛分析 

系统架构： Spark+Hadoop+Flume+Hbase+Sqoop
项目描述： 她社区以女性社区为切入点，用户可自发根据自己的兴趣建立属于自己的圈子，发帖交友，通过对她社区网站的日志进行用户日志和安全日志进行分析，用户模块分析用户行为信息建立用户画像，计算网站关键指标PV，UV，注册用户数，独立ip数，跳出率等，安全模块分析服务器、防火墙等设备的日志，供安全审计系统使用，用于监控系统安全、进行可信取证等
业务描述 :
1.对日志数据分析清洗入库，根据客户需求对数据进行分析定期生成报表存储
2.对用户行为深度分析建立用户画像，并建立数据库存储
3.对网站设备建立预警机制，实时监控设备状况
主要责任：
1. 主要负责分析用户模块，应用Flume把日志数据导入到Hdfs中将 明细日志使用Hbase存储
2. 通过Spark对数据进行清洗 后进行多维分析 并将结果用Sqoop导出到MySQL中并提供图表和表格进行数据展示

2020.x -2020x 枫叶连锁酒店客户评价分析 

项目架构:Kafka+Hadoop+Hive+Spark+Sqoop
项目简介：面向酒店的咨询服务通过对酒店房间的住宿统计分析，帮助酒店提高收益。通过对酒店客户的用户画像分析，帮助酒店更好的了解客户。监控网络上的负面评价，及时作出处理，提升酒店品牌形象。
业务描述 :
1. 对酒店的数据进行收益模块，质量模块，竞争模块进行分洗
2. 舆情监控模块：覆盖主流评论平台，保证监测信息的全面 对信息进行实时采集，最短采集频率1次/分钟
3. 用户模块：为企业的客户分析人群画像，深度了解自己客户的基本属性、消费属性、行为属性等
主要责任：
1. 对收益模块进行分析使用Sqoop将将数据数据上传到Hdfs上相应的目录下，并应用Hive将数据存储，对数据处理分析收益
2. 通过Kafka获取流数据及时监控主流平台重要舆情信息，并通过Spark对数据分析实时反应预警

2020.x -2020x 乐玩家社区用户行为分析 

系统架构：Hadoop+Zookeeper+Flume+Hive+Hbase+Sqoop+SSM
项目描述：乐玩家社区是联想手机社区论坛，用于用户粉丝交流互动，同时发布联想手机的各个品 牌宣传信息，以及收集用户反馈，用户可以在上面发帖，提建议，发起各种交流活动，通过 对乐玩家社区网站的日志进行分析，计算网站关键指标，其中关键性指标有，PV，UV，每周UV。跳出率。板块访问 量pv，和板块独立ip访问量。多维度用户留存率等问题
业务描述 :
1. 根据每天产生的日志进行清洗入库，并对数据建立自动化分析，定期生成数据表
2. 对用户行为深度分析建立用户画像，并建立数据库存储
3.实时监控各个板块，建立热度监控
主要责任：
1. 使用Flume把日志数据导入到Hdfs中并 通过Spark对数据进行清洗
2. 使用Hive进行数据的多维分析将分析结果使用Sqoop导出到MySQL中
3. 提供图表和表格进行数据展示

2020.x -2020x 电商网站商品信息分析 

系统架构：Hadoop+Zookeeper+Hbase+Solr+Flume+Kafka+
                Storm
项目描述： 对各大电商网站的指定商品类型数据的基本信息进行对比分析，给用户提供一个推荐商品的一个功能平台。整个项目分为四大模块：数据采集，数据存储，数据处理，系统监控。 数据采集主要从电商网站上面爬取相应的商品信息，比如商品的图片，商品的价格，商品的详细参数等。数据存储主要是把从电商网站上面爬取来的数据，根据数据的类型不同，存储到指定的数据仓库中。 数据处理我们需要对Hbase的原始数据建立索引，方便用Solr进行查询。系统监控我们使用Zookeeper对各节点的信息进行监控，使用log4j记录日志，先写入到kafka，后台的Storm程序对数据进行消费汇总，最后将数据存入到MySQL中 。
业务描述 :
1. 负责系统的监控，利用Zookeeper对集群中的各个节点进行监控，当其中的有节点宕机了，会用邮 件通知运维人员进行相应的处理
2. 负责将获取来的数据信息存放到Hbase数据库中，并且对数据建立索引等操作
主要责任：
1. 对采集的数据进行存储，根据数据的类型和运用场景不同，分别存放到Hbase中并使用web前端框架,对数据进行展现
2. 同时对采集的商品信息通过Solr建立索引，方便后续查询
3. 系统监控，主要是正对于集群中的硬件以及集群的节点的运行状体进行监控

自我评价

参与过多个项目的开发，熟悉常见业务处理，能快速融入团队； 逻辑思维能力强，思路清楚，学习能力强，对新技术有着强烈的好奇心； 乐于与用户以及同事和领导沟通，以便快速解决项目遇到的问题； 具有良好的英语阅读能力，能阅读英文资料、技术文档等