基本信息

姓名：锤子简历

年龄：23岁

电话：159****4849

邮箱：368804****@qq.com

经验：1年

意向：大数据工程师

教育背景

时间：2011-09 - 2015-07

学校：锤子简历大学 | 专业：计算机科学与技术 | 学历：本科

工作经历

工作时间：2010-03 - 2014-05

公司名称：锤子简历信息技术有限公司 | 所在部门：软件与服务事业集团/数据解决方案事业部 | 所在岗位：高级软件测试工程师

工作描述：

1）进行测试需求分析，制定测试计划，合理分配测试资源；

2）设计开发测试用例，开发相关自动化测试框架及工具

3）负责产品集成测试（功能，性能，稳定性），报告并追踪产品问题，提供系统测试及验收报告

4）与开发团队紧密合作，分析系统性能瓶颈，提供优化意见

5）优化软件质量保证流程，提高效率及实用性

工作时间：2015-11 - 2017-09

公司名称：锤子简历人才咨询有限公司 | 所在部门： | 所在岗位：大数据工程师

工作描述：

根据需求，负责相关大数据应用模块设计；

参与大数据产品的数据分析、数据模型、功能设计及产品研发工作；

研究各种数据清洗，修复方法；

研究大数据有关的数据分析方法；

负责有关大数据分析产品的设计和开发。

项目经历

项目时间：2016-09 - 2017-09

项目名称：交互式实时数据分析平台

项目描述：

项目介绍

项目名称 : 交互式数据分析系统（准实时数据分析平台）

技术架构 : Hadoop+Flume+Kafka+Sqoop+Spark+Zookeeper+JDBC+Hive+Mysql+Highcharts+FreeMarker

开发环境 : Linux+Window+IDEA+Maven+Tomcat +JDK+SVN(版本管理工具)

项目描述 : 该系统是一个交互式用户行为分析系统。系统的主要用户为公司内部的PM和运营人员，用户根据自己的需求去

分析某一类客户的流量数据。根据分析结果，PM可以优化产品设计，运营人员可以为自己的运营工作提供数据

支持。用户在系统界面中选择某个分析功能对应的菜单，并进入对应的任务创建界面，然后选择筛选条件和任务

参数，并提交任务。在接收到用户提交的任务之后，根据任务类型选择其对应的Spark作业，启动一条子线

程来执行Spark-submit命令以提交Spark作业。Spark作业运行在Yarn集群上，并针对Hdfs中的海量

数据使用SparkSQL进行计算，最终将计算结果写入Hdfs中。另外还集成Flume，Kafka和Spark,

利用SparkStreaming，进行实时分析。用户通过系统界面查看任务分析结果，将结果返回给界面进行展现。

项目职责 :负责项目的集群搭建部署，需求分析, 参与库表的设计及代码的编写和测试优化工作

开发步骤 : 数据收集阶段：Flume采集供应商接口上的数据,实现flume自定义拦截器,满足业务需求。

Kafka拉取flume上的数据传给sparkStreaming进行数据处理（实时ETL的程序），ETL处理的数据保存到Hdfs中。

数据处理阶段：SparkCore处理Hdfs上的数据，通过RDD进行离线处理和Dstream准实时处理之后保存到Hdfs中。

数据展示阶段：通过JDBC连接Hdfs处理好的数据，进行图表展示。

功能模块 : 用户访问会话（session）分析模块，页面跳出率统计分析模块，

各区域热门商品统计分析模块，广告点击流量实时统计分析模块

我的职责

项目时间：2014-11 - 2017-09

项目名称：Intel新一代数据中心平台的性能评测及调优

项目描述：

项目介绍

Intel内部合作项目 -- 对数据中心平台新一代产品发布提供性能评测及调优

我的职责

负责基于大数据测试基准(TPCx-BB，TPC-DS等)，对新一代数据中心平台进行基本性能评估。

负责对新一代数据中心平台进行性能调优（涉及Hadoop, Java, OS, BIOS等几个层面），充分挖掘系统软硬件资源的能力。

撰写内部技术报告，提交给数据中心部门进行审核。

个人评价

熟悉hadoop生态圈一些开源组件flume、sqoop、zookeeper等，熟悉Java，Linux，熟悉关

系型数据库mysql、oracle，熟悉数据仓库hive，会写SQL语句，熟悉yarn工作原理及

mapreduce原理，了解hbase，spark，spark_rdd

性格开朗，为人细心，做事一丝不苟，能吃苦耐劳，工作脚踏实地，有较强的责任心，

具有团队合作精神，又具有较强的独立工作能力，思维活跃。

个人技能

能够安装、部署、Hadoop2.x集群，熟悉Hadoop生态系统的相关产品，熟悉HDFS分布式文件系统，Sqoop数据库ETL工具，Flume日志收集，MapReduce分布式计算框架，熟练掌握Sql/Hql的编写，Zookeeper分布式协作，Yarn资源管理器，Hive数据仓库，HBase实时协作数据库，熟悉Spark内存计算，熟悉MySQL/ORACLE数据库安装、管理、调优、备份、容灾、安全等技能一般,熟悉MapReduce编程。熟悉Linux操作系统，熟悉shell，熟练运用SecureCRT, Xshell，MyEclipse，FileZilla Client等应用软件。