求职意向

后端开发 山西太原 薪资面议 随时到岗

教育背景

2020.x -2020x 锤子简历大学 会计与审计

工作经验

2020.x -2020x 锤子简历信息技术有限公司 python开发工程师

• 负责大量爬虫得开发
• 根据公司设计文档或需求说明独立完成功能模块的编写工作；
  

• 与公司产品工程师、前端工程师进行沟通，实现公司Web产品后台研发；
  

• 完成站点系统代码的实现，编写代码注释和开发文档；
  
• 通力合作，与项目团队分析并解决日常开发过程中的问题；
• 协助测试工程师完成功能模块中基础功能的测试及 Bug 修改，修复程序缺陷
  

项目经验

2020.x -2020x 爱多商城 

• 项目名称：裁判文书爬虫开发
• 项目环境：scrapy

• 项目职责： 裁判文书，为公司的一大重点爬虫，我负责维护以及改版重新开发，其中大大小小改版10余次，目前还在正常运行，其中运用到了种子保全，nodejs破解等的服务，种子保全主要是因为爬虫是需要消耗种子以达到搜索的目的，以往的种子类型爬虫，主要是将种子存放到ssdb中，爬虫在ssdb队列中，获取种子进行搜索，但由于裁判文书的种子，会有无效种子，也会有失败的案例，为了更好的统计以及尽量不丢失种子，爬虫接入了种子保全，流程为，将种子依旧灌入到ssdb队列，但种子保全服务，需要将灌入的种子实时的迁徙到mongodb中，并且给每一个种子增加一个唯一id，以及一个时间戳，这个时间戳的用处是如果该种子被取走但抓取失败后，并不会从mongodb中消失，而是会设置一个字段来标记已经是被消耗的种子，等到第二天才会把标记抹除。爬虫会调用单独的接口去获取种子，等到抓取完毕之后调用删除接口将该种子删掉，如果爬虫根据该种子没有搜到数据，调用单独接口，指定状态码，再将该种子删除。nodejs服务主要是为了破解网站将cookie加密，调用指定方法，破解js，获取到正确的cookie，其中该爬虫也用到了des3破解，使用python语言加密的参数解密。

2020.x -2020x  

• 项目名称：采集平台
• 项目简介：统一管理爬虫并所有爬虫进行异常监控
• 项目环境：Flask+ Linux + MySQL +Django+ssdb+ Redis 
  

• 项目职责： 该平台主要是用来管理爬虫的一个采集平台，其中有任务管理，监控中心，智能监控，定时器管理，数据查询，项目和分类几大模块，其中任务管理主要是为了统一管理爬虫的停止及启动，也可以统计爬虫的抓取量，监控中心，也是监控每天所有爬虫的统计量，智能监控则是监控有无异常爬虫及异常原因，定期会将异常爬虫整理以邮件的形式发送给维护人，定时器管理为增加及修改定时器，关联到任务本身，定时启动，数据查询也可以查询指定爬虫的原文数量及结果数量，项目和分类则是将爬虫归类到不同的分类中，以便统一管理。
  

2020.x -2020x 食文化 

• 项目名称：澄镜项目
• 项目环境： MySQL + SSDB + Redis + scrapy
  
• 项目职责： 爬虫框架的调试，将数据库与框架连接，以及进行爬虫的开发

自我评价

• 本人为人诚恳、乐观向上、拥有较强得适应能力；
• 富有团队精神和团队意识，热衷于学习新技能