某搜索网站招聘：爬虫开发工程师 25-40K，现学现投系列文章20230312

C++ Python

职位职责：（主要工作内容的说明，请分条目填写）

1. 为搜索产品提供数据抓取支撑，熟练掌握网页和客户端爬虫抓取技术。
2. 具有网页和垂直爬虫系统架构设计能力，对系统高可用和云平台有一定经验。
3. 根据公司产品和业务需求，设计开发爬虫系统，维护已有系统和业务。
4. 基础代码的实现、测试、改进。
5. 相关系统设计文档的编写。
   任职要求：（应包括工作经验、职业技能、所学专业、最高学历、外语语种、优先考虑条件等内容。）
6. 正规全日制高等院校毕业生，计算机或电子相关专业本科及以上学历，三年及以上相关工作经验。
7. 掌握计算机网络原理，对TCP/IP，HTTP/HTTPS协议有深入理解；对抓包工具Charles，模拟请求工具Postman有深入了解；对主流浏览器Chrome/Firefox等，会使用断点调试网页源码；
8. 掌握C++/Python/JavaScript等语言，熟练掌握C++语言，会使用STL和常用算法；熟悉Python以及requests库等，熟悉使用Pyppeteer库和JavaScript逆向技术优先；
9. 熟悉AnyProxoy，MitmProxy代理工具，熟悉Redis、MySQL、MongoDB和RabbitMQ、Kafka等消息中间件;了解Android应用脱壳或苹果XCUITest框架开发优先；
10. 具有优秀的系统设计及编码能力，追求优雅的设计和优秀的代码质量；
11. 有docker使用经验、了解kubernetes等容器编排工具优先；
12. 对Zookeeper、Hadoop、HBase、MapReduce、Spark等一项或多项有使用经验者优先；