摘要： 最近大家一直在关注滴滴的相关消息，相信大家或多或少都有了解。一方面是大家发现打车现在已经离不开滴滴，滴滴的影响力已经不知不觉超乎我们的预期；另一方面就是比较敏感的用户网络隐私安全。滴滴作为目前国内领头的打车服务提供商，对中国互联网业务延伸拓宽是有积极作用的，这一点毋庸置疑，但是随着影响力加大，市场垄 阅读全文

摘要： 现在大数据时代，爬虫工作者已经成为互联网数据公司的关键性职位，他们不但要精通数据抓取和分析，其次还要熟悉搜索引擎和相关检索算法，对各种算法都要有一定的了解。并做工作进程编排合理的布局。 爬虫有很多的方式，但Java爬虫是开发中应用最多的一种网页获取技术，速度和性能一流，在功能支持方面显得较为底层。而 阅读全文

摘要： 今天是6月21号 ，夏至，夏至是夏天的第四个节气也是二十四节气中的第十个节气。太阳行至最北处，昼变最长，夜变最短，夏至之后，白昼渐短，来自太阳的热量虽然逐步减少，但依然大于热量散失，所以天气继续趋热，这就意味着让人恐怖的“三伏天”就要慢慢降临了。 前几天还是二十多度的舒适温度，很多地方一下子就升到3 阅读全文

摘要： 端午假期临近，大家都在计划出游行程。端午假期因为时间较短，很多人出游以探亲、旅游度假等短途旅行为主。而坐飞机是我们出游经常选择的交通方式，不过从新闻里面我们看到在假期即将来临之际大部分航线还有大量折扣机票，和“五一”的全价票早早售罄不同。甚至有航线机票较“五一”价格下降了三成。另外，“3小时旅行圈” 阅读全文

摘要： 国家邮政局实时监测数据显示，截至6月1日，今年我国快递业务量已突破400亿件，日均业务量超过2.66亿件，日均服务用户超过5亿人次。国家邮政局预计，2021年全年快递业务量将超过950亿件，这个数据是否有你的功劳？ 我们经常在网上买了东西后会根据快递的物流单号查看物流信息，可是这些物流单号是从哪里来 阅读全文

摘要： 最近关于第27白玉兰奖的热度比较火，5月21号上海电视节主办方公布本届电视节白玉兰奖入围名单，自公布后，讨论的声音层出不穷，从名单来看，今年入围作品创作品质整体偏高，最佳电视剧、“视帝”“视后”等大奖依然竞争非常的激烈。 最佳中国电视剧单元中，《大江大河2》《觉醒年代》《跨过鸭绿江》《流金岁月》《三 阅读全文

摘要： 辽宁又有病例了，中招的是位沈阳大爷。大家被新闻震一懵的同时，又照例研究起大爷的行程轨迹。结果全国人民发现了一位沈阳民间美食家。大爷平均每天下两次馆子，鸡架、炖肉、抻面，硬把流调记录整成了沈阳美食攻略，来旅游直接照着吃一圈，没毛病。三天三次鸡架的好胃口，更让人发出天问：沈阳鸡架到底有多好吃？每次流调记 阅读全文

摘要： 大部分商业网站需要我们登录后才能爬取内容，所以对于爬虫来说，生成cookies给代理使用成为了一个必须要做的事情。今天我们交流下关于使用selenium访问目标网站遇到的一些问题。 因为业务需求我们需要采集小红书的一些数据，程序在挂上代理访问目标网站的时候弹出了验证框。如图所示 这个问题从来没有遇到 阅读全文

摘要： 美团的反爬机制是非常完善的，在用selenium登陆淘宝的时候发现美团能检测到并弹出滑块，然后无论怎么滑动都通过不了，在经过一番搜索后发现很多网站对selenium都有检测机制，如检测是否存在特有标识 。接下来我们简单分享下使用代理访问美团进行数据采集。 示例如下： # -*- coding:UTF 阅读全文

摘要： 今天我们来聊聊关于购买代理的一些基本的知识。现在有很多的行业都会使用到代理ip，因此网络上也有很多的代理商。在我们咨询代理的时候有的商家会介绍自己的代理是100%可用率来稀吸引用户，诱导那些不懂的新手用户进行购买。还有就是偷换概念，比如用一个IP成功了，用10个IP成功了，就号称这10个IP有100 阅读全文