onionono

摘要： 一、写在前面 在上一篇博客中提到过对于网络爬虫这种包含大量网络请求的任务，是可以用Celery来做到加速爬取的，那么，这一篇博客就要具体说一下怎么用Celery来对我们的爬虫进行一个加速！ 二、知识补充 1.class celery.group group这个类表示创建一组要并行执行的任务，不过一组 阅读全文

摘要： 一、Celery简介 Celery是一个简单，灵活，可靠的分布式系统，用于处理大量消息，同时为操作提供维护此类系统所需的工具。它是一个任务队列，专注于实时处理，同时还支持任务调度。 所谓任务队列，是一个逻辑上的概念，可以将抽象中的任务发送到指定的执行任务的组件，任务队列可以跨线程或机器运行。 Cel 阅读全文

摘要： 一、写在前面 之前写的爬虫都是单机爬虫，还没有尝试过分布式爬虫，这次就是一个分布式爬虫的初体验。所谓分布式爬虫，就是要用多台电脑同时爬取数据，相比于单机爬虫，分布式爬虫的爬取速度更快，也能更好地应对IP的检测。本文介绍的是利用Redis数据库实现的分布式爬虫，Redis是一种常用的菲关系型数据库，常 阅读全文

摘要： 一、写在前面 我写爬虫已经写了一段时间了，对于那些使用GET请求或者POST请求的网页，爬取的时候都还算得心应手。不过最近遇到了一个有趣的网站，虽然爬取的难度不大，不过因为表单提交的存在，所以一开始还是有点摸不着头脑。至于最后怎么解决的，请慢慢往下看。 二、页面分析 这次爬取的网站是：https:/ 阅读全文

摘要： 一、写在前面 在Web开发中，数据库操作是很重要的一部分，因为网站的很多重要信息都保存在数据库之中。而Flask在默认情况下是没有数据库、表单验证等功能的，但是可以用Flask-extension为Web应用添加这些功能。 二、Flask SQLite SQLite是一款轻型的数据库，是遵守ACID 阅读全文

摘要： 一、问题描述 环境：MySQL 8.0 + Windows 由于密码错误或者其他原因导致无法连上MySQL服务，如下图： 二、解决方案 解决该问题的具体步骤如下： 1.关闭MySQL服务 以管理员权限运行cmd程序然后输入net stop mysql，或者运行services.msc 然后找到MyS 阅读全文

摘要： 一、写在前面 我在以前写过一次12306网站的爬虫，当时实现了模拟登录和查询车票，但是感觉还不太够，所以对之前的代码加以修改，还实现了一个订购车票的功能。 二、主要思路 在使用Selenium做模拟登录12306网站的时候，需要将登录成功后的Cookie保存下来，这个Cookie在后面是必需的。然后 阅读全文

摘要： 一、写在前面 最近复仇者联盟4正在热映中，很多人都去电影院观看了电影，那么对于这部电影，看过的人都是怎么评价的呢？这时候爬虫就可以派上用场了！ 二、主要思路 首先打开豆瓣电影，然后进入复仇者联盟4的详情页面：https://movie.douban.com/subject/26100958/，下拉页 阅读全文

摘要： 一、常见编码 ASCII：ASCII码即美国标准信息交换码(American Standard Code for Information Interchange)。由于计算机内部所有信息最终都是一个二进制值，而每一个二进制位（bit）有0和1两种状态，因此八个二进制位就可以组合出256种状态，这被称 阅读全文

摘要： 一、写在前面 首先呢，由于之前重装系统，又要重新配置环境，然后还有一些别的事，导致我一直没有写爬虫了，不过现在又可以继续写了。 然后我这次说的模拟登录新浪微博呢，不是使用Selenium模拟浏览器操作，毕竟Selenium的效率是真的有些低，所以我选择用Python发送请求实现模拟登录，整个过程还算 阅读全文