大明湖畔的守望者

摘要： 近期，我想爬一批新闻资讯的内容。新闻类型的网址很多，我想看看有没有一个网页上能包罗尽可能多的新闻网站呢，于是就发现了下面这个网页 http://news.hao123.com/wangzhi 这个页面的下边还有地方新闻的分类 1、爬取目标 按类型分的网址列表 按地方分的网址列表 2、按类型 运行结果 阅读全文

摘要： 此文转自https://www.cnblogs.com/zyxstar2003/archive/2011/03/21/1989954.html 1、__init__并不相当于C#中的构造函数，执行它的时候，实例已构造出来了 当我们执行 时，可以理解为 即__init__作用是初始化已实例化后的对象。 阅读全文

摘要： 1、接上一篇，在webui页面，点击右侧【Create】按钮，创建爬虫任务 2、输入【Project Name】，【Start Urls】为爬取的起始地址，可以先不输入，点击【Create】进入： 3、进入爬取操作的页面 整个页面分为两栏，左边是爬取页面预览区域，右边是代码编写区域。下面对区块进行说 阅读全文

摘要： 单例模式确保一个类只创建一个对象，不需要实例化类的对象，提供了一个访问实例的方法。 故构造函数必须是私有的，且有一个返回类型是实例本身的方法 代码演示： # 创建一个Singleton类 SingleObject.java 饿汉式 懒汉式 # 测试并验证输出 从单例类中获取唯一的对象 Singlet 阅读全文

摘要： 抽象工厂模式也是一种工厂模式，只是它生产的对象是工厂。 代码演示 第1步：创建Shape的接口 Shape.java 第2步：创建实现相同接口的具体类 Rectangle.java Square.java Circle.java 第3步：创建一个Colors接口 Color.java 第4步：创建实 阅读全文

摘要： 先通过例子理解一下 第1步：创建一个接口 Shape.java 第2步：创建几个实现类 Rectangle.java Square.java Circle.java 第3步：创建工厂根据给定的信息生成具体类的对象 ShapeFactory.java 第4步：演示使用工厂通过传递类型等信息来获取具体类 阅读全文

摘要： 1、增量订阅、消费设计 get/ack/rollback协议介绍： ① Message getWithoutAck(int batchSize)，允许指定batchSize，一次可以获取多条，每次返回的对象为Message，包含的内容为： a. batch id 唯一标识 b. entries 具体 阅读全文

摘要： canal服务端HA模式，本人并未使用过，为保证文章的完整性，从以下地址摘抄该部分内容，待以后验证及使用 https://github.com/alibaba/canal/wiki/AdminGuide 1、mysql机器准备 准备两台mysql机器，配置为M-M模式，比如ip为：10.20.144 阅读全文

摘要： canal服务端HA模式，本人并未使用过，为保证文章的完整性，从以下地址摘抄该部分内容，待以后验证及使用 https://github.com/alibaba/canal/wiki/AdminGuide 1、机器准备 ① 2个canal服务端节点 10.20.144.22, 10.20.144.51 阅读全文

摘要： 1、下载安装包 canal&github的地址，最权威的学习canal相关知识的地方 https://github.com/alibaba/canal 在下面的wiki列表中找到AdminGuide连接，进入 https://github.com/alibaba/canal/wiki/AdminGu 阅读全文