杨守鹤

摘要： ConcurrentHashMap和HashMap有如下方法 inttableSizeFor(int c) //功能：输入低于最大容量的数c，返回大于等于且最接近c的2的幂次数。 源码： private static final int MAXIMUM_CAPACITY = 1 << 30; pri 阅读全文

摘要： 剑指offer5-8 用两个栈实现队列 用两个栈来实现一个队列，完成队列的Push和Pop操作。 队列中的元素为int类型。 /* 思路：入队：栈1直接入栈，出队：栈空的话就遍历栈1将其入栈2，再出栈，否则直接出栈 */ public class Solution { Stack<Integer> 阅读全文

摘要： 二维数组中的查找 数组-二分查找 1：在一个二维数组中（每个一维数组的长度相同），每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数 public boolean Find(int target, int 阅读全文

摘要： 今天继续学习一些实战爬虫 链接爬虫实战 要求：把一个网页里所有的链接地址提取出来 思路：（1）确定爬取的入口链接 （2）构建提取链接的正则表达式 （3）模拟浏览器爬取网页 （4）根据正则表达式提取链接 （5）过滤掉重复的链接 （6）后续操作 比如我们来获取 http://blog.csdn.net/ 阅读全文

摘要： cookie 我们访问网页是通过http协议进行的，而http协议是一个无状态协议（无法维持会话之间的状态），比如我们登录一个网站成功后访问另一个网页，那么登录状态就会消失，十分不方便。而我们可以通过Cookie保存会话信息，将会话信息保存在客户端，或者用session保存会话信息在服务器端。但是服 阅读全文

摘要： 昨天学到了正则表达式基础知识 ：原子 今天开始学习第二个基础知识：元字符 元字符 就是正则表达式中含有特殊含义的一些字符 常见的元字符及含义 符号 含义 . 匹配除换行符以外 的任意字符 ^ 匹配字符串的开始位置 $ 匹配字符串的结束位置 * 匹配0次，1次，或多次前面的原子 ? 匹配0次或一次前面 阅读全文

摘要： DebugLog实战 有时候我们需要在程序运行时，一边运行一边打印调试日志。此时需要开启DebugLog。 如何开启： 首先将debuglevel设置为1，然后用urllib.request.build_opener()创建自定义对象opener将debuglevel作为参数传入接着用urllib. 阅读全文

摘要： Python爬虫第二天 超时设置 有时候访问网页时长时间未响应，系统就会判断网页超时，无法打开网页。如果需要自己设置超时时间则： 通过urlopen()打开网页时使用timeout字段设置 import urllib.request for i in range(1,100): #循环99次 try 阅读全文

摘要： 简介 1：组成:爬虫节点，控制节点和资源库。 控制节点，也叫中央控制器，主要负责根据url地址分配线程，并调用爬虫节点进行具体的爬行。 爬虫节点会按照具体的算法，对网页进行具体的爬行，主要包括下载网页以及对网页的文本进行处理，爬行后会将结果储存到对应资源库中。 2：类型:通用网络爬虫，聚焦网络爬虫， 阅读全文

摘要： 这个测试号配置弄了好几天了，入了无数坑，终于解决了。。。辛苦我了，手动安慰一下自己。。 为了萌新们以后不要再浪费时间绕半天做无用功。看看楼楼的艰苦历程吧。 此教程针对没有云服务器，没有自己的域名的、没钱的、等不及域名备案的同学。 第一步：申请公众号。 这里用订阅号，个人。实名认证一下就行了。注册地址 阅读全文