摘要：
在index.html文件头加上 <meta name="referrer" content="never"> 阅读全文
摘要：
1. 前言 crawlab 是基于Golang的分布式爬虫管理平台，但是没有实现批量添加爬虫的功能。 作为党国的优秀青年，怎么可以容忍这件事情呢，那就实现一个脚本去批量添加爬虫吧。 2. 主要解决的问题是 需要抓取的网站有几百个，爬虫代码编写完毕，但是需要手动的去添加爬虫代码，一个一个的去添加，累死 阅读全文
摘要：
在编写爬虫代码的过程中，程序员会使用redis 集合进行去重，今天就测试一下redis去重需要多少内存的问题 过程：我们对10w，100w，1000w 的数字进行 md5 加密，生成唯一的32位字符串，然后存入到redis集合中去，通过rdm 的 内存分析占用查看redis的大小。 1. 对10w 阅读全文
摘要：
需要对一个数据进行精确的计算，比如 2.37% 需要得到 0.0237 首先看截图 得到的结果是 0.023700000000000002，这个肯定是不可以的， 解决办法： 代码： from decimal import Decimal def spider(): a = '2.37' res = 阅读全文
摘要：
在使用seleinum的时候，如果模拟谷歌或者火狐浏览器，出现一个界面的话太难受了所幸firefox和chrome都有了无头模式，也就是没有界面的浏览器，在内存中执行。 firefox设置： from selenium import webdriver options = webdriver.Fir 阅读全文
摘要：
Error: Uncaught [TypeError: Cannot read property 'userAgent' of undefined] at reportException (D:\cnipa\node_modules\jsdom\lib\jsdom\living\helpers\ru 阅读全文
摘要：
1. 打开fiddler 在rules >Customize Rules 中加入代码 2. 搜索 Utilities.LaunchHyperlink(sAction); 下其下面增加代码即可 代码： public static BindUIColumn("TimeTaken/ms", 120) fu 阅读全文
摘要：
function paramsToFormData(obj) { const formData = new FormData(); Object.keys(obj).forEach((key) => { if (obj[key] instanceof Array) { obj[key].forEac 阅读全文
摘要：
直接上代码 var url = "https://www.cnblogs.com/xuchunlin/p/14848864.html" var time = 10000; var timeout = false; var request = new XMLHttpRequest(); var tim 阅读全文
摘要：
直接上代码 function doSave(value, type, name) { var blob; if (typeof window.Blob == "function") { blob = new Blob([value], {type: type}); } else { var Blob 阅读全文