随笔分类 -  Python

改进 网站资源探测工具(添加代理）
摘要：对网站资源探测工具进行调整，并且添加代理，防止多次访问ip被封的情况。 修改后的 网站资源扫描工具： 对某网站扫描结果： 阅读全文
posted @ 2018-03-16 10:01 默不知然 阅读(320) 评论(0) 推荐(0)
利用python3 实现网站资源探测工具
摘要：使用实例：python xxx.py -u http://www.xxxx.net -f 字典.txt -n 10 -u 指定扫描网站； -f 指定扫描字典； -n 指定扫描线程数。 实例：如下是对http://www.gzgi.net 的目录扫描。 参考链接： 州的先生bolg： http://z 阅读全文
posted @ 2018-03-15 16:05 默不知然 阅读(1715) 评论(0) 推荐(0)
利用selenium爬取cnvd漏洞信息
摘要：cnvd使用加速乐，正常访问会产生两次访问，第一次返回一段js代码生成cookie端添加到第二次访问的cookie才能进行成功访问。通过selenium访问一次产生的cookie，再利用session将每次会话的cookie限定，用了一天这个方法就gg了。能力有限，只能用最耗时的方法进行了。 由于是 阅读全文
posted @ 2018-02-08 10:46 默不知然 阅读(1886) 评论(0) 推荐(0)
python3-爬取cnnvd漏洞信息-代理+多线程
摘要：2018年1月26日 16:04:06 更新代码。 excel结果： 阅读全文
posted @ 2017-12-18 10:16 默不知然 阅读(914) 评论(0) 推荐(0)
多进程+信号量Semaphore
摘要：通过下面一个例子进行理解。 运行结果： 分析： p = multiprocessing.Process(……)定义了五个进程，p.start五个进程并行，造成如图的结果是信号量限制进程对临界资源的访问的原因。 s = multiprocessing.Semaphore(2)定义了信号量最大为2，re 阅读全文
posted @ 2017-11-20 23:33 默不知然 阅读(2649) 评论(0) 推荐(0)
python3 解压错误“zlib.error: Error -3 while decompressing data: incorrect header check”
摘要：python3 利用urllib请求返回数据是经过压缩的，在利用‘zlib’解压时遇到"zlib.error: Error -3 while decompressing data: incorrect header check"的错误。 代码如下： 运行时出现错误：incorrect header 阅读全文
posted @ 2017-11-13 12:33 默不知然 阅读(20438) 评论(0) 推荐(0)
python3-爬取cnnvd漏洞信息
摘要：因为工作需要cnnvd漏洞信息，以前用着集客搜、八爪鱼之类的工具，但对其效果和速度都不满意。最近开始接触学习爬虫，作为初学者，还需要慢慢完善。先记录下第一个爬虫。还想着在多进程和IP代理方向改善学习。 这个是运行情况，速度还是无法忍受，多进程在数据获取应该能快很多，IP代理应该能忽视短时间多次访问被 阅读全文
posted @ 2017-11-08 16:03 默不知然 阅读(3085) 评论(0) 推荐(1)