代码改变世界

随笔档案-2018年07月

给requests模块添加请求头列表和代理ip列表

2018-07-18 13:00 by 钟与时间约会, 4301 阅读, 收藏,
摘要: Requests 是使用 Apache2 Licensed 许可证的 基于Python开发的HTTP 库,其在Python内置模块的基础上进行了高度的封装,符合了Python语言的思想,通俗的说去繁存简。 由于没有看到详细的讲解requests模块怎么写多个请求头和代理ip,这里我做一个实例,引出下 阅读全文

scrapy从安装到爬取煎蛋网图片

2018-07-16 15:46 by 钟与时间约会, 533 阅读, 收藏,
摘要: 下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/pip install wheelpip install lxmlpip install pyopensslpip install Twistedpip install pywin32pip instal 阅读全文

javascript基础知识

2018-07-16 15:04 by 钟与时间约会, 243 阅读, 收藏,
摘要: 脚本语言,浏览器具有js解释器 存在形式,加分号保证压缩后不报错,节约空间1.head中 2.文件中,放在body中的最下面<script src="文件路径"> alert(123); 弹窗</script> 注释// 当行注释 /*...*/ 多行注释 字符串方法a.charAt(1) 获取字符 阅读全文

python爬取斗鱼B总直播弹幕

2018-07-10 18:00 by 钟与时间约会, 2044 阅读, 收藏,
摘要: 在某群中看到关于弹幕爬取的需求,又因为斗鱼比较OP,就以这个作为切入点。 如果你想了解如何获取弹幕,我的这个例子就可以让你豁然开朗,对于哪些没有开发弹幕的直播或视频平台,就需要用抓包工具获取请求,然后分析请求数据包内容,现在说说我的获取步骤吧。 我通过了解到斗鱼弹幕的api,根据标准协议,构建请求包 阅读全文