YinJay' Blog

摘要： 命名空间 从python解释器开始执行之后，就在内存中开辟了一个空间，每当遇到一个变量的时候，就把变量名和值之间的对应关系记录下来。但是当遇到函数定义的时候解释器只是象征性的将函数名读入内存，表示知道这个函数的存在了，至于函数内部的变量和逻辑解释器根本不关心。等执行到函数调用的时候，python解释 阅读全文

摘要： 回调函数、递归函数 回调函数 回调函数又叫函数回调，指的是将函数作为参数传递到另外的函数中执行。例如将A函数作为参数传递到B函数。然后在B函数中执行A函数。这种做法的好处是在函数被定义之前就可以使用函数，或者对于其他程序提供的API(可看成函数)进行调用。概念比较抽象，看下面例子： def func 阅读全文

摘要： 回车桌面图片爬取 今天我们就来爬爬这个网站 https://tu.enterdesk.com/ 这个网站能爬的资源还是很多的，但我就写一个例子，其他的可以根据思路去写。 首先还是先来分析下这个网站的图片获取过程 我选择的是图库，先随便选择一个标签，我这选宠物吧 哟，我们再看看有没有翻页 开启F12( 阅读全文

摘要： IP代理池之验证是否有效 把proxy pool项目跑起来，但也不知道这些ip怎么用，爬虫的时候是否用代理去爬取，下面通过一个例子来看看。 代码如下： import requests PROXY_POOL_URL = 'http://127.0.0.1:5010/get/' def get_prox 阅读全文

摘要： 反爬虫之搭建IP代理池 听说你又被封 ip 了，你要学会伪装好自己，这次说说伪装你的头部。可惜加了header请求头，加了cookie 还是被限制爬取了。这时就得祭出IP代理池！！！ 下面就是requests使用ip代理例子 response = requests.get(url,proxies=p 阅读全文

摘要： selenium+phantomjs爬取京东商品信息 今天自己实战写了个爬取京东商品信息，和上一篇的思路一样，附上链接：https://www.cnblogs.com/cany/p/10897618.html 打开 https://www.jd.com/ 首先不需要登陆就可搜索，淘宝不一样，所以淘宝 阅读全文

摘要： selenium+phantomjs爬取bilibili 首先我们要下载phantomjs 你可以到 http://phantomjs.org/download.html 这里去下载 下载完之后解压到你想要放的位置 你需要配置一下环境变量哦 如下图： 首先，我们怎么让浏览器模拟操作，也就是我们自己先 阅读全文

摘要： [转载] Python数据类型知识点全解 1.字符串 字符串常用功能 字符串的内置方法 2.列表 3.元组 4.字典 5.集合 阅读全文

摘要： 学习PyQuery库 好了，又是学习的时光啦，今天学习pyquery 来进行网页解析 常规导入模块（PyQuery库中的pyquery类） from pyquery import PyQuery as pq 通常使用url初始化 doc = pq(url='http://www.baidu.com' 阅读全文

摘要： Python3 基本数据类型 Python 中的变量不需要声明。每个变量在使用前都必须赋值，变量赋值以后该变量才会被创建。 在 Python 中，变量就是变量，它没有类型，我们所说的"类型"是变量所指的内存中对象的类型。 等号（=）用来给变量赋值。 等号（=）运算符左边是一个变量名,等号（=）运算符 阅读全文