摘要： Centos rpm 安装elasticsearch 6.8 es版本6.8 https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.8.0.rpm kibana版本6.8 https://artifacts.elas 阅读全文

摘要： 什么是装饰器？简单的说装饰器就是修改其他函数的功能的函数，比如：函数调用前需要先进性验证，总不能所有的模块都修改对吧？ 官方解释： 装饰器是要把原来的函数装饰成新的函数，并且返回这个函数本身的高阶函数。 案例1： 我们有一个写好的函数，现在需要增加计算时长的功能，怎么实现？ def add(x, y 阅读全文

摘要： 1、安装virtualenv virtualenv 是一个创建隔绝的Python环境的工具。virtualenv创建一个包含所有必要的可执行文件的文件夹，用来使用Python工程所需的包。 可以简单的理解为，每一个项目的开发环境是不同的，virtualenv就可以创建出一个个不同的开发环境。 1.1 阅读全文

摘要： 使用requests发送POST数据，并 实现翻译信息抓取 import requests import json def fanyi(keyword): url = 'http://fanyi.baidu.com/sug' # 定义请求参数 data = { 'kw' : keyword } # 阅读全文

摘要： 关于想学python爬虫，我觉得首先我的熟悉一种数据提取的方式，比如正则表达式（正则表达式是其中一种进行数据筛选的表达式），那我们就先从re说起。我争取让你看完这边博客，能对python的爬虫不再陌生，并且能做到爬取简单的数据。 正文请往下看 正则表达式通常被用来匹配、检索、替换和分割那些符合某个模 阅读全文

摘要： 在抓取 腾讯招聘网站的招聘信息时，递归获取详情页面时，提示： Filtered offsite request to 原因： 是request的地址和allow_domain里面发生了冲突，从而被过滤掉了 解决办法： 1.可以停用过滤功能 SPIDER_MIDDLEWARES = { 'tencen 阅读全文

摘要： import os,timeimport requestsfrom urllib.parse import urlencodefrom urllib.request import urlretrieveimport randomdef getPage(offset): '''爬取指定url页面信息' 阅读全文

摘要： 生成器：yield表达式构成的函数就是生成器；每一个生成器都是一个迭代器（但是迭代器不一定是生成器）。return就是迭代器； yield的功能类似于return，不同之处在于它返回的是生成器。 什么是生成器，你可以通俗的认为，在一个函数中，使用了yield来代替return的位置的函数，就是生成器 阅读全文

摘要： '''目标：使用requests分页爬取猫眼电影中榜单栏目中TOP100榜的所有电影信息，并将信息写入文件URL地址：http://maoyan.com/board/4 其中参数offset表示其实条数获取信息：{排名，图片，标题，主演，放映时间，评分}'''下面我们直接上代码 from reque 阅读全文

摘要： import requests import re,time s = requests.Session() def doLogin(): login_url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=2018321648 阅读全文