帅胡

摘要：方案一：requests请求成功时，设置它的编码 1 def get_one(ur1): 2 res = requests.get(ur1) 3 res.encoding = '2312' #编码格式 4 if res.status_code == 200: 5 return res.text 6 阅读全文

摘要：1 import base64 2 import requests 3 import json 4 import os.path 5 from io import BytesIO 6 7 # Python3 base64官方API：https://docs.python.org/3/library/ 阅读全文

摘要：在本篇文章中，将给大家推荐14款日常工作中经常用到的测试开发工具神器，涵盖了自动化测试、APP性能测试、稳定性测试、抓包工具等。 一、UI自动化测试工具 1. uiautomator2 Github地址 https://github.com/openatx/uiautomator2介绍: opena 阅读全文

摘要：区别：docker load命令导入镜像库存储文件到本地镜像库；docker import命令导入一个容器快照到本地镜像库。容器快照将会丢弃所有的历史记录和元数据信息，而镜像存储文件将保存完整记录，体积也会更大。 首先，想要清楚的了解docker load与docker import命令的区别，就必 阅读全文

摘要：可以用pycurl这个模块，比urllib好用多了。下面直接贴上代码，根据代码注释修改就可以了。 #coding:utf-8 import pycurl,StringIO #传入图片的下载链接 url = 'http://junyiseo.com/wp-content/uploads/2016/10 阅读全文

摘要：均益最近写了个python脚本，需要每天固定个时间执行一次。在shell窗口下执行是没问题的，但是定时任务的时候老是不执行。如果你也遇到与均益一样的问题，那么可以看一下下面的内容，你肯定可以找到解决方案的。这是均益花不少时间整理出来的。 首页，linux定时任务用到的是crontab，我们来看一下c 阅读全文

摘要：python xpath解析网页用到的是lxml库，lxml的使用方法可以官方文档 http://lxml.de/lxmlhtml.html xpath 的定位查找，可以查看 http://www.runoob.com/xpath/xpath-tutorial.html 上面的两个教程说的挺详细的， 阅读全文

摘要：我们在爬大型网站的时候，需要处理上千万乃至上亿的url的去重。如果采用python的自带set,或者redis的set,那就需要占用很大的内存。如果存入将url存入数据库去重，那速度又会变慢。这种量级以上的去重，一般是采用BloomFilter，但是如果机器down机了，那BloomFilter在内 阅读全文

摘要：BloomFilter布隆过滤器python的实现方法 安装pybloomfiltermmap模块 pip install pybloomfiltermmap 实现 # -*- coding:utf-8 -*- import os import sys reload(sys) sys.setdefa 阅读全文

摘要：我们通过抓包工具，抓到上传文件的时候下面的post传输的数据，就是浏览器控制器中显示的Request Payload WebKitFormBoundarynZb9BK3DBujba6Z2 Content-Disposition: form-data; name="__VIEWSTATE" /wEPD 阅读全文

摘要：Pycurl包是一个libcurl的Python接口，由C语言编写的，功能强大，速度快。由于pycurl的属性和方法太多了，写这篇博文记录一下pycurl的属性和方法。 正常安装 pip install pycurl如果出现问题，可以按照系统版本搜索安装方法，比如centos7.1 安装pycurl 阅读全文

摘要：aiohttp是python3的一个异步模块，分为服务器端和客户端。廖雪峰的python3教程中，讲的是服务器端的使用方法。均益这里主要讲的是客户端的方法，用来写爬虫。使用异步协程的方式写爬虫，能提高程序的运行效率。 1、安装 pip install aiohttp 2、单一请求方法 import 阅读全文

摘要：python3 连接mysql的模块mysql-connector-python，纯python驱动器，不再依赖C语言的库，并且兼容python2和python3. 说明 本文的代码允许环境 python3.6 安装 pip install mysql-connector-python 连接数据库 阅读全文

摘要：pip install mysqlclientpip install mysql-connector-pythonpip install PyMySQL #1 使用mysql-connector连接mysqlimport mysql.connector mydb = mysql.connector. 阅读全文

摘要：下载MySQL 进入MySQL官网下载地址，选择Windows (x86, 64-bit), ZIP Archive。 下载地址：https://dev.mysql.com/downloads/mysql/ https://dev.mysql.com/downloads/connector/j/ 可 阅读全文

摘要：泛授权方式 数据库本地直接登录上数据库： mysql -h localhost -u root 然后执行以下命令，授权完后直接就可以远程连接上。mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION; //赋予任何主机上以r 阅读全文