随笔分类 - Python
Python笔记，完毕后整理
摘要：说明：以前是selenium登陆取cookie的方法比较复杂，改用这个 """ 用requests库模拟登陆人人网 """ import requests #这例有个坑，这个登录地址不是直接看到的登录地址，这是人人网的反爬机制 url = "http://www.renren.com/PLogin.
阅读全文
摘要：1.为什么要做接口测试 2018年10月6日 星期六 15:05 本文讨论的接口均是服务级的接口，不是代码级 接口是什么 在讨论为什么要做接口测试之前，我们可以先稍微了解一下接口是什么？ 接口可以很不准确的理解成是与资源打交道，这个资源可能是本系统的，也可能是其他系统的。 举个例子，假如我们在开发1
阅读全文
摘要：（一）安装selenium 2018年10月7日 星期日 11:14 安装python 打开 Python官网，找到“Download”, 在其下拉菜单中选择自己的平台（Windows/Mac）,一般的Linux平台已经自带的Python，所以不需要安装，通过打开“终端” ，输入“python”命令
阅读全文
摘要：dump\load 和 dumps\loads 的区别与联系 """ Python3 JSON模块的使用 参考链接:https://docs.python.org/3/library/json.html 这里只是介绍最常用的dump、dumps和load、loads """ import json
阅读全文
摘要：Python 面试题 1.Python是如何进行内存管理的 对象引用机制、垃圾回收机制、内存池机制 1.1对象引用机制 Python内部使用引用计数，来保持追踪内存中的对象，所有对象都有引用计数。 引用计数增加的情况： 1，一个对象分配一个新名称 2，将其放入一个容器中（如列表、元组或字典） 引用计
阅读全文
摘要：1.如何在一个函数内部修改全局变量 a=5 def fn(): a=4 fn() print(a) 5 在一个函数内部修改全局变量 a=5 def fn(): global a a=4 fn() print(a) 4 2.字典如何删除键 和 合并两个字典 <! del() 和 update() d1
阅读全文
摘要：局部变量与全局变量 coding:utf 8 局部变量和全局变量 ahead = 'HelloWorld' 全局变量 showList = [] 全局变量 def printAhead(): print(ahead) def printOther(): city = 'beijing' city是局
阅读全文
摘要：scrapy 伪装代理和fake_userAgent的使用 伪装浏览器代理 在爬取网页是有些服务器对请求过滤的不是很高可以不用ip来伪装请求直接将自己的浏览器信息给伪装也是可以的。 第一种方法： 1.在setting.py文件中加入以下内容，这是一些浏览器的头信息 USER_AGENT_LIST =
阅读全文
摘要：scrapy 基本命令 > 创建项目 scrapy startprojct 项目名称 | 创建项目 scrapy genspider 爬虫名+(网页)开始地址 | 创建爬虫 scrapy view 爬虫名 ？？？ | 预览页面 scrapy crawl 爬虫名 | 运行爬虫 > 修改settings
阅读全文
摘要：1. 约瑟夫环： # 约瑟夫环：共31个数，每隔9个删除一个，要求输出前15个号码 a=[x for x in range(1,31)] #生成编号 del_number = 8 #该删除的编号 for i in range(15): print(a[del_number]) del (a[del_
阅读全文
摘要：selenium案例 #coding=utf-8 #select下拉框处理 from selenium import webdriver from selenium.webdriver.common.action_chains import ActionChains import time #导入s
阅读全文
摘要：from selenium import webdriver from lxml import etree from pyquery import PyQuery as pq import time driver = webdriver.Chrome() driver.maximize_window() driver.get('https://www.toutiao.com/') driver...
阅读全文
摘要：先安装mysqlclient pip install mysqlclient sttings中的 DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', # 或者使用 mysql.connector.django 'NAME': 'test', 'USER': '...
阅读全文
摘要：0、检测IP是否可用 # -*- coding: UTF-8 -*- from urllib import request if __name__ == "__main__": #访问网址 #url = 'http://2017.ip138.com/ic.asp' url = 'http://www
阅读全文
Python_编码错误解决办法 python3 UnicodeEncodeError: 'gbk' codec can't encode character '\xXX' in position XX
摘要：先说解决办法：头部加几行代码 OK了，试试看... 再慢慢说原因： 从网上抓了一些字节流，想打印出来结果发生了一下错误： UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' in position 8530: illegal m
阅读全文
摘要：1.豆瓣采集 1 #coding:utf-8 2 #采集豆瓣书信息和图片，写进数据库 3 4 from urllib import request 5 # from bs4 import BeautifulSoup 6 from lxml import etree 7 import json,pym
阅读全文
摘要：Python_爬虫_笔记 1.前言 1.1爬虫用途： 网站采集、接口采集(地图(jis 热力学 屋里端口/协议)、微信、知乎、) 1.2基本流程：网页下载(requests)+网页解析+爬虫调度 网页解析：在当前网站找信息、下一个入口等信息 调度：调度器/队列(先进先出、谁快谁先...) 1.3Py
阅读全文
摘要：1、json.dumps() json.dumps()用于将dict类型的数据转成str，因为如果直接将dict类型的数据写入json文件中会发生报错，因此在将数据写入时需要用到该函数。 转换案例： 1 import json 2 3 name_emb = {'a':'1111','b':'2222
阅读全文
摘要：1.PEP8编程规范 【少加空格多写注释，严格对齐】 1.缩进 缩进table = 4个空格；设置好后使用编辑器的自然table 2.if条件书写规范 if的条件多的时候用左边括号对齐；if条件完毕后加注释说“条件完了”；适当换行 3.换行 顶层函数和顶层类之间用两个换行隔开，两个类/方法用一个换行
阅读全文
浙公网安备 33010602011771号