随笔分类 - python
摘要：Function Infinite iterators （无限迭代） count（） cycle（） repeat（） Combinatoric generators （排列组合） product（） permutations（） combinations（） combinations_with_r
阅读全文
摘要：以codewars中3 kyu Path Finder #3: the Alpinist 为例 题干： You are at start location [0, 0] in mountain area of NxN and you can only move in one of the four
阅读全文
摘要：min() 与 max()，用法类似，都可以设置两个缺省（默认）参数，一个是key，一个是default。 其中，key参数指定实际比较对象（常用于输出字典中键值最大（小）的键）； default参数设置当比较对象为empty时，输出的结果 实例（以max()函数为例）： 1 # max 2 pri
阅读全文
摘要：1 import requests 2 import time 3 import csv 4 from math import ceil 5 import asyncio 6 from aiohttp import ClientSession, TCPConnector, client_except
阅读全文
摘要：上传本地文件到Linux服务器 在Windows上安装winscp软件，下载链接：https://winscp.net/eng/download.php 如需使用其它语言界面，可下载winscp语言包，下载链接：https://winscp.net/eng/translations.php 下载语言
阅读全文
摘要：使用EPEL仓库安装 sudo yum install epel-release 用yum安装python 3.6 sudo yum install python36 安装pip yum -y install python-pip 更新pip至最新版本 pip install --upgrade p
阅读全文
摘要：高德秘钥的设置以及检测 1 import requests 2 import time 3 import csv 4 from math import ceil 5 6 7 class KEY: 8 def __init__(self): 9 self.keys = list(csv.reader(
阅读全文
摘要：1 from datetime import datetime 2 3 t1 = '22:21:30' 4 t2 = '23:21:25' 5 6 s = datetime.striptime(t1, '%H:%M:%S') 7 e = datetime.striptime(t2, '%H:%M:%
阅读全文
摘要：之前，我们学习了基本库urllib的相关用法，但是在网页验证、Cookies处理等方面是比较繁琐的，需要用到Handler并且还需自己构建Opener。requests库的出现很好的解决了这个问题，下面让我们学习一下有关requests的操作。 requests的安装可以直接使用pip instal
阅读全文
摘要：在python3中爬虫常用基本库为urllib以及requests 本文主要描述urllib的相关内容 urllib包含四个模块：requests——模拟发送请求 error——异常处理模块 parse——关于URL处理方法的工具模块 robotparser——通过识别网站robot.txt判断网站
阅读全文
摘要：使用cmd创建一个scrapy项目： scrapy startproject project_name (project_name 必须以字母开头，只能包含字母、数字以及下划线<underscorce>) 项目目录层级如下： 声明Item 声明我们可能用到的所有字段，包括管理字段等。管理字段可以让我
阅读全文
摘要：scrapy的最通用的爬虫流程：UR2IM U：URL R2：Request 以及 Response I：Item M：More URL 在scrapy shell中打开服务器一个网页 cmd中执行：scrapy shell http://www.baidu.com （可以使用exit()退出） 此
阅读全文
摘要：windows下安装scrapy 依次执行下列操作： pip install wheel pip install lxml pip install PyOpenssl 安装Microsoft visual c++ build tools pip install twisted 当此处提示错误时，安装
阅读全文
摘要：HTML的三大概念：标签、元素以及属性 标签：尖括号中的文本 例：<head>……</head> 标签通常成对出现 元素：标签中的所有内容 元素中可包含元素 属性：标签的特殊标注等 例：<a href="http:\\www.baidu.com">……</a> 其中，href部分称为属性 使用XPa
阅读全文
摘要：计算时间差时，注意天数差引发的问题，获取天数差为 此处，需谨记date2>date1，以保证结果的正确性 具体应用如下： 注意：strftime()与strptime()的不同
阅读全文
摘要：1 #-*-coding:utf8-*- 2 import os 3 import subprocess 4 import shutil 5 import psutil 6 import time 7 8 9 #查找指定文件名称和查找范围的文件路径 10 def search(name, path): 11 name = name.lower() 12 fo...
阅读全文
摘要：以爬取搜狗图片为例，网页特点：采用“瀑布流”的方式加载图片，图片的真实地址存放在XHR中 使用方法二时，如果使用参数allow_redirects=False,容易导致下载内容为空的情况；如果不使用该参数（默认是True），则容易导致页面重定向过多的错误。具体使用时，根据情况选择是否使用
阅读全文
摘要：Python的错误异常在大部分IDE编辑器中则可以直接显示出来，便于开发人员的调试及修改工作，对初学者也比较友好。 Python中包含错误和异常两种情况，错误主要是常见的语法错误SyntaxError，并且在错误提示中会有倒三角箭头的修改指示位置；python中的另外一种错误提醒叫做异常，指的是在语
阅读全文
浙公网安备 33010602011771号