随笔分类 - Python
摘要：python windows 下设置文件锁、多线程
阅读全文
摘要：在爬虫的时候接受的request.url本来是中文的，但是代码中接收到的是带有很多%的乱码，需要解码得到中文的内容： 原本下载这个文件的get请求是： http://www.shclearing.com/wcm/shch/pages/client/download/download.jsp?File
阅读全文
摘要：关键字参数 如果你有一些具有许多参数的函数，而你又希望只对其中的一些进行指定，那么你可以通过命名它们来给这些参数赋值——这就是python关键字参数（Keyword Arguments）——我们使用命名（关键字）而非位置（一直以来我们所使用的方式）来指定函数中的参数。 这样做有两大优点——其一，我们
阅读全文
摘要：本篇内容主要是面向对象的进阶和模块的初识，主要包括如下内容：接口类和抽象类、封装、类方法、静态方法、属性、反射、特殊方法、序列化模块、random模块。 1.接口类抽象类 ''' 整体说明： 01 在python中的接口类和抽象类的含义是一样的，其他语言中接口类和抽象类的定义不同。 02 pytho
阅读全文
摘要：xx: 公有变量 _x: 单前置下划线,私有化属性或方法，from somemodule import 禁止导入,类对象和子类可以访问【另解：前置单下划线，又称口头私有变量，私有化属性或方法的一种，一般来讲，变量名_xx被看作是“私有 的”，在模块或类外不可以使用。当变量是私有的时候，用_xx 来表
阅读全文
摘要：简单总结： 与类和实例无绑定关系的function都属于函数（function）； 与类和实例有绑定关系的function都属于方法（method）。 首先摒弃错误认知:并不是类中的调用都叫方法 函数（FunctionType） 函数是封装了一些独立的功能，可以直接调用，能将一些数据（参数）传递进去
阅读全文
摘要：汇总 Tokenizer分词器（类） Tokenizer.fit_on_texts分词器方法：实现分词 Tokenizer.texts_to_sequences分词器方法：输出向量序列 pad_sequences进行padding 具体示例和代码分析 分词器分词和向量化 主要的类是Tokenizer
阅读全文
摘要：在Python中如果想要对数据使用函数，可以借助apply(),applymap(),map() 来应用函数，括号里面可以是直接函数式，或者自定义函数（def）或者匿名函数（lambad） import pandas as pd import numpy as np from pandas impo
阅读全文
摘要：函数格式为：apply(func,*args,**kwargs) 用途：当一个函数的参数存在于一个元组或者一个字典中时，用来间接的调用这个函数，并肩元组或者字典中的参数按照顺序传递给参数 解析：args是一个包含按照函数所需参数传递的位置参数的一个元组，是不是很拗口，意思就是，假如A函数的函数位置为
阅读全文
摘要：核心开发人员和加拿大人Mariatta在Twitter上询问了有关python -m pip的问题，以及谁向她介绍了该惯用法并要求其提供解释它的参考资料： 我以前就了解到我们应该使用‘python -m pip install……’，而不是简单地使用‘pip install ...’，但现在我不记得
阅读全文
摘要：1. 编程语言里面的任务和线程是很重要的一个功能。在python里面，线程的创建有两种方式，其一使用Thread类创建 # 导入Python标准库中的Thread模块 from threading import Thread # 创建一个线程 mthread = threading.Thread(t
阅读全文
摘要：在安装python的相关模块和库时，我们一般使用“pip install 模块名”或者“python setup.py install”，前者是在线安装，会安装该包的相关依赖包；后者是下载源码包然后在本地安装，不会安装该包的相关依赖包。所以在安装普通的python包时，利用pip工具相当简单 有些时
阅读全文
摘要：什么是 Python？ Python 之父 Guido van Rossum 说：Python是一种高级程序语言，其核心设计哲学是代码可读性和语法，能够让程序员用很少的代码来表达自己的想法。 对于我来说，学习 Python 的首要原因是，Python 是一种可以优雅编程的语言。它能够简单自然地写出代
阅读全文
摘要：问题：想在启动scrapy后重复爬取某一天的数据，但是爬取之前需要删除掉之前的旧数据，在哪里实现删除呢？ 可以在pipeline的open_spider(self,spider)中删除，则在爬虫启动的时候会删除。 以下是pipelines.py 文件 # -*- coding: utf-8 -*-
阅读全文
摘要：proxies的格式是一个字典：{‘http’: ‘http://42.84.226.65:8888‘} 有http与https两种，在爬取不同网站时我们需要选用不同类型的网站时选用不同的proxise，在不知道网站类型时可以将两种类型均放进去，requests会自动选择合适的 proxies =
阅读全文
摘要：现在要访问一个目标地址是http的地址：http://icanhazip.com/，这个地址可以获取机器的外网ip理论上，由于上述地址是http的，所以使用http代理会通过代理访问该地址，即res =requests.get('http://icanhazip.com/', proxies={'h
阅读全文
摘要：在linux上安装 mysqlclint 的时候使用： pip install mysqlclient 但是报错： [root@localhost ~]# pip install mysqlclient DEPRECATION: Python 2.7 will reach the end of it
阅读全文
摘要：打开文件的时候open(r'c:\....')加r'可以防止路径中出现'\t'的话 \t会被转义 而加了'r'之后'\t'就能保留原有的样子 在字符串赋值的时候 前面加'r'可以防止字符串在时候的时候不被转义 原理是在转义字符前加'\' 例： s=r'\tt' print(s) \tt s='\tt
阅读全文
摘要：一 使用 Fiddler 抓包分析公众号 首先在pc段打开fiddler并清空之前的抓包记录（前提条件是：fiddler已经在pc能正常抓取浏览器的http和https请求） 然后，在pc端打开微信随便选择一个公众号，查看公众号的所有历史文章列表 然后： 然后，进入历史消息：（这一步开始有抓包记录）
阅读全文
摘要：在用scrapy写爬虫的时候，在settings中设定了自定义的变量 KEW_WORDS 但是在爬虫模块要使用get_project_settings 方法调用此参数day_num时，结果为空值NoneType，没有将参数调用过来 原因： 在settings中引用了爬虫模块中的类，导致爬虫模块提前被
阅读全文
浙公网安备 33010602011771号