随笔分类 - Python
摘要：pickle模块详解 该pickle模块实现了用于序列化和反序列化Python对象结构的二进制协议。 “Pickling”是将Python对象层次结构转换为字节流的过程， “unpickling”是反向操作，从而将字节流（来自二进制文件或类似字节的对象）转换回对象层次结构。pickle模块对于错误或
阅读全文
摘要：高级的 文件、文件夹、压缩包 处理模块 shutil.copyfileobj(fsrc, fdst[, length])将文件内容拷贝到另一个文件中 1 import shutil 2 3 shutil.copyfileobj(open('old.xml','r'), open('new.xml',
阅读全文
摘要：python中os.walk是一个简单易用的文件、目录遍历器，可以帮助我们高效的处理文件、目录方面的事情。 1.载入要使用os.walk,首先要载入该函数 可以使用以下两种方法 import os from os import walk 2.使用 os.walk的函数声明为: walk(top, t
阅读全文
摘要：脚本写的好，下班下得早！程序员的日常工作除了编写程序代码，还不可避免地需要处理相关的测试和验证工作。例如，访问某个网站一直不通，需要确定此地址是否可访问，服务器返回什么，进而确定问题在于什么。完成这个任务，如果一味希望采用编译型语言来编写这样的代码，实践中的时间和精力是不够的，这个时候就需要发挥脚本
阅读全文
摘要：__slots__现在我们终于明白了，动态语言与静态语言的不同 动态语言：可以在运行的过程中，修改代码 静态语言：编译时已经确定好代码，运行过程中不能修改 如果我们想要限制实例的属性怎么办？比如，只允许对Person实例添加name和age属性。 为了达到限制的目的，Python允许在定义class
阅读全文
摘要：程序简介 通过分析nginx日志，统计出nginx流量（统计nginx日志中 $body_bytes_sent 字段），能自定义时间间隔，默认时间间隔为5分钟，单位为分钟。 输出结果 开始时间结束时间分割线统计流量 2019-11-23 03:26:00 2019-11-23 04:26:00 <
阅读全文
摘要：argparse 是python自带的命令行参数解析包，可以用来方便地读取命令行参数，当你的代码需要频繁地修改参数的时候，使用这个工具可以将参数和代码分离开来，让你的代码更简洁，适用范围更广。argparse使用比较简单，常用的功能可能较快地实现出来，下面我分几个步骤，以Python3为例，逐渐递增
阅读全文
摘要：作为一门脚本语言，写脚本时执行系统命令可以说很常见了，python提供了相关的模块和方法。 os模块提供了访问操作系统服务的功能，由于涉及到操作系统，它包含的内容比较多，这里只说system和popen方法。 >>> import os >>> dir(os) ['DirEntry', 'F_OK'
阅读全文
摘要：1.连接mongodb ######### 方法一 ########## import pymongo # MongoClient()返回一个mongodb的连接对象client client = pymongo.MongoClient(host="localhost",port=27017) ##
阅读全文
摘要：XPath XPath，全称 XML Path Language，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的，但同样适用于 HTML 文档的搜索。所以在做爬虫时完全可以使用 XPath 做相应的信息抽取。 1. XPath 概览 XPath 的选择
阅读全文
摘要：可能大家对session已经比较熟悉了，也大概了解了session的机制和原理，但是我们在做爬虫时如何会运用到session呢，就是接下来要讲到的会话保持。 首先说一下，为什么要进行会话保持的操作？ requests库的session会话对象可以跨请求保持某些参数，说白了，就是比如你使用sessio
阅读全文
摘要：概述 今天主要介绍怎么统计redis key类型数据大小分布。 原理：使用redis命令： scan、pipline、type 和 debug object 来得到 redis key 信息。 脚本 内容如下： #!/usr/bin/python# -*- coding: utf-8 -*-impo
阅读全文
摘要：学习如何使用python的pymysql模块来操作mysql数据库 这里的基本用法主要借鉴了该篇博客：https://www.cnblogs.com/woider/p/5926744.html 因为这个作者总结的很全面，也很简洁，看完很容易上手 一.pymysql的主要方法 pymysql.conn
阅读全文
摘要：在自动化测试中，经常需要查找操作文件，比如说查找配置文件（从而读取配置文件的信息），查找测试报告（从而发送测试报告邮件），经常要对大量文件和大量路径进行操作，这就依赖于os模块，所以今天整理下比较常用的几个方法。网上这方面资料也很多，每次整理，只是对自己所学的知识进行梳理，从而加深对某个模块的使用。
阅读全文
摘要：自己写的一个小工具，用于批量转换word为pdf，使用方式： 将完整代码拷贝到文档中，并修改名称为words2pdfs.py将该文件拷贝到需要转换的文档目录下在终端中输入python words2pdfs.py终端会列出来是否需要转换以下文档，输入yes即可。注意：运行后会在当前目录下生成一个pdf
阅读全文
摘要：编程语言Perl曾在互联网领域长期占据着统治地位，早期的大多数交互式网站使用的都是Perl脚本。彼时，“解决问题的办法有多个”被Perl社区奉为座右铭。这种理念一度深受大家 的喜爱，因为这种语言固有的灵活性使得大多数问题都有很多不同的解决之道。在开发项目期间，这种灵活性是可以接受的，但大家最终认识到
阅读全文
摘要：#常用方法：print('{0},{1}'.format('zhangk', 32)) print('{},{},{}'.format('zhangk','boy',32)) print('{name},{sex},{age}'.format(age=32,sex='male',name='zhan
阅读全文
摘要：re正则表达式模块还包括一些有用的操作正则表达式的函数。下面主要介绍compile函数。 定义： compile(pattern[,flags] ) 根据包含正则表达式的字符串创建模式对象。 通过python的help函数查看compile含义： 1 help(re.compile) compile
阅读全文
摘要：import os >>> os.name # 操作系统类型如果是posix，说明系统是Linux、Unix或Mac OS X，如果是nt，就是Windows系统。要获取详细的系统信息，可以调用uname()函数： >>> os.uname() posix.uname_result(sysname=
阅读全文
摘要：re模块包含对 正则表达式。本章会对re模块主要特征和正则表达式进行介绍。 什么是正则表达式 正则表达式是可以匹配文本片段的模式。最简单的正则表达式就是普通字符串，可以匹配其自身。换包话说，正则表达式’python’ 可以匹配字符串’python’ 。你可以用这种匹配行为搜索文本中的模式，并且用计算
阅读全文
浙公网安备 33010602011771号