随笔分类 - Python开发
通过Python完成数据的读取、处理、清洗、写入等操作
摘要:方法一:datetime.datetime.now() import datetime import time starttime = datetime.datetime.now() print(starttime.strftime("%Y-%m-%d %H:%M:%S")) time.sleep(
阅读全文
摘要:一、安装pymysql py -m pip install pymysql; 二、创建表并插入数据 CREATE TABLE `course` ( `course_id` varchar(10) DEFAULT NULL, `course_name` varchar(10) DEFAULT NULL
阅读全文
摘要:一、安装pymysql py -m pip install pymysql; 二、pymysql数据库操作 1.简单示例 #coding=utf-8 import pymysql ## 打开数据库连接 conn = pymysql.connect( host = "127.0.0.1", port
阅读全文
摘要:一、python数据库图解流程 connection、cursor比喻 二、Connection对象 Connection参数列表 host,连接的数据库服务器主机名,默认为本地主机(localhost)。 user,连接数据库的用户名,默认为当前用户。 passwd,连接密码,没有默认值。 db,
阅读全文
摘要:Python 推导式是一种独特的数据处理方式,可以从一个数据序列构建另一个新的数据序列的结构体。 Python 支持各种数据结构的推导式: 列表(list)推导式 字典(dict)推导式 集合(set)推导式 元组(tuple)推导式 一、列表推导式 列表推导式格式为: [表达式 for 变量 in
阅读全文
摘要:背景 在写脚本程序的时候需要添加一些额外的参数来实现脚本的附加功能或者增强功能,通常的做法是通过sys.argv[i]直接来获取参数的值,但是这个比较局限,要求参数的输入一定要按照顺序。 fileName = sys.argv[1]; regName = sys.argv[2]; 如果在命令行输入的
阅读全文
摘要:国内常用python模块下载地址 清华大学:https://pypi.tuna.tsinghua.edu.cn/simple 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 阿里云:http://mirrors.aliyun.com/pypi/simp
阅读全文
摘要:一、系统模块 1、os.name # nt 表示Windows 系统;'posix’表示Linux系统2、os.sep #输出当前操作系统的路径分隔符;windos 展示 “\” 或 “\”;linux ”/“3、os.linesep #输出当前操作系统的换行符4、os.pathsep #输出分割文
阅读全文
摘要:一、必备知识回顾和补充 1. Hello world回顾 1、输出文本,使用print函数输出文本。 2、让用户输入名字,然后输出带名字的问候语。使用input函数获取用户的输入,使用变量保存输入值。 (1) Input函数获取运行环境中用户的输入,程序挂起等待输入完成。 (2) Print函数提供
阅读全文
摘要:一、让python程序后台运行 1、创建一个app.py文件,如 while 1: print(123)2、创建一个set_py.bat文件,里面写 python app.py3、创建一个start_py.vbs文件,里面写 Set ws = CreateObject("Wscript.Shell"
阅读全文
摘要:背景:我在5月20日收到了一批Excel文件数据,由于文件很多大约有将近5000个,已经通过编写python脚本处理完成。但是6月9日的时候,又收到了一批新的Excel数据。但是在处理过程中发现,本次提供的数据包含5月20日提供的数据。有的是新增了几个文件,但是文件后缀加了1、2、3这样的数字,有的
阅读全文
摘要:背景:前一阵子在帮客户做Excel文件中的数据处理,但是每周提交周报,领导都需要统计从客户接收的文件数量以及记录数。所以我就简单写了统计的脚本,方便统计目录(文件夹)中的Excel文件个数和数据量。 本人向来讲究直接利落,废话不多说,直接上代码。水平有限,仅供参考。 #!/usr/bin/env p
阅读全文
摘要:1秒钟启动一个下载服务器、使用Python解压zip压缩包、用 Python 快速实现 FTP 服务器
阅读全文
摘要:最近在客户现场接到一个任务,需要将全国所有省份的数据进行合并。目录是分层级的,首先是省份目录、然后地级市目录、最里面是区县目录。需要将每个目录中的数据进行合并,然后添加4列数据,并将某一个列的数据进行拆分和处理。总共将近3000张个Excel文件需要处理,如果手工处理的话,估计要搞一个星期才能搞完。为了在规定时间内完成任务,我通过编写python程序实现了这样的功能。
这里我简单分享下单个目录中Excel文件合并的模块。
阅读全文
摘要:1. to_csv函数的参数 DataFrame.to_csv(path_or_buf=None, sep=',', na_rep='', float_format=None, columns=None, header=True, index=True, index_label=None, mode
阅读全文
摘要:对于CSV及txt后缀的文本文件,分别使用pandas模块中的read_csv函数和read_table函数 文件类型 函数名称 CSV read_csv() txt read_table() 1. read_table函数的参数 read_table(filepath_or_buffer , se
阅读全文