Python开发-- Lesson 3--Python函数、文件、字符编码（2016/08/06）
1、函数
函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。
函数能提高应用的模块性，和代码的重复利用率。你已经知道Python提供了许多内建函数，比如print()。但你也可以自己创建函数，这被叫做用户自定义函数。
定义一个函数
你可以定义一个由自己想要功能的函数，以下是简单的规则：
- 函数代码块以 def 关键词开头，后接函数标识符名称和圆括号 ()。
- 任何传入参数和自变量必须放在圆括号中间，圆括号之间可以用于定义参数。
- 函数的第一行语句可以选择性地使用文档字符串—用于存放函数说明。
- 函数内容以冒号起始，并且缩进。
- return [表达式] 结束函数，选择性地返回一个值给调用方。不带表达式的return相当于返回 None。
语法
Python 定义函数使用 def 关键字，一般格式如下：
def 函数名（参数列表）:
函数体
默认情况下，参数值和参数名称是按函数声明中定义的的顺序匹配起来的。
实例
让我们使用函数来输出"Hello World！"：
>>> def hello() :
print("Hello World!")
>>> hello()
Hello World!
>>>
更复杂点的应用，函数中带上参数变量:
#!/usr/bin/python3
# 计算面积函数
def area(width, height):
return width * height
def print_welcome(name):
print("Welcome", name)
print_welcome("Runoob")
w = 4
h = 5
print("width =", w, " height =", h, " area =", area(w, h))
以上实例输出结果：
Welcome Runoob
width = 4 height = 5 area = 20
函数调用
定义一个函数：给了函数一个名称，指定了函数里包含的参数，和代码块结构。
这个函数的基本结构完成以后，你可以通过另一个函数调用执行，也可以直接从 Python 命令提示符执行。
如下实例调用了printme（）函数：
#!/usr/bin/python3
# 定义函数
def printme( str ):
"打印任何传入的字符串"
print (str);
return;
# 调用函数
printme("我要调用用户自定义函数!");
printme("再次调用同一函数");
以上实例输出结果：
我要调用用户自定义函数!
再次调用同一函数
按值传递参数和按引用传递参数
在 Python 中，所有参数（变量）都是按引用传递。如果你在函数里修改了参数，那么在调用这个函数的函数里，原始的参数也被改变了。例如：
#!/usr/bin/python3
# 可写函数说明
def changeme( mylist ):
"修改传入的列表"
mylist.append([1,2,3,4]);
print ("函数内取值: ", mylist)
return
# 调用changeme函数
mylist = [10,20,30];
changeme( mylist );
print ("函数外取值: ", mylist)
传入函数的和在末尾添加新内容的对象用的是同一个引用。故输出结果如下：
函数内取值: [10, 20, 30, [1, 2, 3, 4]]
函数外取值: [10, 20, 30, [1, 2, 3, 4]]
参数
以下是调用函数时可使用的正式参数类型：
- 必需参数
- 关键字参数
- 默认参数
- 不定长参数
必需参数
必需参数须以正确的顺序传入函数。调用时的数量必须和声明时的一样。
调用printme()函数，你必须传入一个参数，不然会出现语法错误：
#!/usr/bin/python3
#可写函数说明
def printme( str ):
"打印任何传入的字符串"
print (str);
return;
#调用printme函数
printme();
以上实例输出结果：
Traceback (most recent call last):
File "test.py", line 10, in <module>
printme();
TypeError: printme() missing 1 required positional argument: 'str'
关键字参数
关键字参数和函数调用关系紧密，函数调用使用关键字参数来确定传入的参数值。
使用关键字参数允许函数调用时参数的顺序与声明时不一致，因为 Python 解释器能够用参数名匹配参数值。
以下实例在函数 printme() 调用时使用参数名：
#!/usr/bin/python3
#可写函数说明
def printme( str ):
"打印任何传入的字符串"
print (str);
return;
#调用printme函数
printme( str = "菜鸟教程");
以上实例输出结果：
菜鸟教程
以下实例中演示了函数参数的使用不需要使用指定顺序：
#!/usr/bin/python3
#可写函数说明
def printinfo( name, age ):
"打印任何传入的字符串"
print ("名字: ", name);
print ("年龄: ", age);
return;
#调用printinfo函数
printinfo( age=50, name="runoob" );
以上实例输出结果：
名字: runoob
年龄: 50
默认参数
调用函数时，如果没有传递参数，则会使用默认参数。以下实例中如果没有传入 age 参数，则使用默认值：
#!/usr/bin/python3
#可写函数说明
def printinfo( name, age = 35 ):
"打印任何传入的字符串"
print ("名字: ", name);
print ("年龄: ", age);
return;
#调用printinfo函数
printinfo( age=50, name="runoob" );
print ("------------------------")
printinfo( name="runoob" );
以上实例输出结果：
名字: runoob
年龄: 50
------------------------
名字: runoob
年龄: 35
不定长参数
你可能需要一个函数能处理比当初声明时更多的参数。这些参数叫做不定长参数，和上述2种参数不同，声明时不会命名。基本语法如下：
def functionname([formal_args,] *var_args_tuple ):
"函数_文档字符串"
function_suite
return [expression]
加了星号（*）的变量名会存放所有未命名的变量参数。如果在函数调用时没有指定参数，它就是一个空元组。我们也可以不向函数传递未命名的变量。如下实例：
#!/usr/bin/python3
# 可写函数说明
def printinfo( arg1, *vartuple ):
"打印任何传入的参数"
print ("输出: ")
print (arg1)
for var in vartuple:
print (var)
return;
# 调用printinfo 函数
printinfo( 10 );
printinfo( 70, 60, 50 );
以上实例输出结果：
输出:
10
输出:
70
60
50
匿名函数
python 使用 lambda 来创建匿名函数。
所谓匿名，意即不再使用 def 语句这样标准的形式定义一个函数。
- lambda 只是一个表达式，函数体比 def 简单很多。
- lambda的主体是一个表达式，而不是一个代码块。仅仅能在lambda表达式中封装有限的逻辑进去。
- lambda 函数拥有自己的命名空间，且不能访问自有参数列表之外或全局命名空间里的参数。
- 虽然lambda函数看起来只能写一行，却不等同于C或C++的内联函数，后者的目的是调用小函数时不占用栈内存从而增加运行效率。
语法
lambda 函数的语法只包含一个语句，如下：
lambda [arg1 [,arg2,.....argn]]:expression
如下实例：
#!/usr/bin/python3
# 可写函数说明
sum = lambda arg1, arg2: arg1 + arg2;
# 调用sum函数
print ("相加后的值为 : ", sum( 10, 20 ))
print ("相加后的值为 : ", sum( 20, 20 ))
以上实例输出结果：
相加后的值为 : 30
相加后的值为 : 40
return语句
return [表达式] 语句用于退出函数，选择性地向调用方返回一个表达式。不带参数值的return语句返回None。之前的例子都没有示范如何返回数值，以下实例演示了 return 语句的用法：
#!/usr/bin/python3
# 可写函数说明
def sum( arg1, arg2 ):
# 返回2个参数的和."
total = arg1 + arg2
print ("函数内 : ", total)
return total;
# 调用sum函数
total = sum( 10, 20 );
print ("函数外 : ", total)
以上实例输出结果：
函数内 : 30
函数外 : 30
2、Python3 File(文件) 方法
file 对象使用 open 函数来创建，下表列出了 file 对象常用的函数：
| 序号 | 方法及描述 |
|---|---|
| 1 |
关闭文件。关闭后文件不能再进行读写操作。 |
| 2 |
刷新文件内部缓冲，直接把内部缓冲区的数据立刻写入文件, 而不是被动的等待输出缓冲区写入。 |
| 3 |
返回一个整型的文件描述符(file descriptor FD 整型), 可以用在如os模块的read方法等一些底层操作上。 |
| 4 |
如果文件连接到一个终端设备返回 True，否则返回 False。 |
| 5 |
返回文件下一行。 |
| 6 |
从文件读取指定的字节数，如果未给定或为负则读取所有。 |
| 7 |
读取整行，包括 "\n" 字符。 |
| 8 |
读取所有行并返回列表，若给定sizeint>0，返回总和大约为sizeint字节的行, 实际读取值可能比sizhint较大, 因为需要填充缓冲区。 |
| 9 |
设置文件当前位置 |
| 10 |
返回文件当前位置。 |
| 11 |
截取文件，截取的字节通过size指定，默认为当前文件位置。 |
| 12 |
将字符串写入文件，没有返回值。 |
| 13 |
向文件写入一个序列字符串列表，如果需要换行则要自己加入每行的换行符。 |
文件操作
-
python中对文件、文件夹（文件操作函数）的操作需要涉及到os模块和shutil模块。
得到当前工作目录，即当前Python脚本工作的目录路径: os.getcwd()
返回指定目录下的所有文件和目录名:os.listdir()
函数用来删除一个文件:os.remove()
删除多个目录：os.removedirs（r“c：\python”）
检验给出的路径是否是一个文件：os.path.isfile()
检验给出的路径是否是一个目录：os.path.isdir()
判断是否是绝对路径：os.path.isabs()
检验给出的路径是否真地存:os.path.exists()
返回一个路径的目录名和文件名:os.path.split() eg os.path.split('/home/swaroop/byte/code/poem.txt') 结果：('/home/swaroop/byte/code', 'poem.txt')
分离扩展名：os.path.splitext()
获取路径名：os.path.dirname()
获取文件名：os.path.basename()
运行shell命令: os.system()
读取和设置环境变量:os.getenv() 与os.putenv()
给出当前平台使用的行终止符:os.linesep Windows使用'\r\n'，Linux使用'\n'而Mac使用'\r'
指示你正在使用的平台：os.name 对于Windows，它是'nt'，而对于Linux/Unix用户，它是'posix'
重命名：os.rename（old， new）
创建多级目录：os.makedirs（r“c：\python\test”）
创建单个目录：os.mkdir（“test”）
获取文件属性：os.stat（file）
修改文件权限与时间戳：os.chmod（file）
终止当前进程：os.exit（）
获取文件大小：os.path.getsize（filename）
- 文件操作：
os.mknod("test.txt") 创建空文件
fp = open("test.txt",w) 直接打开一个文件，如果文件不存在则创建文件
关于open 模式：
w 以写方式打开，
a 以追加模式打开 (从 EOF 开始, 必要时创建新文件)
r+ 以读写模式打开
w+ 以读写模式打开 (参见 w )
a+ 以读写模式打开 (参见 a )
rb 以二进制读模式打开
wb 以二进制写模式打开 (参见 w )
ab 以二进制追加模式打开 (参见 a )
rb+ 以二进制读写模式打开 (参见 r+ )
wb+ 以二进制读写模式打开 (参见 w+ )
ab+ 以二进制读写模式打开 (参见 a+ )
fp.read([size]) #size为读取的长度，以byte为单位
fp.readline([size]) #读一行，如果定义了size，有可能返回的只是一行的一部分
fp.readlines([size]) #把文件每一行作为一个list的一个成员，并返回这个list。其实它的内部是通过循环调用readline()来实现的。如果提供size参数，size是表示读取内容的总长，也就是说可能只读到文件的一部分。
fp.write(str) #把str写到文件中，write()并不会在str后加上一个换行符
fp.writelines(seq) #把seq的内容全部写到文件中(多行一次性写入)。这个函数也只是忠实地写入，不会在每行后面加上任何东西。
fp.close() #关闭文件。python会在一个文件不用后自动关闭文件，不过这一功能没有保证，最好还是养成自己关闭的习惯。 如果一个文件在关闭后还对其进行操作会产生ValueError
fp.flush() #把缓冲区的内容写入硬盘
fp.fileno() #返回一个长整型的”文件标签“
fp.isatty() #文件是否是一个终端设备文件（unix系统中的）
fp.tell() #返回文件操作标记的当前位置，以文件的开头为原点
fp.next() #返回下一行，并将文件操作标记位移到下一行。把一个file用于for … in file这样的语句时，就是调用next()函数来实现遍历的。
fp.seek(offset[,whence]) #将文件打操作标记移到offset的位置。这个offset一般是相对于文件的开头来计算的，一般为正数。但如果提供了whence参数就不一定了，whence可以为0表示从头开始计算，1表示以当前位置为原点计算。2表示以文件末尾为原点进行计算。需要注意，如果文件以a或a+的模式打开，每次进行写操作时，文件操作标记会自动返回到文件末尾。
fp.truncate([size]) #把文件裁成规定的大小，默认的是裁到当前文件操作标记的位置。如果size比文件的大小还要大，依据系统的不同可能是不改变文件，也可能是用0把文件补到相应的大小，也可能是以一些随机的内容加上去。
- 目录操作：
os.mkdir("file") 创建目录
复制文件：
shutil.copyfile("oldfile","newfile") oldfile和newfile都只能是文件
shutil.copy("oldfile","newfile") oldfile只能是文件夹，newfile可以是文件，也可以是目标目录
复制文件夹：
shutil.copytree("olddir","newdir") olddir和newdir都只能是目录，且newdir必须不存在
重命名文件（目录）
os.rename("oldname","newname") 文件或目录都是使用这条命令
移动文件（目录）
shutil.move("oldpos","newpos")
删除文件
os.remove("file")
删除目录
os.rmdir("dir")只能删除空目录
shutil.rmtree("dir") 空目录、有内容的目录都可以删
转换目录
os.chdir("path") 换路径
with语句
为了避免打开文件后忘记关闭，可以通过管理上下文，即：
1 with open('log','r') as f: 2 3 ...
如此方式，当with代码块执行完毕时，内部会自动关闭并释放文件资源。
在Python 2.7 后，with又支持同时对多个文件的上下文进行管理，即：
1 with open('log1') as obj1, open('log2') as obj2: 2 pass
- 相关例子
①、 将文件夹下所有图片名称加上'_fc'
python代码:
1 # -*- coding:utf-8 -*-
2 import re
3 import os
4 import time
5 #str.split(string)分割字符串
6 #'连接符'.join(list) 将列表组成字符串
7 def change_name(path):
8 global i
9 if not os.path.isdir(path) and not os.path.isfile(path):
10 return False
11 if os.path.isfile(path):
12 file_path = os.path.split(path) #分割出目录与文件
13 lists = file_path[1].split('.') #分割出文件与文件扩展名
14 file_ext = lists[-1] #取出后缀名(列表切片操作)
15 img_ext = ['bmp','jpeg','gif','psd','png','jpg']
16 if file_ext in img_ext:
17 os.rename(path,file_path[0]+'/'+lists[0]+'_fc.'+file_ext)
18 i+=1 #注意这里的i是一个陷阱
19 #或者
20 #img_ext = 'bmp|jpeg|gif|psd|png|jpg'
21 #if file_ext in img_ext:
22 # print('ok---'+file_ext)
23 elif os.path.isdir(path):
24 for x in os.listdir(path):
25 change_name(os.path.join(path,x)) #os.path.join()在路径处理上很有用
28 img_dir = 'D:\\xx\\xx\\images'
29 img_dir = img_dir.replace('\\','/')
30 start = time.time()
31 i = 0
32 change_name(img_dir)
33 c = time.time() - start
34 print('程序运行耗时:%0.2f'%(c))
35 print('总共处理了 %s 张图片'%(i))
37 输出结果：
39 程序运行耗时:0.11
40 总共处理了 109 张图片
②、
1）打开文件，得到文件句柄并赋值给一个变量
2）通过句柄对文件进行操作
3）关闭文件
文件
飞鸟与鱼代码
1 f = open('lyrics') #打开文件
2 first_line = f.readline()
3 print('first line:',first_line) #读一行
4 print('我是分隔线'.center(50,'-'))
5 data = f.read()# 读取剩下的所有内容,文件大时不要用
6 print(data) #打印文件
7 f.close() #关闭文件
3、字符编码与转码
1、bytes和str
之前有学过关于bytes和str之间的转换，详细资料-》bytes和str（第四字符串）
2、为什么要进行编码和转码
由于每个国家电脑的字符编码格式不统一（列中国：GBK），同一款软件放到不同国家的电脑上会出现乱码的情况，出现这种情况如何解决呢？！ 当然由于所有国家的电脑都支持Unicode万国码，那么我们可以把Unicode为跳板，先把字符编码转换为Unicode，在把Unicode转换为另一个国家的字符编码（例韩国），则不会出现乱码的情况。当然这里只是转编码集并不是翻译成韩文不要弄混了。
3、Python3.0进行编码转换
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
#!/usr/bin/env python#-Author-Lian#Python3.0环境import sys,chardetprint (sys.getdefaultencoding()) name = "kuang" name_utf8 = name.encode("utf-8") #转为UTF-8编码print(name_utf8)print(chardet.detect(name_utf8)) #注：Unicode编码无法用chardet查看编码格式print(name_utf8.decode("utf-8")) #编码为UTF-8后再转码为Unicodename_gbk = name.encode("gbk") #转为GBK编码print(name_gbk)print(chardet.detect(name_gbk)) #查看当前的字符编码格式print(name_gbk.decode("gbk")) #编码为GBK后再转码为Unicode#utf-8#b'\xe8\xbf\x9e\xe5\xbf\x97\xe9\x9b\xb7'#{'confidence': 0.87625, 'encoding': 'utf-8'}#kuang#b'\xc1\xac\xd6\xbe\xc0\xd7'#{'confidence': 0.73, 'encoding': 'windows-1252'}#kuang |
4、Python2.0中的编码转换
① 声明字符编码（utf-8）
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
#!/usr/bin/env python# -*- coding:utf-8 -*-#-Author-Lia#Python2.0环境 默认编码asciiimport sysname = "你好" #ascii码里是没有字符“你好”的，此时的name为uft-8print (sys.getdefaultencoding()) #获取默认编码print(name.decode("utf-8")) #把uft-8码解码为Unicodename_unicode=name.decode("utf-8")print (name_unicode,type(name.decode("utf-8"))) #查看当前的字符编码name_gbk=name_unicode.encode("gbk") #把字符有Unicode转换为gbkprint(name_gbk)#ascii#你好#(u'\u4f60\u597d', <type 'unicode'>)#��� |
② 使用默认字符编码（ascii）
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
#!/usr/bin/env python#-Author-Liaimport sysname = "nihao" #英文字符，且第二行字符声明去掉，此刻name为ascii码print (sys.getdefaultencoding()) #获取系统编码name_unicode = name.decode("ascii") #ascii码转换为unicodeprint(name_unicode,type(name_unicode))name_utf8=name_unicode.encode("utf-8") #unicode转换为utf-8print(name_utf8,type(name_utf8))name_gbk=name_unicode.encode("gbk") #unicode转换为gbkprint(name_gbk,type(name_gbk))#ascii#(u'nihao', <type 'unicode'>)#('nihao', <type 'str'>)#('nihao', <type 'str'>) |
总结：Python2.x里默认字符编码为ascii，如果不声明编码格式，则输入的字符格式都是ascii码（中文不在ascii里面，输入报错）；如果要输入中文字符，则需要声明编码格式，此时中文字符的编码格式不跟随默认字符编码格式，而是与声明的编码格式一致（上面实例为utf-8），这些都需谨记。
作业：
程序练习
程序1: 实现简单的shell sed替换功能
程序2:修改haproxy配置文件
需求：
1、查
输入：www.oldboy.org
获取当前backend下的所有记录
2、新建
输入：
arg = {
'bakend': 'www.oldboy.org',
'record':{
'server': '100.1.7.9',
'weight': 20,
'maxconn': 30
}
}
3、删除
输入：
arg = {
'bakend': 'www.oldboy.org',
'record':{
'server': '100.1.7.9',
'weight': 20,
'maxconn': 30
}
}
global
log 127.0.0.1 local2
daemon
maxconn 256
log 127.0.0.1 local2 info
defaults
log global
mode http
timeout connect 5000ms
timeout client 50000ms
timeout server 50000ms
option dontlognull
listen stats :8888
stats enable
stats uri /admin
stats auth admin:1234
frontend oldboy.org
bind 0.0.0.0:80
option httplog
option httpclose
option forwardfor
log global
acl www hdr_reg(host) -i www.oldboy.org
use_backend www.oldboy.org if www
backend www.oldboy.org
server 100.1.7.9 100.1.7.9 weight 20 maxconn 3000
原配置文件
浙公网安备 33010602011771号