Python Tips阅读摘要

发现了一本关于Python精通知识点的好书《Python Tips》,关于Python的进阶的技巧。摘录一些比较有价值的内容作为分享。

*args and **kwargs

在函数定义的时候我们经常看到*args和 **kwargs这两个定义对象。*args代表了函数定义中所有non-keyworded(这个词实在很难翻译)的传入参数,而**kwargs代表的所有带有keyworded的传入参数,举个栗子:

def test_var_args(*args, **kwargs):
    print("args:{0}, kwargs:{1}".format(args,kwargs))
test_var_args(1,2,3)
>>>args:(1, 2, 3), kwargs:{}
test_var_args(a=1,b=2,c=3)
>>>args:(), kwargs:{'a': 1, 'c': 3, 'b': 2}

通过这个栗子我们可以清晰地区分keyworded和non-keyworded的区别了。本质上来说,args是一个数组,kwargs是一个字典。
args and *kwargs 最常用于装饰器,也可以用于monkey patching(猴子补丁),用来在运行时动态修改已有的代码,而不需要修改原始代码。

  • monkey patching
    monkey patch指的是在运行时动态替换,一般是在startup的时候.
    用过gevent就会知道,会在最开头的地方gevent.monkey.patch_all();把标准库中的thread/socket等给替换掉.这样我们在后面使用socket的时候可以跟平常一样使用,无需修改任何代码,但是它变成非阻塞的了.
    应用场景包括,一个已经定义好的函数被大量的引用,如果后面需要替换这个函数的话,直接在函数入口处进行替换即可。举个栗子,将ujson代替json:
main.py

import json  
import ujson  
def monkey_patch_json():  
    json.__name__ = 'ujson'  
    json.dumps = ujson.dumps  
    json.loads = ujson.loads  

monkey_patch_json()  
print 'main.py',json.__name__  
import sub  

======================
sub.py

import json  
print 'sub.py',json.__name__

可以看到json在该模块中被完美替换,这个方法也可以用来做单元测试使用。

Generators生成器

首先区分Iterable、Iterator和Iteration三个概念:任何具有__iter__()或__getitem__()方法的对象,Python就认为它是一个iterable;使用内置的iter()函数来生成iterator,iterator可以通过__next__()方法来获取下一个元素。iterator遍历元素的过程可以认为iteration。
生成器同样是可迭代对象,但是你只能读取一次,因为它并没有把所有值存放内存中,它动态的生成值。
Yield是关键字, 用起来像return,yield在告诉程序,要求函数返回一个生成器,举个栗子:

def createGenerator():
    my_list=range(3)
    for  i in my_list:
        yield i*i
gen= createGenerator() 
print(next(gen))
print(next(gen))
print(next(gen))
print(next(gen)) #StopIteration

Map, Filter and Reduce

  • map
    Map的定义是将某函数处理所有输入参数,其定义为:

    map(function_to_apply, list_of_inputs)

例如:

items = [1, 2, 3, 4, 5]
squared = list(map(lambda x: x**2, items))
当时这两者还可以通过lambda表达式进行多个函数处理同一个输入的情况,这是一个非常美妙的转换,栗子如下:

def multiply(x):
    return (x*x)
def add(x):
    return (x+x)

funcs = [multiply, add]
for i in range(5):
    value = list(map(lambda x: x(i), funcs))
    print(value)

# Output:
# [0, 0]
# [1, 2]
# [4, 4]
# [9, 6]
# [16, 8]

神奇的事情发生了,两个函数对于同一个输入参数都进行处理,并返回在了结果中。

  • filter

    filter(function_to_apply, list_of_inputs)

在大部分的情况下map和filter都可以通过list/dict/tuple Comprehensions来实现。
List Comprehensions语法:[expr for iter_var in iterable] 或 [expr for iter_var in iterable if cond_expr]
L = [expr for iter_var in iterable]:for iter_var in iterable的作用是依次取 iterable赋值给iter_var,而expr for iter_var in iterable的作用就是依次取值给iter_var,expr做运算后,继续循环,expr运算得到的值赋给变量L

map

map(function_to_apply, list_of_inputs)

通过函数对于结果进行处理,并返回聚集结果。例如:

from functools import reduce
product = reduce((lambda x, y: x * y), [1, 2, 3, 4])

# Output: 24

Collections

Collections包括几个常用的数据结构:

  • defaultdict : 是dict的子类,实现了dict的所有方法,功能使用上与dict.setdefault()类似,但是defaultdict构建时给出默认值。
  • orderdict:dict自排序。
  • counter:计数器,可以对iterator计数,也可以对list计数。
  • deque:队列。
  • nametuple:继承自tuple,我认为本质上是快速创建仅包括属性的类对象,从这个角度上看非常实用。
  • enum:枚举类型,但是必须注意,枚举成员本身类型就是枚举类型,因此如果需要将枚举成员用以读写及比较操作将会报错。
    这篇教程中还讲了一些协程coroutine、异步IO的概念,但都属于技巧性的内容,讲的不透彻就不再一一分享。
posted @ 2017-09-06 10:24  柯君  阅读(...)  评论(...编辑  收藏