Python爬虫与数据分析之Python的语法、字典、元组、列表

用python快三年了，一直都没有空去整理学过的知识。趁着这段时间项目比较空闲，业余时间多，开了一个专栏，专门讲述自己对Python的学习经历，与各位共勉！

专栏目录：

Python爬虫与数据分析之python教学视频、python源码分享，python

Python爬虫与数据分析之基础教程：Python的语法、字典、元组、列表

Python爬虫与数据分析之进阶教程：文件操作、lambda表达式、递归、yield生成器

Python爬虫与数据分析之模块：内置模块、开源模块、自定义模块

Python爬虫与数据分析之爬虫技能：urlib库、xpath选择器、正则表达式

Python爬虫与数据分析之京东爬虫实战：爬取京东商品并存入sqlite3数据库

Python爬虫与数据分析之二手车平台数据获取和分析

Python爬虫与数据分析之python开源爬虫项目汇总

入门知识拾遗

一、作用域

对于变量的作用域，执行声明并在内存中存在，该变量就可以在下面的代码中使用。

if 1==1:
    name = 'wupeiqi'
print  name

 作用域应用范围：

外层变量，可以被内层变量使用

内层变量，无法被外层变量使用

 

二、三元运算

result = 值1 if 条件 else 值2

如果条件为真：result = 值1
如果条件为假：result = 值2

 

三、进制

• 二进制，01
• 八进制，01234567
• 十进制，0123456789
• 十六进制，0123456789ABCDEF

Python基础

一、整数

如： 18、73、84

整数常用功能函数：

 

 二、长整型

可能如：2147483649、9223372036854775807

长整型常用功能：

 

 

四、字符串

如：'wupeiqi'、'alex'

字符串常用功能：

 

注：编码；字符串的乘法；字符串和格式化

 

五、列表

如：[11,22,33]、['wupeiqi', 'alex']

列表常用功能：

 

注：排序；

 

六、元组

如：(11,22,33)、('wupeiqi', 'alex')

元组常用功能：

 

 

七、字典

如：{'name': 'wupeiqi', 'age': 18} 、{'host': '2.2.2.2', 'port': 80]}

ps：循环时，默认循环key

字典常用功能：

 

 

1 2 3

练习：元素分类 有如下值集合 [11,22,33,44,55,66,77,88,99,90...]，将所有大于 66 的值 保存至字典的第一个key中，将小于 66 的值保存至第二个key的值中。 即： {'k1': 大于66 , 'k2': 小于66}

 

八、set集合

set是一个无序且不重复的元素集合，常用功能如下

class set(object):
    """
    set() -> new empty set object
    set(iterable) -> new set object
    
    Build an unordered collection of unique elements.
    """
    def add(self, *args, **kwargs): # real signature unknown
        """ 添加 """
        """
        Add an element to a set.
        
        This has no effect if the element is already present.
        """
        pass
 
    def clear(self, *args, **kwargs): # real signature unknown
        """ Remove all elements from this set. """
        pass
 
    def copy(self, *args, **kwargs): # real signature unknown
        """ Return a shallow copy of a set. """
        pass
 
    def difference(self, *args, **kwargs): # real signature unknown
        """
        Return the difference of two or more sets as a new set.
        
        (i.e. all elements that are in this set but not the others.)
        """
        pass
 
    def difference_update(self, *args, **kwargs): # real signature unknown
        """ 删除当前set中的所有包含在 new set 里的元素 """
        """ Remove all elements of another set from this set. """
        pass
 
    def discard(self, *args, **kwargs): # real signature unknown
        """ 移除元素 """
        """
        Remove an element from a set if it is a member.
        
        If the element is not a member, do nothing.
        """
        pass
 
    def intersection(self, *args, **kwargs): # real signature unknown
        """ 取交集，新创建一个set """
        """
        Return the intersection of two or more sets as a new set.
        
        (i.e. elements that are common to all of the sets.)
        """
        pass
 
    def intersection_update(self, *args, **kwargs): # real signature unknown
        """ 取交集，修改原来set """
        """ Update a set with the intersection of itself and another. """
        pass
 
    def isdisjoint(self, *args, **kwargs): # real signature unknown
        """ 如果没有交集，返回true  """
        """ Return True if two sets have a null intersection. """
        pass
 
    def issubset(self, *args, **kwargs): # real signature unknown
        """ 是否是子集 """
        """ Report whether another set contains this set. """
        pass
 
    def issuperset(self, *args, **kwargs): # real signature unknown
        """ 是否是父集 """
        """ Report whether this set contains another set. """
        pass
 
    def pop(self, *args, **kwargs): # real signature unknown
        """ 移除 """
        """
        Remove and return an arbitrary set element.
        Raises KeyError if the set is empty.
        """
        pass
 
    def remove(self, *args, **kwargs): # real signature unknown
        """ 移除 """
        """
        Remove an element from a set; it must be a member.
        
        If the element is not a member, raise a KeyError.
        """
        pass
 
    def symmetric_difference(self, *args, **kwargs): # real signature unknown
        """ 差集，创建新对象"""
        """
        Return the symmetric difference of two sets as a new set.
        
        (i.e. all elements that are in exactly one of the sets.)
        """
        pass
 
    def symmetric_difference_update(self, *args, **kwargs): # real signature unknown
        """ 差集，改变原来 """
        """ Update a set with the symmetric difference of itself and another. """
        pass
 
    def union(self, *args, **kwargs): # real signature unknown
        """ 并集 """
        """
        Return the union of sets as a new set.
        
        (i.e. all elements that are in either set.)
        """
        pass
 
    def update(self, *args, **kwargs): # real signature unknown
        """ 更新 """
        """ Update a set with the union of itself and others. """
        pass
 
    def __len__(self): # real signature unknown; restored from __doc__
        """ x.__len__() <==> len(x) """
        pass
 

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

练习：寻找差异 # 数据库中原有 old_dict = {     "#1":{ 'hostname':c1, 'cpu_count': 2, 'mem_capicity': 80 },     "#2":{ 'hostname':c1, 'cpu_count': 2, 'mem_capicity': 80 }     "#3":{ 'hostname':c1, 'cpu_count': 2, 'mem_capicity': 80 } }   # cmdb 新汇报的数据 new_dict = {     "#1":{ 'hostname':c1, 'cpu_count': 2, 'mem_capicity': 800 },     "#3":{ 'hostname':c1, 'cpu_count': 2, 'mem_capicity': 80 }     "#4":{ 'hostname':c2, 'cpu_count': 2, 'mem_capicity': 80 } }   需要删除：？ 需要新建：？ 需要更新：？ 注意：无需考虑内部元素是否改变，只要原来存在，新汇报也存在，就是需要更新

 

 

九、collection系列

1、计数器（counter）

Counter是对字典类型的补充，用于追踪值的出现次数。

ps：具备字典的所有功能 + 自己的功能

1 2 3

c = Counter('abcdeabcdabcaba') print c 输出：Counter({'a': 5, 'b': 4, 'c': 3, 'd': 2, 'e': 1})

 

 

2、有序字典(orderedDict )

orderdDict是对字典类型的补充，他记住了字典元素添加的顺序

 

 

3、默认字典(defaultdict) 

学前需求：

1 2	有如下值集合 [11,22,33,44,55,66,77,88,99,90...]，将所有大于 66 的值保存至字典的第一个key中，将小于 66 的值保存至第二个key的值中。 即： {'k1': 大于66 , 'k2': 小于66}

 

values = [11, 22, 33,44,55,66,77,88,99,90]
 
my_dict = {}
 
for value in  values:
    if value>66:
        if my_dict.has_key('k1'):
            my_dict['k1'].append(value)
        else:
            my_dict['k1'] = [value]
    else:
        if my_dict.has_key('k2'):
            my_dict['k2'].append(value)
        else:
            my_dict['k2'] = [value]
 

 

 

from collections import defaultdict
 
values = [11, 22, 33,44,55,66,77,88,99,90]
 
my_dict = defaultdict(list)
 
for value in  values:
    if value>66:
        my_dict['k1'].append(value)
    else:
        my_dict['k2'].append(value)
 

defaultdict是对字典的类型的补充，他默认给字典的值设置了一个类型。

 

 

class defaultdict(dict):
    """
    defaultdict(default_factory[, ...]) --> dict with default factory
    """
    def copy(self): # real signature unknown; restored from __doc__
        """ D.copy() -> a shallow copy of D. """
        pass
 

 

4、可命名元组(namedtuple) 

根据nametuple可以创建一个包含tuple所有功能以及其他功能的类型。

1 2 3

import collections   Mytuple = collections.namedtuple('Mytuple',['x', 'y', 'z'])

class Mytuple(__builtin__.tuple)
 |  Mytuple(x, y)
 |  
 |  Method resolution order:
 |      Mytuple
 |      __builtin__.tuple
 |      __builtin__.object
 |  
 |  Methods defined here:
 |  
 |  __getnewargs__(self)
 |      Return self as a plain tuple.  Used by copy and pickle.
 |  
 |  __getstate__(self)
 |      Exclude the OrderedDict from pickling
 |  
 |  __repr__(self)
 |      Return a nicely formatted representation string
 |  
 |  _asdict(self)
 |      Return a new OrderedDict which maps field names to their values
 |  
 |  _replace(_self, **kwds)
 |      Return a new Mytuple object replacing specified fields with new values
 |  
 |  
 |  Static methods defined here:
 |  
 |  __new__(_cls, x, y)
 |      Create new instance of Mytuple(x, y)
 |  
 |  ----------------------------------------------------------------------
 |  Data descriptors defined here:
 |  
 |  __dict__
 |      Return a new OrderedDict which maps field names to their values
 |  
 |  x
 |      Alias for field number 0
 |  
 |  y
 |      Alias for field number 1
 |  
 |  ----------------------------------------------------------------------
 |  Data and other attributes defined here:
 |  
 |  _fields = ('x', 'y')
 |  
 |  ----------------------------------------------------------------------
 |  Methods inherited from __builtin__.tuple:
 |  
 |  __add__(...)
 |      x.__add__(y) <==> x+y
 |  
 |  __contains__(...)
 |      x.__contains__(y) <==> y in x
 |  
 |  __eq__(...)
 |      x.__eq__(y) <==> x==y
 |  
 |  __ge__(...)
 |      x.__ge__(y) <==> x>=y
 |  

 

5、双向队列(deque)

一个线程安全的双向队列

 

 

注：既然有双向队列，也有单项队列（先进先出 FIFO ）

 

 

迭代器和生成器

一、迭代器

对于Python 列表的 for 循环，他的内部原理：查看下一个元素是否存在，如果存在，则取出，如果不存在，则报异常 StopIteration。（python内部对异常已处理）

 

 

 二、生成器

range不是生成器 和 xrange 是生成器

readlines不是生成器 和 xreadlines 是生成器

1 2 3 4

>>> print range(10) [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] >>> print xrange(10) xrange(10)

生成器内部基于yield创建，即：对于生成器只有使用时才创建，从而不避免内存浪费

1 2 3 4 5 6 7 8 9 10 11

练习：<br>有如下列表：     [13, 22, 6, 99, 11]   请按照一下规则计算： 13 和 22 比较，将大的值放在右侧，即：[13, 22, 6, 99, 11] 22 和 6 比较，将大的值放在右侧，即：[13, 6, 22, 99, 11] 22 和 99 比较，将大的值放在右侧，即：[13, 6, 22, 99, 11] 99 和 42 比较，将大的值放在右侧，即：[13, 6, 22, 11, 99,]   13 和 6 比较，将大的值放在右侧，即：[6, 13, 22, 11, 99,] ...

 

 

li = [13, 22, 6, 99, 11]
 
for m in range(len(li)-1):
 
    for n in range(m+1, len(li)):
        if li[m]> li[n]:
            temp = li[n]
            li[n] = li[m]
            li[m] = temp
 
print li

 

 作业

　　开发一个简单的计算器程序
　　*实现对加减乘除、括号优先级的解析,并实现正确运算 

 

公告

 

更多python源码，视频教程，欢迎关注公众号：南城故梦

>零起点大数据与量化分析PDF及教程源码
>利用python进行数据分析PDF及配套源码
>大数据项目实战之Python金融应用编程(数据分析、定价与量化投资)讲义及源码
>董付国老师Python教学视频
1. 课堂教学管理系统开发：在线考试功能设计与实现
2. Python+pillow图像编程；
3. Python+Socket编程
4. Python+tkinter开发；
5. Python数据分析与科学计算可视化
6. Python文件操作
7. Python多线程与多进程编程
8. Python字符串与正则表达式
.....

>数据分析教学视频
1. 轻松驾驭统计学——数据分析必备技能（12集）；
2. 轻松上手Tableau 软件——让数据可视化（9集）；
3. 竞品分析实战攻略（6集）；
4. 电商数据化运营——三大数据化工具应用（20集）；

>大数据（视频与教案）
1. hadoop
2. Scala
3. spark

>Python网络爬虫分享系列教程PDF

>【千锋】Python爬虫从入门到精通（精华版）（92集）

欢迎关注公众号获取学习资源：南城故梦