笔记，爬虫（3）

几个爬虫个例，稍作修改即可使用，信息量略大，主要参考：http://blog.csdn.net/omuyejingfeng1/article/details/24182313

 

  •  
  • #对于网址的批量下载保存

import urllib.request as request
    
    '''
如果用    import urllib.request
对应的网址打开方式就为    m = urllib.request.urlopen(url+str(i)).read()
所以as就是将urllib.request作为一个新名字替换的意思，后面可以直接用新名字调用
'''
import urllib.parse as parse
    
    '''
from urllib import request和import urlib.request实际上是没有区别的，
调用的时候有时候为了方便用上面的第一种方式。

Python里import * 是什么意思？
import adsl，那么代码中调用的时候都是adsl.open()之类的，比如调用adsl中的foo函数(举个栗子)：adsl.foo()
而from adsl import * ，可以直接用foo()。
'''
    
import string
    
    def baidu_tieba(url, begin_page, end_page):
    for i in range(begin_page, end_page + 1):
        sName = 'f:/'+str(i).zfill(5)+'.html'  #保存路径和文件名
        print('正在下载第'+str(i)+'个页面, 并保存为'+sName)
        m = request.urlopen(url+str(i)).read()
        with open(sName,'wb') as file:
            file.write(m)
        file.close()
if __name__ == "__main__":
    url = "http://tieba.baidu.com/p/"
    begin_page = 1
    end_page = 3
    baidu_tieba(url, begin_page, end_page)

     

结果（在相应文件夹下有对应网址链接）：

 

  • 参考：http://www.cnblogs.com/zhouxuchen/p/4341034.html
  • import re
import urllib.request

# ------ 获取网页源代码的方法 ---
def getHtml(url):
    page = urllib.request.urlopen(url)
    html = page.read()
    return html

# ------ getHtml()内输入任意帖子的URL ------
html = getHtml("http://tieba.baidu.com/p/3205263090")
# ------ 修改html对象内的字符编码为UTF-8 ------
html = html.decode('UTF-8')

# ------ 获取帖子内所有图片地址的方法 ------
def getImg(html):
    # ------ 利用正则表达式匹配网页内容找到图片地址 ------
    reg = r'src="([.*\S]*\.jpg)" pic_ext="jpeg"'
    imgre = re.compile(reg)
    imglist = re.findall(imgre, html)
    return imglist

imgList = getImg(html)
imgName = 0
for imgPath in imgList:
    # ------ 这里最好使用异常处理及多线程编程方式 ------
    f = open("f:/"+str(imgName)+".jpg", 'wb')
    '''
    #这样输出，图片只能保存在根目录下，如果不提前建文件夹会报错：
    FileNotFoundError: [Errno 2] No such file or directory: 'f:/ff/0.jpg'
    '''
    f.write((urllib.request.urlopen(imgPath)).read())
    f.close()
    imgName += 1

    结果，一堆图：

关于对应图形的属性（如下），选择对应的正则表达式：r'src="([.*\S]*\.jpg)" pic_ext="jpeg"'，不同的HTML有不同的正则表达式对应（还在学）

因为“.”这个元操作符会匹配换行符外所有字符，因此当爬到格式为png或者gif的图片的时候也会匹配，差不多就是下面这种效果：

[..., 'http://.....png" ....... <src="...jpg"']
简单来说就是会从无关图片的“src”一直匹配到我需要下载的图片的末尾“pic="jpeg"”
解决的办法就是匹配到空格的时候就忽略，所以要将“.”和“\S”放在同一个字符类中，要么匹配除了空白符之外的所有字符，要么忽略。
关于html的基础讲解，自己查看：http://www.missyuan.com/thread-385954-1-1.html




    

  •  

    

    #用BeautifulSoup爬取淘宝首页的目录中的汉字，比re好用，基本不要写正则，也可以嵌套正则
    import     urllib
import urllib.request as request
from bs4 import BeautifulSoup #下个补丁包

def taobao(url):
    response = request.urlopen(url)
    html = response.read()
    data = html.decode('utf-8')
    soup = BeautifulSoup(data,"html.parser")
    for list in soup.find_all('h3'):
        print(list.string)

if __name__ == '__main__':
    url = 'http://www.taobao.com/?spm=a310q.2219005.1581860521.1.b9kUd4'
    taobao(url)
    

    

    结果：
    

    • 





 


 


 **********************+++++++++++++*********************


 


whl的简单了解：


whl格式本质上是一个压缩包，里面包含了py文件，以及经过编译的pyd文件。使得可以在不具备编译环境的情况下，选择合适自己的python环境进行安装。


官网提供相应的下载（这里针对win的用户，选择whl,py3版本）：https://pypi.python.org/pypi/beautifulsoup4/#downloads




 


安装过程参考：http://blog.csdn.net/fhl812432059/article/details/51745226


注意下载的文件要放在script下的有pip的文件夹下




 


为什么要下载Beautiful Soup，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。


详细参考：http://cuiqingcai.com/1319.html


以及：http://www.jb51.net/article/65287.htm （详细教程，略长）


**********************+++++++++++++*********************


 


 


**=============================================**


上例涉及文件的读取和写入，这里赘述一下，参考：http://www.jb51.net/article/65091.htm


读文件


读写文件是最常见的IO操作。Python内置了读写文件的函数，用法和C是兼容的。


读写文件前，我们先必须了解一下，在磁盘上读写文件的功能都是由操作系统提供的，现代操作系统不允许普通的程序直接操作磁盘，所以，读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写入这个文件对象（写文件）。


 


要以读文件的模式打开一个文件对象，使用Python内置的open()函数，传入文件名和标示符：






 








1






>>> f = open('/Users/michael/test.txt', 'r')














标示符'r'表示读，这样，我们就成功地打开了一个文件。


如果文件不存在，open()函数就会抛出一个IOError的错误，并且给出错误码和详细的信息告诉你文件不存在：






 








1


2


3


4






>>> f=open('/Users/michael/notfound.txt', 'r')


Traceback (most recent call last):


 File "<stdin>", line 1, in <module>


IOError: [Errno 2] No such file or directory: '/Users/michael/notfound.txt'














如果文件打开成功，接下来，调用read()方法可以一次读取文件的全部内容，Python把内容读到内存，用一个str对象表示：






 








1


2






>>> f.read()


'Hello, world!'














最后一步是调用close()方法关闭文件。文件使用完毕后必须关闭，因为文件对象会占用操作系统的资源，并且操作系统同一时间能打开的文件数量也是有限的：






 








1






>>> f.close()














由于文件读写时都有可能产生IOError，一旦出错，后面的f.close()就不会调用。所以，为了保证无论是否出错都能正确地关闭文件，我们可以使用try ... finally来实现：






 








1


2


3


4


5


6






try:


  f = open('/path/to/file', 'r')


  print f.read()


finally:


  if f:


    f.close()














但是每次都这么写实在太繁琐，所以，Python引入了with语句来自动帮我们调用close()方法（写了又无妨）：






 








1


2






with open('/path/to/file', 'r') as f:


  print f.read()














这和前面的try ... finally是一样的，但是代码更佳简洁，并且不必调用f.close()方法。


调用read()会一次性读取文件的全部内容，如果文件有10G，内存就爆了，所以，要保险起见，可以反复调用read(size)方法，每次最多读取size个字节的内容。另外，调用readline()可以每次读取一行内容，调用readlines()一次读取所有内容并按行返回list。因此，要根据需要决定怎么调用。


如果文件很小，read()一次性读取最方便；如果不能确定文件大小，反复调用read(size)比较保险；如果是配置文件，调用readlines()最方便：






 








1


2






for line in f.readlines():


  print(line.strip()) # 把末尾的'\n'删掉
























 




读每行：


list_of_all_the_lines = file_object.readlines( )




如果文件是文本文件，还可以直接遍历文件对象获取每行：


for line in file_object:
     process line


 












file-like Object


像open()函数返回的这种有个read()方法的对象，在Python中统称为file-like Object。除了file外，还可以是内存的字节流，网络流，自定义流等等。file-like Object不要求从特定类继承，只要写个read()方法就行。


StringIO就是在内存中创建的file-like Object，常用作临时缓冲。
 二进制文件


前面讲的默认都是读取文本文件，并且是ASCII编码的文本文件。要读取二进制文件，比如图片、视频等等，用'rb'模式打开文件即可：






 








1


2


3















>>> f = open('/Users/michael/test.jpg', 'rb')  #rb=read binary


>>> f.read()


'\xff\xd8\xff\xe1\x00\x18Exif\x00\x00...' # 十六进制表示的字节













































































字符编码


要读取非ASCII编码的文本文件，就必须以二进制模式打开，再解码。比如GBK编码的文件：






 








1


2


3


4


5















>>> f = open('/Users/michael/gbk.txt', 'rb')


>>> u = f.read().decode('gbk')


>>> u


u'\u6d4b\u8bd5'


>>> print u









































































































































 


 


~~~~*********************************************~~~


 


ASCII、Unicode、GBK和UTF-8字符编码的区别联系 参考：http://dengo.org/archives/901


很久很久以前，有一群人，他们决定用8个可以开合的晶体管来组合成不同的状态，以表示世界上的万物。他们看到8个开关状态是好的，于是他们把这称为”字节“。再后来，他们又做了一些可以处理这些字节的机器，机器开动了，可以用字节来组合出很多状态，状态开始变来变去。他们看到这样是好的，于是它们就这机器称为”计算机“。


开始计算机只在美国用。八位的字节一共可以组合出256(2的8次方)种不同的状态。 他们把其中的编号从0开始的32种状态分别规定了特殊的用途，一但终端、打印机遇上约定好的这些字节被传过来时，就要做一些约定的动作。遇上0×10, 终端就换行，遇上0×07, 终端就向人们嘟嘟叫，例好遇上0x1b, 打印机就打印反白的字，或者终端就用彩色显示字母。他们看到这样很好，于是就把这些0×20以下的字节状态称为”控制码”。他们又把所有的空格、标点符号、数字、大小写字母分别用连续的字节状态表示，一直编到了第127号，这样计算机就可以用不同字节来存储英语的文字了。大家看到这样，都感觉很好，于是大家都把这个方案叫做 ANSI的”Ascii”编码（American Standard Code for Information Interchange，美国信息互换标准代码）。当时世界上所有的计算机都用同样的ASCII方案来保存英文文字。


后来，就像建造巴比伦塔一样，世界各地的都开始使用计算机，但是很多国家用的不是英文，他们的字母里有许多是ASCII里没有的，为了可以在计算机保存他们的文字，他们决定采用 127号之后的空位来表示这些新的字母、符号，还加入了很多画表格时需要用下到的横线、竖线、交叉等形状，一直把序号编到了最后一个状态255。从128 到255这一页的字符集被称”扩展字符集“。从此之后，贪婪的人类再没有新的状态可以用了，美帝国主义可能没有想到还有第三世界国家的人们也希望可以用到计算机吧！


等中国人们得到计算机时，已经没有可以利用的字节状态来表示汉字，况且有6000多个常用汉字需要保存呢。但是这难不倒智慧的中国人民，我们不客气地把那些127号之后的奇异符号们直接取消掉, 规定：一个小于127的字符的意义与原来相同，但两个大于127的字符连在一起时，就表示一个汉字，前面的一个字节（他称之为高字节）从0xA1用到 0xF7，后面一个字节（低字节）从0xA1到0xFE，这样我们就可以组合出大约7000多个简体汉字了。在这些编码里，我们还把数学符号、罗马希腊的字母、日文的假名们都编进去了，连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的”全角”字符，而原来在127号以下的那些就叫”半角”字符了。 中国人民看到这样很不错，于是就把这种汉字方案叫做 “GB2312“。GB2312 是对 ASCII 的中文扩展。


但是中国的汉字太多了，我们很快就就发现有许多人的人名没有办法在这里打出来，特别是某些很会麻烦别人的国家领导人。于是我们不得不继续把 GB2312 没有用到的码位找出来老实不客气地用上。 后来还是不够用，于是干脆不再要求低字节一定是127号之后的内码，只要第一个字节是大于127就固定表示这是一个汉字的开始，不管后面跟的是不是扩展字符集里的内容。结果扩展之后的编码方案被称为 GBK 标准，GBK包括了GB2312 的所有内容，同时又增加了近20000个新的汉字（包括繁体字）和符号。 后来少数民族也要用电脑了，于是我们再扩展，又加了几千个新的少数民族的字，GBK扩成了 GB18030。从此之后，中华民族的文化就可以在计算机时代中传承了。 中国的程序员们看到这一系列汉字编码的标准是好的，于是通称他们叫做 “DBCS“（Double Byte Charecter Set 双字节字符集）。在DBCS系列标准里，最大的特点是两字节长的汉字字符和一字节长的英文字符并存于同一套编码方案里，因此他们写的程序为了支持中文处理，必须要注意字串里的每一个字节的值，如果这个值是大于127的，那么就认为一个双字节字符集里的字符出现了。那时候凡是受过加持，会编程的计算机僧侣们都要每天念下面这个咒语数百遍： “一个汉字算两个英文字符！一个汉字算两个英文字符……”


因为当时各个国家都像中国这样搞出一套自己的编码标准，结果互相之间谁也不懂谁的编码，谁也不支持别人的编码，连大陆和台湾这样只相隔了150海里，使用着同一种语言的兄弟地区，也分别采用了不同的 DBCS 编码方案——当时的中国人想让电脑显示汉字，就必须装上一个”汉字系统”，专门用来处理汉字的显示、输入的问题，但是那个台湾的愚昧封建人士写的算命程序就必须加装另一套支持 BIG5 编码的什么”倚天汉字系统”才可以用，装错了字符系统，显示就会乱了套！这怎么办？而且世界民族之林中还有那些一时用不上电脑的穷苦人民，他们的文字又怎么办？ 真是计算机的巴比伦塔命题啊！


正在这时，大天使加百列及时出现了——一个叫 ISO （国际标谁化组织）的国际组织决定着手解决这个问题。他们采用的方法很简单：废了所有的地区性编码方案，重新搞一个包括了地球上所有文化、所有字母和符号 的编码！他们打算叫它”Universal Multiple-Octet Coded Character Set”，简称 UCS, 俗称 “unicode“。
unicode开始制订时，计算机的存储器容量极大地发展了，空间再也不成为问题了。于是 ISO 就直接规定必须用两个字节，也就是16位来统一表示所有的字符，对于ASCII里的那些“半角”字符，unicode保持其原编码不变，只是将其长度由原来的8位扩展为16位，而其他文化和语言的字符则全部重新统一编码。由于”半角”英文符号只需要用到低8位，所以其高8位永远是0，因此这种大气的方案在保存英文文本时会多浪费一倍的空间。


这时候，从旧社会里走过来的程序员开始发现一个奇怪的现象：他们的strlen函数靠不住了，一个汉字不再是相当于两个字符了，而是一个！是的，从unicode开始，无论是半角的英文字母，还是全角的汉字，它们都是统一的”一个字符“！同时，也都是统一的”两个字节“，请注意”字符”和”字节”两个术语的不同，“字节”是一个8位的物理存贮单元，而“字符”则是一个文化相关的符号。在unicode中，一个字符就是两个字节。一个汉字算两个英文字符的时代已经快过去了。


unicode同样也不完美，这里就有两个的问题，一个是，如何才能区别unicode和ascii？计算机怎么知道三个字节表示一个符号，而不是分别表示三个符号呢？第二个问题是，我们已经知道，英文字母只用一个字节表示就够了，如果unicode统一规定，每个符号用三个或四个字节表示，那么每个英文字母前都必然有二到三个字节是0，这对于存储空间来说是极大的浪费，文本文件的大小会因此大出二三倍，这是难以接受的。


unicode在很长一段时间内无法推广，直到互联网的出现，为解决unicode如何在网络上传输的问题，于是面向传输的众多 UTF（UCS Transfer Format）标准出现了，顾名思义，UTF-8就是每次8个位传输数据，而UTF-16就是每次16个位。UTF-8就是在互联网上使用最广的一种unicode的实现方式，这是为传输而设计的编码，并使编码无国界，这样就可以显示全世界上所有文化的字符了。


UTF-8最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度，当字符在ASCII码的范围时，就用一个字节表示，保留了ASCII字符一个字节的编码做为它的一部分，注意的是unicode一个中文字符占2个字节，而UTF-8一个中文字符占3个字节）。从unicode到uft-8并不是直接的对应，而是要过一些算法和规则来转换。


Unicode符号范围 | UTF-8编码方式


(十六进制)         |        （二进制）
—————————————————————–
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx


 


~~~~*********************************************~~~


 


 


如果每次都这么手动转换编码嫌麻烦（写程序怕麻烦是好事，不怕麻烦就会写出又长又难懂又没法维护的代码），Python还提供了一个codecs模块帮我们在读文件时自动转换编码，直接读出unicode：






 








1


2


3














import codecs


with codecs.open('/Users/michael/gbk.txt', 'r', 'gbk') as f:


  f.read() # u'\u6d4b\u8bd5'






































































 


 


写文件，参考：http://blog.csdn.net/adupt/article/details/4435615


写文件和读文件是一样的，唯一区别是调用open()函数时，传入标识符'w'或者'wb'表示写文本文件或写二进制文件：






 








1


2


3














>>> f = open('/Users/michael/test.txt', 'w')


>>> f.write('Hello, world!')


>>> f.close()






































































你可以反复调用write()来写入文件，但是务必要调用f.close()来关闭文件。当我们写文件时，操作系统往往不会立刻把数据写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入。只有调用close()方法时，操作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘，剩下的丢失了。所以，还是用with语句来得保险：






 








1


2














with open('/Users/michael/test.txt', 'w') as f:


  f.write('Hello, world!')






































































要写入特定编码的文本文件，请效仿codecs的示例，写入unicode，由codecs自动转换成指定编码。


 


具体如下：


 


写文本文件


 


output = open('data', 'w')


 


 


 


写二进制文件


 


output = open('data', 'wb')


 


 


 


追加写文件


 


output = open('data', 'w+')


 


 


 


写数据


 


file_object = open('thefile.txt', 'w')
file_object.write(all_the_text)
file_object.close( )


 


 


 


写入多行


 


file_object.writelines(list_of_text_strings)


 



注意，调用writelines写入多行在性能上会比使用write一次性写入要高。


 


 


在处理日志文件的时候，常常会遇到这样的情况：日志文件巨大，不可能一次性把整个文件读入到内存中进行处理，例如需要在一台物理内存为 2GB 的机器上处理一个 2GB 的日志文件，我们可能希望每次只处理其中 200MB 的内容。在 Python 中，内置的 File 对象直接提供了一个 readlines(sizehint) 函数来完成这样的事情。以下面的代码为例：




file = open('test.log', 'r')



sizehint = 209715200   # 200M



position = 0



lines = file.readlines(sizehint)



while not file.tell() - position < 0:



       position = file.tell()



       lines = file.readlines(sizehint)




每次调用 readlines(sizehint) 函数，会返回大约 200MB 的数据，而且所返回的必然都是完整的行数据，大多数情况下，返回的数据的字节数会稍微比 sizehint 指定的值大一点（除最后一次调用 readlines(sizehint) 函数的时候）。通常情况下，Python 会自动将用户指定的 sizehint 的值调整成内部缓存大小的整数倍。


 


file在python是一个特殊的类型，它用于在python程序中对外部的文件进行操作。在python中一切都是对象，file也不例外，file有file的方法和属性。下面先来看如何创建一个file对象：


    

  • file(name[, mode[, buffering]])
    • 



file()函数用于创建一个file对象，它有一个别名叫open()，可能更形象一些，它们是内置函数。来看看它的参数。它参数都是以字符串的形式传递的。name是文件的名字。
mode是打开的模式，可选的值为r w a U，分别代表读（默认） 写 添加支持各种换行符的模式。用w或a模式打开文件的话，如果文件不存在，那么就自动创建。此外，用w模式打开一个已经存在的文件时，原有文件的内容会被清空，因为一开始文件的操作的标记是在文件的开头的，这时候进行写操作，无疑会把原有的内容给抹掉。由于历史的原因，换行符在不同的系统中有不同模式，比如在 unix中是一个/n，而在windows中是‘/r/n’，用U模式打开文件，就是支持所有的换行模式，也就说‘/r’ '/n' '/r/n'都可表示换行，会有一个tuple用来存贮这个文件中用到过的换行符。不过，虽说换行有多种模式，读到python中统一用/n代替。在模式字符的后面，还可以加上+ b t这两种标识，分别表示可以对文件同时进行读写操作和用二进制模式、文本模式（默认）打开文件。
buffering如果为0表示不进行缓冲;如果为1表示进行“行缓冲“;如果是一个大于1的数表示缓冲区的大小，应该是以字节为单位的。

file对象有自己的属性和方法。先来看看file的属性。


    

  • closed #标记文件是否已经关闭，由close()改写
    • 

  • encoding #文件编码
    • 

  • mode #打开模式
    • 

  • name #文件名
    • 

  • newlines #文件中用到的换行模式，是一个tuple
    • 

  • softspace #boolean型，一般为0，据说用于print
    • 













file的读写方法：


    

  • F.read([size]) #size为读取的长度，以byte为单位
    • 

  • F.readline([size]) 
    #读一行，如果定义了size，有可能返回的只是一行的一部分
    • 

  • F.readlines([size]) 
    #把文件每一行作为一个list的一个成员，并返回这个list。其实它的内部是通过循环调用readline()来实现的。如果提供size参数，size是表示读取内容的总长，也就是说可能只读到文件的一部分。
    • 

  • F.write(str) 
    #把str写到文件中，write()并不会在str后加上一个换行符
    • 

  • F.writelines(seq) 
    #把seq的内容全部写到文件中。这个函数也只是忠实地写入，不会在每行后面加上任何东西。
    • 












file的其他方法：


    

      

    • F.close() 
      #关闭文件。python会在一个文件不用后自动关闭文件，不过这一功能没有保证，最好还是养成自己关闭的习惯。如果一个文件在关闭后还对其进行操作会产生ValueError
      • 

    • F.flush() 
      #把缓冲区的内容写入硬盘
      • 

    • F.fileno() 
      #返回一个长整型的”文件标签“
      • 

    • F.isatty() 
      #文件是否是一个终端设备文件（unix系统中的）
      • 

    • F.tell() 
      #返回文件操作标记的当前位置，以文件的开头为原点
      • 

    • F.next() 
      #返回下一行，并将文件操作标记位移到下一行。把一个file用于for ... in file这样的语句时，就是调用next()函数来实现遍历的。
      • 

    • F.seek(offset[,whence]) 
      #将文件打操作标记移到offset的位置。这个offset一般是相对于文件的开头来计算的，一般为正数。但如果提供了whence参数就不一定了，whence可以为0表示从头开始计算，1表示以当前位置为原点计算。2表示以文件末尾为原点进行计算。需要注意，如果文件以a或a+的模式打开，每次进行写操作时，文件操作标记会自动返回到文件末尾。
      • 

    • F.truncate([size]) 
      #把文件裁成规定的大小，默认的是裁到当前文件操作标记的位置。如果size比文件的大小还要大，依据系统的不同可能是不改变文件，也可能是用0把文件补到相应的大小，也可能是以一些随机的内容加上去。
      • 










    











**=============================================**


 


有点累了，后续正则和soup的学习。


To be continued...


 







            

            
posted @ 
2016-09-18 18:04 
CC_python 
阅读(417) 
评论(0) 
 
收藏 
举报