Python爬虫例子（笔记，不适合参考，愿意看的可以看看）

话不多说，直接上代码：

import re
import csv

#爬虫的一个小例子，爬的是百度贴吧（网页版）某个帖子的各个楼层的用户名，发言内容和发言时间（使用到了正则表达式） source3.txt是网页源代码
with open('source3.txt', 'r', encoding='UTF-8') as f:
    source = f.read()

result_list = []
every_floor = re.findall('"l_post j_l_post l_post_bright(.*?)<div class="clear"></div>', source, re.S)


for each in every_floor:
    #每次循环都初始化字典，然后经处理后，将整个有值的字典添加到列表中去
    result = {}
    result['username'] = re.findall('username="(.*?)" class="" src="', each, re.S)
    result['content'] = re.findall('j_d_post_content  clearfix" style="display:;">(.*?)</div><br>', each, re.S)
    result['reply_time'] = re.findall('date&quot;:&quot;(.*?)&quot;,&quot;vote_crypt', each, re.S)
    result_list.append(result)

with open('hstieba2.csv', 'w', encoding='gbk') as f:
    writer = csv.DictWriter(f, fieldnames=['username', 'content', 'reply_time'])
    writer.writeheader()
    writer.writerows(result_list)

其实就是对普通文本使用正则表达式而已，仅供参考，如有疑问，请在底下留言。