摘要： '''4.3 浏览器模拟--headers属性''''''#有的时候，我们无法爬取一些网页，会出现403错误，因为这些网页为了防止别人恶意# 采集其信息所以进行了一些反爬虫的设置。#那么，我们该如何如何爬取我们想爬的这些网页的信息呢？可以通过设置一些headers信息，模拟成浏览器去访问这些网站。此 阅读全文

摘要： # 爬虫项目原理：打开网址 获取源码 找到图片 匹配取出## urllib模块：urlopen打开 read源码# urlretrieve保存到文件，下载 阅读全文

摘要： '''一 爬虫网络的尺寸：1 小规模，数据量小，爬取速度不敏感；利用Request库爬取网页和玩转网页2 中规模：数据规模较大，爬取速度敏感；可以利用scrapy库爬取网站或者爬取系列网站3 大规模，搜索引擎爬取速度关键，主要是通过定制开发，而不是某一个库就可以完成的，可以用于爬取全网二 爬虫网络的骚扰：受限于编写水平和目的，网络爬虫将会为web服务器带来巨大的资源开销三 网络爬虫具有的风险：网络... 阅读全文

摘要： 1 #创建文件context='''hello world,hello china'''f=file("hello.txt",'w') #打开文件，若没有就创建吧f.write(context) #把字符串写入文件f.close() #关闭文件.释放资源####################### 阅读全文

摘要： import rehelp(re.compile)'''输出结果为：Help on function compile in module re:compile(pattern, flags=0) Compile a regular expression pattern, returning a pa 阅读全文

摘要： 从中可知：\t：表示制表符，相当于tab键；\n相当于换行符，会换一行;r：使转义符失效。 4 #使用索引截取字符串word ="world"print word[4]#>>> d#使用split()获取子串sentence = 'Bob said:1,2,3,4'print "使用空格取子串：", 阅读全文

摘要： '''元组：元组的创建元组的访问元组的遍历'''tuple=("apple","banana","grape","orange")print tuple[-1]print tuple[-2]#orange#grapetuple2=tuple[1:3]tuple3=tuple[0:-2]tuple4= 阅读全文

摘要： '''python reduce()函数：reduce()函数会对参数序列中元素进行积累。函数将一个数据集合（链表，元组等）中的所有数据进行下列操作：用传给reduce中的函数 function（有两个参数）先对集合中的第 1、2 个元素进行操作，得到的结果再与第三个数据用 function 函数运 阅读全文

摘要： '''1 传入网址，网址的类型一定是字符串2 传入的，本地的网页路径保存+文件名。3 一个函数的调用，我们可以任意来定义这个函数的行为，但是一定要保证这个函数有三个参数（1）到目前为止传递的数据块的数量（2）是每个数据块的大小，单位为byte，字节。（3）远程文件的大小，有时返回为1import u 阅读全文

摘要： #################################################'''版本：python2.7编辑器：pycharm标准库：urllibheader网页头部信息：server：centos、microsoft-IIscontent-type:text/html;ch 阅读全文