2019 年 5月 9 日随笔档案 - ALLEN&Y

爬虫_小结04

摘要： 1、接触过几种爬虫模块 urllib requests 2、robots协议是什么？网站有一些数据不想被爬虫程序爬取，可以编写robots协议文件，明确指明哪些内容可以爬取哪些不可以爬取。在Scrapy框架中在settings.py文件中使用了硬性语法对该协议进行了生效 3、如何处理验证码？使阅读全文

posted @ 2019-05-09 22:10 ALLEN&Y 阅读(235) 评论(0) 推荐(0)

爬虫_小结03

摘要： 1、tcp和udp的区别？ 1、TCP面向连接（如打电话要先拨号建立连接）;UDP是无连接的，即发送数据之前不需要建立连接 2、TCP提供可靠的服务。也就是说，通过TCP连接传送的数据，无差错，不丢失，不重复，且按序到达;UDP尽最大努力交付，即不保证可靠交付 3、TCP面向字节流，实际上是TCP 阅读全文

posted @ 2019-05-09 22:05 ALLEN&Y 阅读(102) 评论(0) 推荐(0)

爬虫_小结02

摘要： 1、scrapy框架专题部分（1）请简要介绍下scrapy框架。 scrapy 是个快速，高层次的基于python的web爬虫框架，用于抓取web站点，并从页面中提取结构化的数据。scrapy使用了Twisted异步网络库来处理网络通信。（2）为什么要使用scrapy框架？scrapy框架有哪些阅读全文

posted @ 2019-05-09 22:01 ALLEN&Y 阅读(104) 评论(0) 推荐(0)

爬虫_小结01

摘要： 1、python中常用的数据结构有哪些？请简要介绍一下。列表list,元祖tuple,字典dict,字符串str,集合ser,数字int 2、简要描述python中单引号、双引号、三引号的区别。首先，单引号和双引号在使用时基本上没有什么区别，唯一需要注意的是：当字符串中有单引号时，最好在外面使用双阅读全文

posted @ 2019-05-09 21:59 ALLEN&Y 阅读(114) 评论(0) 推荐(0)

PYTHON 改变世界

公告