随笔分类 -  python爬虫

摘要:webdriver 提供了八种元素定位方法:id、name、class name、tag name、link text、partial link text、xpath、css selector在 Python 语言中对应的定位方法如下:find_element_by_id()find_element 阅读全文
posted @ 2018-06-30 12:42 拉努斯石 阅读(243) 评论(0) 推荐(0)
摘要:1、抓取网页的内容 urlopen(url)函数:这个函数返回一个 http.client.HTTPResponse 对象, 这个对象又有各种方法 #coding=utf-8import urllib.request url="http://www.baidu.com/"data=urllib.re 阅读全文
posted @ 2018-06-30 12:40 拉努斯石 阅读(359) 评论(0) 推荐(0)
摘要:一、网络爬虫的定义 网络爬虫,即Web Spider,是一个很形象的名字。 把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。 从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址, 然后通过这些链接地址寻找下一个 阅读全文
posted @ 2018-06-30 12:38 拉努斯石 阅读(225) 评论(0) 推荐(0)