二、数据提取(1)——xpath语法与lxml库

1. XPath语法

什么是XPath？

xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。

XPath开发工具

  1. Chrome插件XPath Helper
  2. Firefox插件Xpath Checker

XPath语法

选取节点

Xpath使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

表达式描述示例结果
nodename 选取此节点的所有子节点 bookstore 选取bookstore下所有的子节点
/ 如果是在最前面，代表从根节点选取。否则选择某节点下的某个节点 /bookstore 选取根元素下所有的bookstore节点
// 从全局节点中选择节点，随便在哪个位置 //book 从全局节点中找到所有的book节点
@ 选取某个节点的属性 //book[@price] 选择所有拥有price属性的book节点

使用方式

使用 //获取整个页面当中的元素，然后写标签名，然后再写谓词进行提取。比如:

//div[@class='abc']

需要注意的知识点：

  1. / 和 // 的区别：/ 代表只获取直接子节点。//获取子孙节点。一般 // 用得比较多，当然也要视情况而定。

  2. contains：有时候某个属性中包含了多个值，那么可以使用contains函数。示例代码如下：

    //div[contains(@class,'job_detail')]

  3. 谓词中的下标是从1开始的，不是从0开始的。

谓语

谓语用来查找某个特定的节点或者包含某个指定的值的节点，被嵌在方括号中。在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：

路径表达式描述
/bookstore/book[1] 选取bookstore下的第一个子元素
/bookstore/book[last()] 选取bookstore下的倒数第二个book元素
bookstore/book[position()<3] 选取bookstore下前面两个子元素
//book[@price] 选取拥有price属性的book元素
//book[@price=10] 选取所有属性price等于10的book元素

通配符

*表示通配符。

通配符描述示例结果
* 匹配任意节点 /bookstore/* 选取bookstore下的所有子元素
@* 匹配节点中的任何属性 //book[@*] 选取所有带有属性的book元素

选取多个路径

通过在路径表达式中使用“i”运算符，可以选取若干个路径。

示例如下：

//bookstore/book | //book/title
# 选取所有book元素以及book元素下所有的title元素

运算符

运算符描述示例返回值
| 计算两个节点集 //book | //cd 返回所有拥有 book 和 cd 元素的节点集
+ 加法 6 + 4 10
- 减法 6 - 4 2
* 乘法 6 * 4 24
div 除法 8 div 4 2
= 等于 price = 9.80 如果price是9.80，则返回true，如果不是，则返回false
!= 不等于 price != 9.80 如果price不是9.80，则返回true，如果是，则返回false
< 小于 price < 9.80 如果price小于9.80，则返回true，如果不是，则返回false
<= 小于或等于 price <= 9.80 如果price小于或等于9.80，则返回true，如果不是，则返回false
> 大于 price > 9.80 如果price大于9.80，则返回true，如果不是，则返回false
>= 大于或等于 price >= 9.80 如果price大于或等于9.80，则返回true，如果不是，则返回false
or 或 price = 9.80 or price = 9.70 满足任意一个条件，则返回true，如果不是，则返回false
and 与 price > 9.0 and price < 9.70 同时满足两边条件，则返回true，如果不是，则返回false
Mod 计算除法的余数 5 mod 2 1

 

2. lxml库

lxml是一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML数据。

lxml和正则一样，也是用C实现，是一款高性能的 Python HTML/XML解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息。

lxml python官方文档：http://lxml.de/index.html

需要安装C语言库，可使用pip安装：pip install lxml

基本使用

解析html字符串：使用lxml.etree.HTML进行解析。我们可以利用它来解析HTML代码，并且在解析HTML代码的时候，如果HTML代码不规范，它会自动进行补全。示例代码如下：

from lxml import etree

text = """
<div>
    <ul>
        <li class="item-0"><a href="link1.html">first item</a></li>
        <li class="item-1"><a href="link2.html">second item</a></li>
        <li class="item-inactive"><a href="link3.html">third item</a></li>
        <li class="item-0"><a href="link4.html">fourth item</a></li>
        <li class="item-0"><a href="link5.html">fifth item</a> # 注意此处缺少一个</li>闭合标签
    </ul>
</div>
"""

# 利用etree.HTML 将字符串解析为HTML文档
htmlElement = etree.HTML(text)
# 按字符串序列化HTML文档
print(etree.tostring(htmlElement,encoding='utf-8').decode('utf-8'))
View Code

输出结果如下：

 1 <html>
 2 <body>
 3 <div>
 4     <ul>
 5         <li class="item-0"><a href="link1.html">first item</a></li>
 6         <li class="item-1"><a href="link2.html">second item</a></li>
 7         <li class="item-inactive"><a href="link3.html">third item</a></li>
 8         <li class="item-0"><a href="link4.html">fourth item</a></li>
 9         <li class="item-0"><a href="link5.html">fifth item</a></li>
10     </ul>
11 </div>
12 </body>
13 </html>
View Code

可以看到Lxml会自动修改HTML代码。例子中不仅补全了li标签，还添加了body，html标签。

从文件中读取html代码

除了直接使用字符串进行解析，lxml还支持从文件中读取内容。我们新建一个hello.html文件：

<!-- hello.html -->
<div>
    <ul>
        <li class="item-0"><a href="link1.html">first item</a></li>
        <li class="item-1"><a href="link2.html">second item</a></li>
        <li class="item-inactive"><a href="link3.html">third item</a></li>
        <li class="item-1"><a href="link4.html">fourth item</a></li>
        <li class="item-0"><a href="link5.html">fifth item</a></li>
    </ul>
</div>
View Code

然后利用 lxml.etree.parse()方法来读取文件。示例代码如下：

from lxml import etree

#读取外部文件 hello.html
htmlElement = etree.parse('hello.html')
print(etree.tostring(htmlElement, encoding='utf-8').decode('utf-8'))

print(result)

输出结果和之前是相同的。

这个函数默认使用的是XML解析器。如果遇到一些不规范的HTML代码的时候就会解析错误，这个时候就要自己创建HTML解析器。

parser = etree.HTMLParser(encoding='utf-8')
htmlElement = etree.parse('lagou.html',parser=parser)
print(etree.tostring(htmlElement,pretty_print=True,encoding='utf-8').decode('utf-8'))

在lxml中使用XPath语法

示例1-hello.html

1. 获取所有li标签

from lxml import etree

html = etree.parse('hello.html')
print(type(html)) # 显示 etree.parse() 返回类型

result = html.xpath('//li')
print(result) # 打印<li>标签的元素集合
View Code

2. 获取所有li元素下的所有class属性的值

from lxml import etree

html = etree.parse('hello.html')
result = html.xpath('//li/@class')

print(result)
View Code

3. 获取li标签下href为 www.baidu.com的a标签

from lxml import etree

html = etree.parse('hello.html')
result = html.xpath('//li/a[@href="www.baidu.com"]')

print(result)
View Code

4. 获取li标签下所有span标签

from lxml import etree

html = etree.parse('hello.html')
#result = html.xpath('//li/span')
# 注意这么写是不对的
# 因为 / 是用来获取子元素的，而<span>并不是<li>的子元素，所以，要用双斜杠

result = html.xpath('//li//span')
print(result)
View Code

5. 获取li标签下的a标签里的所有class

from lxml import etree

html = etree.parse('hello.html')
result = html.xpath('//li/a//@class')
print(result)
View Code

6. 获取最后一个li的a的href属性对应的值

from lxml import etree

html = etree.parse('hello.html')
result = html.xpath('//li[last()]/a/@href')
# 谓语[last()] 可以找到最后一个元素
print(result)
View Code

7. 获取倒数第二个li元素的内容

from lxml import etree

html = etree.parse('hello.html')
result = html.xpath('//li[last()-1]/a')

# text 方法可以获取元素内容
print(result[0].text)
View Code

8. 获取倒数第二个li元素的内容的第二种方式

from lxml import etree

html = etree.parse('hello.html')
result = html.xpath('//li[last()-1]/a/text')
print(result)
View Code

 

示例2-tencent.html：

<table class="tablelist" cellpadding="0" cellspacing="0">
    <tbody>
    <tr class="h">
        <td class="l" width="374">职位名称</td>
        <td>职位类别</td>
        <td>人数</td>
        <td>地点</td>
        <td>发布时间</td>
    </tr>
    <tr class="even">
        <td class="l square"><a target="_blank"
                                href="position_detail.php?id=48569&amp;keywords=&amp;tid=87&amp;lid=2175">26699-智慧零售业务中心前端开发（上海）</a>
        </td>
        <td>技术类</td>
        <td>1</td>
        <td>上海</td>
        <td>2019-03-15</td>
    </tr>
    <tr class="odd">
        <td class="l square"><a target="_blank"
                                href="position_detail.php?id=48556&amp;keywords=&amp;tid=87&amp;lid=2175">22989-高级AI后台开发工程师（上海/深圳）</a>
        </td>
        <td>技术类</td>
        <td>2</td>
        <td>上海</td>
        <td>2019-03-15</td>
    </tr>
    <tr class="even">
        <td class="l square"><a target="_blank"
                                href="position_detail.php?id=48537&amp;keywords=&amp;tid=87&amp;lid=2175">25666-腾讯云华东区域解决方案支持</a>
        </td>
        <td>技术类</td>
        <td>1</td>
        <td>上海</td>
        <td>2019-03-15</td>
    </tr>
    <tr class="odd">
        <td class="l square"><a target="_blank"
                                href="position_detail.php?id=48534&amp;keywords=&amp;tid=87&amp;lid=2175">CSIG02-腾讯云行业方案架构师（上海）</a>
        </td>
        <td>技术类</td>
        <td>1</td>
        <td>上海</td>
        <td>2019-03-15</td>
    </tr>
    <tr class="even">
        <td class="l square"><a target="_blank"
                                href="position_detail.php?id=48428&amp;keywords=&amp;tid=87&amp;lid=2175">25929-高级机器学习工程师</a>
        </td>
        <td>技术类</td>
        <td>1</td>
        <td>上海</td>
        <td>2019-03-15</td>
    </tr>
    <tr class="odd">
        <td class="l square"><a target="_blank"
                                href="position_detail.php?id=48425&amp;keywords=&amp;tid=87&amp;lid=2175">30628-腾讯广告投放平台PHP开发工程师（上海）</a>
        </td>
        <td>技术类</td>
        <td>1</td>
        <td>上海</td>
        <td>2019-03-15</td>
    </tr>
    <tr class="even">
        <td class="l square"><a target="_blank"
                                href="position_detail.php?id=48393&amp;keywords=&amp;tid=87&amp;lid=2175">CSIG16-车联网系统工程师（自研基础产品运维负责人）（上海）</a>
        </td>
        <td>技术类</td>
        <td>1</td>
        <td>上海</td>
        <td>2019-03-15</td>
    </tr>
    <tr class="odd">
        <td class="l square"><a target="_blank"
                                href="position_detail.php?id=48394&amp;keywords=&amp;tid=87&amp;lid=2175">CSIG16-车联网IT运维经理（上海）</a>
        </td>
        <td>技术类</td>
        <td>1</td>
        <td>上海</td>
        <td>2019-03-15</td>
    </tr>
    <tr class="even">
        <td class="l square"><a target="_blank"
                                href="position_detail.php?id=48380&amp;keywords=&amp;tid=87&amp;lid=2175">22989-腾讯云-区域交付leader（上海）</a>
        </td>
        <td>技术类</td>
        <td>1</td>
        <td>上海</td>
        <td>2019-03-15</td>
    </tr>
    <tr class="odd">
        <td class="l square"><a target="_blank"
                                href="position_detail.php?id=48349&amp;keywords=&amp;tid=87&amp;lid=2175">27570-高级引擎工程师</a>
        </td>
        <td>技术类</td>
        <td>2</td>
        <td>上海</td>
        <td>2019-03-15</td>
    </tr>
    </tbody>
</table>
tencent.html

1. 获取所有tr标签

from lxml import etree

parser = etree.HTMLParser(encoding='utf-8')
html = etree.parse("tencent.html",parser=parser)

# 1.获取所有tr标签
# //tr
# xpath函数返回的是一个列表
trs = html.xpath('//tr')
for tr in trs:
    print(etree.tostring(tr,encoding='utf-8').decode('utf-8'))
View Code

2. 获取第2个tr标签

from lxml import etree

parser = etree.HTMLParser(encoding='utf-8')
html = etree.parse("tencent.html",parser=parser)

# 2.获取第2个tr标签
tr = html.xpath('//tr[2]')[0]
print(etree.tostring(tr,encoding='utf-8').decode('utf-8'))
View Code

3. 获取所有class等于even的tr标签

from lxml import etree

parser = etree.HTMLParser(encoding='utf-8')
html = etree.parse("tencent.html",parser=parser)

# 3.获取所有class等于even的标签
trs = html.xpath("//tr[@class='even']")
for tr in trs:
    print(etree.tostring(tr,encoding='utf-8').decode('utf-8'))
View Code

4. 获取所有的a标签的href属性对应的值

from lxml import etree

parser = etree.HTMLParser(encoding='utf-8')
html = etree.parse('tencent.html',parser)

# 4.获取所的a标签的href属性对应的值
aList = html.xpath('//a/@href')
for a in aList:
    print('https://hr.tencent.com/'+ a)
View Code

5. 获取所有的职位信息（纯文本）

from lxml import etree

parser = etree.HTMLParser(encoding='utf-8')
html = etree.parse('tencent.html',parser)

# 5.获取所有的职位信息（纯文本）
trs = html.xpath('//tr[position()>1]')
positions = []
print(len(trs))
for tr in trs:
    # 在某个标签下，再执行 xpath函数，获取这个标签下的子孙元素
    # 那么应该在 //之前加一个点，代表是在当前元素下获取
    href = tr.xpath('.//a/@href')[0]
    full_url = 'https://hr.tencent.com' + href
    title = tr.xpath('./td[1]//text()')[0]
    category = tr.xpath('./td[2]/text()')[0]
    nums = tr.xpath("./td[3]/text()")[0]
    address = tr.xpath("./td[4]/text()")[0]
    pubtime = tr.xpath("./td[5]/text()")[0]

    position = {
        'url': full_url,
        'title': title,
        'category': category,
        'nums': nums,
        'address': address,
        'pubtime': pubtime
    }
    positions.append(position)

print(positions)
View Code

 

lxml结合xpath注意事项

  1. 使用xpath语法，应该使用Element.xpath方法，来执行xpath的选择。示例:

    trs  = html.path("//tr[position() > 1]")

    xpath函数返回是永远是一个列表。

  2. 获取某个标签的属性对应的值，示例：

    href = html.xpath("//a/@href")

  3. 获取文本，是通过xpath中的text()函数，示例：

    address = tr.xpath("./td[4]/text()")[0]

  4. 在某个标签下，再执行xpath函数，获取这个标签下的子孙元素，那么应该在 //之前加一个点，代表是在当前元素下获取，示例：

    category = tr.xpath('./td[2]/text()')[0]

实战1：爬取豆瓣电影正在上映电影

import requests
from lxml import etree

# 1.将目标网站上的页面抓取下来
headers={
    'User_Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
    'Referer':'https://movie.douban.com/'
}
url = 'https://movie.douban.com/cinema/nowplaying/shanghai/'
response = requests.get(url,headers=headers)
text = response.text

# 返回一个经过解码后的字符串，是str(unicode)类型
# response.text
#返回的是一个原生的字符串，就是从网页上抓取下来的，没有经过处理的字符串，是bytes类型
# response.content

# 2.将抓取下来的数据根据一定的规则进行提取
html = etree.HTML(text)
ul = html.xpath('//ul[@class="lists"]')[0]
lis = ul.xpath('./li')
movies = []
for li in lis:
    title = li.xpath("@data-title")[0]
    score = li.xpath("@data-score")[0]
    duration = li.xpath("@data-duration")[0]
    region = li.xpath("@data-region")[0]
    director = li.xpath("@data-director")[0]
    actors = li.xpath("@data-actors")[0]
    thumbnail = li.xpath(".//img/@src")

    movie = {
        'title':title,
        'score':score,
        'duration':duration,
        'region':region,
        'director':director,
        'actors':actors,
        'thumbnail':thumbnail
    }
    movies.append(movie)

print(movies)
View Code

 

实战2：使用 requests 和 xpath 爬取电影天堂

示例代码如下：

import requests
from lxml import etree

BASE_DOMAIN = 'http://www.dytt8.net'
HEADERS = {
    'User_Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
    'Referer': 'http://www.dytt8.net/html/gndy/dyzz/list_23_2.html'
}


def spider():
    url = 'http://www.dytt8.net/html/gndy/dyzz/list_23_1.html'
    resp = requests.get(url, headers=HEADERS)
    # resp.content:经过编码后的字符串
    # resp.text：没有经过编码，也就是Unicode字符串
    # text：相当于是网页中的源代码了
    text = resp.content.decode('gbk')

    # tree：经过 lxml 解析后的一个对象，以后使用这个对象的xpath方法，就可以提取一些想要的数据了
    tree = etree.HTML(text)

    # xpath/beautifulsoup4
    all_a = tree.xpath('//div[@class="co_content8"]//a')
    for a in all_a:
        title = a.xpath("text()")[0]
        href = a.xpath("@href")[0]
        if href.startswith('/'):
            detail_url = BASE_DOMAIN + href
            crawl_detail(detail_url)
            break


def crawl_detail(url):
    resp = requests.get(url, headers=HEADERS)
    text = resp.content.decode('gbk')
    tree = etree.HTML(text)
    create_time = tree.xpath('//div[@class="co_content8"]/ul/text()')[0].strip()
    imgs = tree.xpath("//div[@id='Zoom']//img/@src")

    # 电影海报
    cover = imgs[0]
    # 电影截图
    screenshoot = imgs[1]
    # 获取 span 标签下所有的文本
    infos = tree.xpath("//div[@id='Zoom']//text()")
    for index, info in enumerate(infos):
        if info.startswith("◎年 代"):
            year = info.replace("◎年 代", "").strip()

        if info.startswith("◎豆瓣评分"):
            douban_rating = info.replace("◎豆瓣评分", '').strip()
            print(douban_rating)

        if info.startswith("◎主　　演"):
            # 从当前位置，一直往下面遍历
            actors = [info]
            for x in range(index + 1, len(infos)):
                actor = infos[x]
                if actor.startswith("◎"):
                    break
                actors.append(actor.strip())
            print(",".join(actors))


if __name__ == '__main__':
    spider()
View Code

 

实战2-2：爬取电影天堂多页数据

from lxml import etree
import requests

BASE_DOMAIN = "http://dytt8.net"
HEADERS = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'}


def get_detail_urls(url):
    response = requests.get(url, headers=HEADERS)
    # response.text
    # response.content
    # requests库，默认会使用自己猜测的编码方式将抓取下来的网页进行解码，
    # 然后存储到text 属性上去
    # 在电影天堂的网页中，因为编码方式，requests库猜错了，所以就会产生乱码
    text = response.text
    html = etree.HTML(text)
    detail_urls = html.xpath('//table[@class="tbspan"]//a/@href')
    detail_urls = map(lambda url: BASE_DOMAIN + url, detail_urls)
    return detail_urls


def parse_detail_page(url):
    movie = {}
    response = requests.get(url, headers=HEADERS)
    text = response.content.decode('gbk')
    html = etree.HTML(text)
    title = html.xpath("//div[@class='title_all']//font[@color='#07519a']/text()")[0]
    movie['title'] = title

    zoomE = html.xpath("//div[@id='Zoom']")[0]
    images = zoomE.xpath("//img/@src")
    cover = images[0]
    screenShot = images[1]
    movie['cover'] = cover
    movie['screenShot'] = screenShot

    def parse_info(info, rule):
        return info.replace(rule, "").strip()

    infos = zoomE.xpath(".//text()")
    for index, info in enumerate(infos):
        # print(index)
        # print(info)
        # print('='*30)
        if info.startswith("◎年　　代"):
            info = parse_info(info, "◎年　　代")
            movie['year'] = info
        elif info.startswith("◎产　　地"):
            info = parse_info(info, "◎产　　地")
            movie['country'] = info
        elif info.startswith("◎类　　别"):
            info = parse_info(info, "◎类　　别")
            movie['category'] = info
        elif info.startswith("◎豆瓣评分"):
            info = parse_info(info, "◎豆瓣评分")
            movie['douban_rating'] = info
        elif info.startswith("◎片　　长"):
            info = parse_info(info, "◎片　　长")
            movie['duration'] = info
        elif info.startswith("◎导　　演"):
            info = parse_info(info, "◎导　　演")
            movie['director'] = info
        elif info.startswith("◎主　　演"):
            info = parse_info(info, "◎主　　演")
            actors = [info]
            for x in range(index + 1, len(infos)):
                actor = infos[x].strip()
                if actor.startswith("◎"):
                    break
                actors.append(actor)
            movie['actors'] = actors
        elif info.startswith("◎简　　介"):
            info = parse_info(info, "◎简　　介")
            for x in range(index + 1, len(infos)):
                profile = infos[x].strip()
                movie['profile'] = profile

    download_url = html.xpath("//td[@bgcolor='#fdfddf']/a/@hvynyxkj")
    print(download_url)
    movie['download_url'] = download_url
    return movie


def spider():
    base_url = 'http://dytt8.net/html/gndy/dyzz/list_23_{}.html'
    movies = []
    for x in range(1, 2):
        # 第一个for循环，是用来控制总共有7页
        url = base_url.format(x)
        detail_urls = get_detail_urls(url)
        for detail_url in detail_urls:
            # 第2个for循环，是用来遍历一页中所有电影的详情url
            movie = parse_detail_page(detail_url)
            movies.append(movie)
    # print(movies)


if __name__ == '__main__':
    spider()
View Code

 

chrome相关问题

在62版本（目前最新）中有一个bug，在页面302重定向的时候不能记录FormData数据。这是这个版本的一个bug。详细见以下链接：https://stackoverflow.com/questions/34015735/http-post-payload-not-visible-in-chrome-debugger%E3%80%82

在金丝雀版本中已经解决了这个问题，可以下载这个版本继续，链接如下：https://www.google.com/chrome/canary/

作业：

使用requests和xpath爬取腾讯招聘网信息。要求为获取每个职位的详情信息。

import requests
from lxml import etree

BASE_DOMAIN = 'https://hr.tencent.com/'
HEADERS = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
    'Referer':'https://hr.tencent.com/position.php?keywords=python&tid=0&lid=2175',
    'Cookie':'pgv_pvi=728765440; PHPSESSID=te5ir3afl3u2rm5b182nl2m5d5; pgv_si=s4690324480',
    'Host':'hr.tencent.com',
    'Upgrade-Insecure-Requests':'1'
}


def parse_detail_page(url):
    position = {}
    response = requests.get(url,headers=HEADERS)
    html = etree.HTML(response.text)
    title = html.xpath("//td[@id='sharetitle']/text()")[0]
    tds = html.xpath("//tr[@class='c bottomline']/td")
    address = tds[0].xpath(".//text()")[1]
    category = tds[1].xpath(".//text()")[1]
    nums = tds[2].xpath(".//text()")[1]
    more_infos = html.xpath("//ul[@class='squareli']") 
    duty = more_infos[0].xpath(".//text()")
    require = more_infos[1].xpath(".//text()")
    
    position['title'] = title
    position['address'] = address
    position['category'] = category
    position['nums'] = nums
    position['duty'] = duty
    position['require'] = require
    return position

def get_detail_urls(url):
    response = requests.get('https://hr.tencent.com/position.php?keywords=python&tid=0&start=0#a',headers=HEADERS)
    text = response.text 
    html = etree.HTML(text)
    links = html.xpath("//tr[@class='even']//a/@href")
    links = map(lambda url:BASE_DOMAIN+url,links)
    return links


def spider():
    base_url = "https://hr.tencent.com/position.php?keywords=python&tid=0&start={}#a"
    positions = []
    for x in range(0,43):
        x *= 10
        url = base_url.format(x)
        detail_urls = get_detail_urls(url)
        for detail_url in detail_urls:
            position = parse_detail_page(detail_url)
            positions.append(position)
            print(position)
    # print(positions)


if __name__ == '__main__':
    spider()
View Code

 

posted @ 2019-04-30 18:05  渣爷  阅读(524)  评论(0)    收藏  举报