#!/usr/bin/env python
# coding: utf-8
# In[3]:
from bs4 import BeautifulSoup
# # BeautifulSoup介绍
# 1、BeautifulSoup是基础HTML DOM的，会载入整个文档构建整个DOM树，因此时间和内存开销大，性能也就更低，而lxml只是进行局部的遍历
#
# 2、BeautifulSoup只能读取字符串格式，不能从文件中读取
#
# In[49]:
text = '''
<tr class="h">
<td class="l" width="374">职位名称</td>
<td>职位类别</td>
<td>人数</td>
<td>地点</td>
<td>发布时间</td>
</tr>
<tr class="even">
<td class="l square" id='ceshi'><a target="_blank" href="position_detail.php?id=47281&keywords=&tid=87&lid=0">PCG04-腾讯新闻高级Android开发工程师（北京）</a></td>
<td>技术类</td>
<td>1</td>
<td>北京</td>
<td>2019-01-23</td>
</tr>
<tr class="odd">
<td class="l square"><a target="_blank" href="position_detail.php?id=47280&keywords=&tid=87&lid=0">28603-113 微信支付智慧营销开发工程师（深圳）</a></td>
<td>技术类</td>
<td>1</td>
<td>深圳</td>
<td>2019-01-23</td>
</tr>
<tr class="even">
<td class="l square"><a target="_blank" href="position_detail.php?id=47270&keywords=&tid=87&lid=0">27020-量子实验室后台开发工程师（深圳）</a></td>
<td>技术类</td>
<td>2</td>
<td>深圳</td>
<td>2019-01-23</td>
</tr>
<tr class="odd">
<td class="l square"><a target="_blank" href="position_detail.php?id=47263&keywords=&tid=87&lid=0">22989-腾讯云售中交付技术总监（深圳）</a></td>
<td>技术类</td>
<td>1</td>
<td>深圳</td>
<td>2019-01-23</td>
</tr>
<tr class="even">
<td class="l square"><a target="_blank" href="position_detail.php?id=47258&keywords=&tid=87&lid=0">PCG04-测试开发工程师（北京）</a></td>
<td>技术类</td>
<td>1</td>
<td>北京</td>
<td>2019-01-23</td>
</tr>
<tr class="odd">
<td class="l square"><a target="_blank" href="position_detail.php?id=47259&keywords=&tid=87&lid=0">PCG04-AI评价优化高级工程师（深圳）</a></td>
<td>技术类</td>
<td>1</td>
<td>深圳</td>
<td>2019-01-23</td>
</tr>
<tr class="even">
<td class="l square"><a target="_blank" href="position_detail.php?id=47260&keywords=&tid=87&lid=0">PCG04-腾讯新闻高级后台开发工程师（北京）</a></td>
<td>技术类</td>
<td>1</td>
<td>北京</td>
<td>2019-01-23</td>
</tr>
<tr class="odd">
<td class="l square"><a target="_blank" href="position_detail.php?id=47261&keywords=&tid=87&lid=0">17757-前端开发工程师（北京）</a></td>
<td>技术类</td>
<td>1</td>
<td>北京</td>
<td>2019-01-23</td>
</tr>
<tr class="even">
<td class="l square"><a target="_blank" href="position_detail.php?id=47262&keywords=&tid=87&lid=0">30359-高级服务器开发工程师</a></td>
<td>技术类</td>
<td>1</td>
<td>深圳</td>
<td>2019-01-23</td>
</tr>
<tr class="odd">
<td class="l square"><a target="_blank" href="position_detail.php?id=47252&keywords=&tid=87&lid=0">25927-高级手游适配测试经理</a></td>
<td>技术类</td>
<td>1</td>
<td>上海</td>
<td>2019-01-23</td>
</tr>
<tr class="f">
<td colspan="5">
<div class="left">共<span class="lightblue total">1424</span>个职位</div>
<div class="right"><div class="pagenav"><a href="javascript:;" class="noactive" id="prev">上一页</a><a class="active" href="javascript:;">1</a><a href="position.php?lid=&tid=87&keywords=请输入关键词&start=10#a">2</a><a href="position.php?lid=&tid=87&keywords=请输入关键词&start=20#a">3</a><a href="position.php?lid=&tid=87&keywords=请输入关键词&start=30#a">4</a><a href="position.php?lid=&tid=87&keywords=请输入关键词&start=40#a">5</a><a href="position.php?lid=&tid=87&keywords=请输入关键词&start=50#a">6</a><a href="position.php?lid=&tid=87&keywords=请输入关键词&start=60#a">7</a><a href="position.php?lid=&tid=87&keywords=请输入关键词&start=70#a">...</a><a href="position.php?lid=&tid=87&keywords=请输入关键词&start=1420#a">143</a><a href="position.php?lid=&tid=87&keywords=请输入关键词&start=10#a" id="next">下一页</a><div class="clr"></div></div></div>
<div class="clr"></div>
</td>
'''
# In[29]:
# 建立一个BeautifulSoup对象，传入需要解析的字符串并且传入需要用那种进行解析
bs = BeautifulSoup(text,'lxml')
# In[30]:
print(bs.prettify()) # 是html代码规范化，可以自动补全缺失的标签
# # bs4库的使用方法
# In[18]:
# 1、获取所有的td 标签
get_all_tds = bs.find_all('td') # 返回的是一个列表类型
for get_all_td in get_all_tds:
print(get_all_td)
print('==='*30)
# In[21]:
# 2、获取第二个td标签
# 在find_all方法里面有个参数：limit ，如果你不想获取太多的数据的话可以使用这个参数，limit等于几就获取几个数据，我只想获取第二个数据
print(bs.find_all('td',limit=2)[1])
# In[23]:
# 3、获取所有class=‘l square’的td标签
get_squares = bs.find_all('td',class_='l square')
for square in get_squares:
print(square)
# In[25]:
# 也可以用attrs来获取
get_squares = bs.find_all('td',attrs={'class':'l square'})
for square in get_squares:
print(square)
# In[31]:
# 4、获取多个条件的字符串，比如：<td class="l square" id='ceshi'> 获取class= square id = ceshi的td标签
get_squares = bs.find_all('td',class_='l square',id='ceshi')
for square in get_squares:
print(square)
# In[32]:
# 也可以用attrs来获取
get_squares = bs.find_all('td',attrs={'class':'l square','id':'ceshi'})
for square in get_squares:
print(square)
# In[34]:
#5、获取a标签中的href属性值
# 有两种方法，第一种：相对比较简单和方便
a_tag_lists = bs.find_all('a')
for a_tag_list in a_tag_lists:
href = a_tag_list['href']
print(href)
# In[35]:
# 第二种方法，利用attrs
a_tag_lists = bs.find_all('a')
for a_tag_list in a_tag_lists:
href = a_tag_list.attrs['href']
print(href)
# In[40]:
# 6、获取所有职位的信息（文本数据，不包含html代码） 你想获取所有的字符串，可以直接bs.strings，但是如果有空格的话
# 是不会剔除的，bs.stripped_strings获取所有字符串的时候可以剔除空格
mess_lists = bs.find_all('td')
print(mess_lists[0].string)
# for mess_list in mess_lists:
# print(mess_list.string)
# print('---'*30)
# ## 总结
# #### find_all的使用方法：
# 1、在提取标签的时候，第一个参数是标签的名字，然后想通过标签属性进行过滤的时候，可以在这个方法中通过关键字参数的
# 形式，将属性值的名字和对应的字传入进去，或者使用attrs属性，将所有的属性和值以字典的形式传入进去
#
# 2、不想提取太多数据的时候可以用limit参数限制提取多少个
#
浙公网安备 33010602011771号