• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
百里丶落云
Gee,gee,baby,baby
            管理     
python 爬恶魔法则(单线程卡成狗)
from bs4 import BeautifulSoup
import requests
import sys
class down(object):
def __init__(self):
self.name = []
self.urls = []
self.nums = 0

def get_down_url(self):
html = "http://www.biquge5200.com/63_63238/"
req =requests.get(html)
bea = BeautifulSoup(req.text)
dd =bea.findAll('dd')
a = BeautifulSoup(str(dd)) # 把 找到 dd 再次 str 话 寻找a"
a_d = a.findAll("a")
self.nums=len(a_d[18:])
for eatch in a_d[18:] :
self.name.append(eatch.string)
self.urls.append(eatch.get('href'))
print(self.urls)
print(self.name)



def get_conent(self,target):
req = requests.get(url=target)
html =req.text
cont = BeautifulSoup(html)
texts =cont.find("div",id="content")
print(texts.text.replace('\xa0'*8,'\n\n'))
ds =down()
ds.get_down_url()
##for i in range(ds.nums):
## print(ds.get_conent(ds.urls[i]))
年与时驰,意与日去,遂成枯落, 多不接世,悲守穷庐,将复何及。
posted on 2018-03-16 00:03  百里丶落云  阅读(224)  评论(0)    收藏  举报
刷新页面返回顶部
博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3