• 博客园logo
  • 会员
  • 周边
  • 新闻
  • 博问
  • 闪存
  • 众包
  • 赞助商
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
 






努力爬行的小虫子

 
 

Powered by 博客园
博客园 | 首页 | 新随笔 | 联系 | 订阅 订阅 | 管理

2021年4月25日

基于Scrapy全站数据的爬取
摘要: -基于Spider的全站数据爬取 -就是将网站中某个板块下的全部页码对应的页面数据进行爬取。 -需求:爬取糗百中所有的作者和评论 -实现方式: -将所有页面的url添加到start_urls列表(不推荐) -自行手动进行请求发送(推荐) -手动请求发送: -yield scraoy.Request( 阅读全文
posted @ 2021-04-25 22:00 努力爬行的小虫子 阅读(254) 评论(0) 推荐(0)
 
mysql数据库安装配置
摘要: 第一步:下载Mysql数据库压缩包 链接:https://pan.baidu.com/s/1lwC1yBkL0T6eAgdS9MlvgA 提取码:fv3g 解压后,文件目录如下 第二步:在与bin同目录下新建一个my.ini配置文件,其内容如下: 1 [mysql] 2 # 设置mysql客户端默认 阅读全文
posted @ 2021-04-25 12:03 努力爬行的小虫子 阅读(191) 评论(0) 推荐(0)