2019年7月3日

day03 爬豌豆荚

摘要： '''主页: 名称、下载次数、大小、详情页地址https://www.wandoujia.com/wdjweb/api/category/more?catId=6001&subCatId=0&page=1&ctoken=FRsWKgWBqMBZLdxLaK4iem9Bhttps://www.wandoujia.com/wdjweb/api/category/more?catId=6001&s... 阅读全文

posted @ 2019-07-03 17:34 你家大人 阅读(96) 评论(0) 推荐(0)

day03 selenium补充及实训（爬京东商品信息）、Beautifulsoup4

摘要： 爬京东商品信息 bs4解析库及遍历文档树 bs4之搜索文档树 阅读全文

posted @ 2019-07-03 17:18 你家大人 阅读(179) 评论(0) 推荐(0)

2019年7月2日

day02 selenium基础

摘要： selenium选择器 阅读全文

posted @ 2019-07-02 13:30 你家大人 阅读(139) 评论(0) 推荐(0)

day02 爬豆瓣电影top250

摘要： 一 requests请求库爬取豆瓣电影信息 -请求url https://movie.douban.com/top250 -请求方式 GET -请求头 user-agent cookies源代码 import requests import re # 获取url def get_page(url):... 阅读全文

posted @ 2019-07-02 13:21 你家大人 阅读(109) 评论(0) 推荐(0)

2019年7月1日

day01 post请求登录github

摘要： 一、获取token随机字符串1.访问登录页面获取token随机字符串 请求URL: https://github.com/login 请求方式: GET 请求头: COOKIES User-Agent: Mozilla/5.0 (Macintosh; Intel Ma... 阅读全文

posted @ 2019-07-01 17:43 你家大人 阅读(242) 评论(0) 推荐(0)

day01 爬虫基本原理

摘要： 今日内容一、爬虫基本原理1、什么是爬虫 爬虫就是爬取数据2、什么是互联网 由一堆网络设备把一台台计算机互联到一起称之为互联网3、互联网建立的目的 数据的传递与数据的共享4、什么是数据？ 例如： 电商平台的商品信息 股票证券投资信息 ... 12306，票务信息5、什么是上网？ 普通用户： 打开浏览器 -... 阅读全文

posted @ 2019-07-01 15:02 你家大人 阅读(119) 评论(0) 推荐(0)