摘要：
适用场景：数据采集的时候需要经过登录然后进入到某个页面 案例目的是跳过登录直接进入个人信息页面 经过分析： 1.请求的url地址为：https://weibo.cn/2954041765/info 2.请求方式为：get 代码如下： #适用的场景：数据采集的时候需要绕过登录然后进入到某个页面 # i 阅读全文
posted @ 2022-05-24 09:39
创客未来
阅读(176)
评论(0)
推荐(0)
摘要：
简介 1.HTTPError类是URLError类的子类 2.http错误：http错误是针对浏览器无法连接到服务器而增加出来的错误提示。引导并告诉浏览者该页面是哪里出现了问题 3.通过urllib发送请求的时候，有可能会发送失败，这个时候如果想让你的代码更加健壮性，可以通过try-except进行 阅读全文
posted @ 2022-05-23 14:51
创客未来
阅读(440)
评论(0)
推荐(0)
摘要：
下载肯德基官网中餐厅的数据。 经过分析： 1.请求接口的地址：http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname 2.请求方式：post 3.请求参数： 全部代码： #获取肯德基官网数据 # import urllib.parse 阅读全文
posted @ 2022-05-23 14:23
创客未来
阅读(67)
评论(0)
推荐(0)
摘要：
1.爬取豆瓣电影第一页数据并下载 #get请求 #获取豆瓣电影的第一页的数据并且保持起来 import urllib.request url = 'https://movie.douban.com/j/chart/top_list?type=5&interval_id=100:90&action=& 阅读全文
posted @ 2022-05-23 13:38
创客未来
阅读(66)
评论(0)
推荐(0)
摘要：
1.通过对百度翻译的分析，现在找出在百度翻译中有个“详细翻译的接口” 即：https://fanyi.baidu.com/v2transapi?from=en&to=zh请求地址 2.查找Request Headers 3.详细代码 #百度详细翻译，反爬的第二种情况 Cookie import ur 阅读全文
posted @ 2022-05-23 10:20
创客未来
阅读(236)
评论(0)
推荐(0)
摘要：
1.get请求的quote方法 quote（）方法：是将汉字转换成unicode编码 import urllib.request import urllib.parse url = 'https://www.baidu.com/s?wd=' #请求对象的定制是为了解决反爬的第一种手段 headers 阅读全文
posted @ 2022-05-20 16:33
创客未来
阅读(38)
评论(0)
推荐(0)
摘要：
UA介绍 User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、cpu类型、浏览器及版本。浏览器内核、浏览器渲染引擎、浏览器语言、浏览器插件等。 为什么出现UA 案例代码 import urllib.request url = 'http 阅读全文
posted @ 2022-05-20 15:18
创客未来
阅读(164)
评论(0)
推荐(0)
摘要：
目的：将获取得到的信息下载到本地 这里主要用到了 urllib.request.urlretrieve()方法 1.下载网页 # # 使用urllib 下载网页、图片、视频 #@author:tnwner #@date:2022-05-20 14:22 # import urllib.request 阅读全文
posted @ 2022-05-20 14:40
创客未来
阅读(106)
评论(0)
推荐(0)
摘要：
1.什么是爬虫？ 通过一个程序，更加url进行爬取网页，获取有用信息。使用程序模拟浏览器，去向服务器发送请求，获取响应信息。 2.爬虫的核心？ 爬取网页：爬取整个网页，包含了网页中所有的内容 解析数据：将网页中你得到的数据进行解析 难点：爬虫和反爬虫之间的博弈 3.爬虫的用途？ 数据分析/人工数据集 阅读全文
posted @ 2022-05-20 14:14
创客未来
阅读(58)
评论(0)
推荐(0)
摘要：
1.什么是需求评审 统一思想，明确需求，确定实现过程的会议。 俗称挑刺大会，撕逼大会，逼死产品经理大会 通常评审会要经过几次，一次完成要拼“专业度”和“产品人品值” 需求评审过程通常很激烈，通常会有很多类似问题逼问产品经理 -这样做很麻烦，开发难度很大（开发） -你考虑清楚了吗？真的要这么做吗？ - 阅读全文
posted @ 2022-05-17 16:09
创客未来
阅读(194)
评论(0)
推荐(0)
浙公网安备 33010602011771号