摘要: 首先,要能够查询到照片地址,查询的照片必须要开GPS拍,且上传时用原图…… 查询图片的exif信息,使用exifread包 这里建议,可以找一个exif查看器上传一个图片看一看,对GPS GPSLongitude等信息有一个直观印象 到这里,我花费时间最长才发现的一个坑。现象是我写完后,读取结果总是 阅读全文
posted @ 2019-09-22 22:07 smallpotato001 阅读(620) 评论(0) 推荐(0)
摘要: 1. 我想要安装一个包,在terminal中pip install xx是最方便的,但是pip还没安装,怎么办? 输入sudo easy_install pip即可。 阅读全文
posted @ 2019-09-22 18:52 smallpotato001 阅读(123) 评论(0) 推荐(0)
摘要: 提取HTML数据 在我爬取链家,携程网站时候遇到问题,明明response 200,但select返回是空值。 目前猜测原因是:存放我想获取数据的网址不是在一开始写入的网址,我resp.text没有看见相关数据。这个以后学习如何处理。 提取Json数据 暂时不会,大致看了下,像字典存储 阅读全文
posted @ 2019-09-22 17:39 smallpotato001 阅读(337) 评论(0) 推荐(0)
摘要: 为什么要设置请求头? 第一课中提到request.get(url),但是对一些网站, 爬取时会发现返回<Response [403]>。403是网站的反爬机制造成的,如果仅仅是发送web服务器一个页面请求,web服务器连你一些基本信息都不知道,这时候会被视为非正常的访问,无法爬取成功。因此需要加入h 阅读全文
posted @ 2019-09-22 14:58 smallpotato001 阅读(698) 评论(0) 推荐(0)
摘要: 学习爬虫的目的是什么? 我目前的理解是爬虫是为了批量访问并获取数据,比如我希望分析各地房价的变化,那我就需要定期爬取房地产相关网站最新房价数据。 先看下面的代码 如果是小白,可能会有以下几个问题 1. url是什么? 2. requests.get(url)这一步发生了什么? 3. 返回<Respo 阅读全文
posted @ 2019-09-22 12:07 smallpotato001 阅读(182) 评论(0) 推荐(0)
摘要: 序言: 最近遇到的困难是将我们业务接入一个大用户体量的App,而我们目标用户一定是在该App的使用用户范围内。但接入一个月,成交量极低。我们都想知道为什么成交量这么低。 数据分析 核心思维:找两组变量之间的关系 分析步骤: 1. 感知问题 第一种是最终结果有问题(对比法)。 这个最终结果对目前业务而 阅读全文
posted @ 2019-09-22 10:06 smallpotato001 阅读(268) 评论(0) 推荐(0)