摘要: 设置请求时的重试规则 请求Url 上面设置完毕后,通过改Session的请求就可以支持失败重试 阅读全文
posted @ 2018-10-17 17:57 罗伊德 阅读(816) 评论(0) 推荐(0) 编辑
摘要: geopy是Python关于地理位置的一个第三方库,用这个库来进行地址位置信息的查询和转换非常方便,本文介绍关于geopy的常用的几种用法 geopy的安装 根据地址查询坐标及详细信息 根据坐标信息查询地址 阅读全文
posted @ 2018-10-17 17:56 罗伊德 阅读(5194) 评论(1) 推荐(0) 编辑
摘要: "上一篇文章" 我们介绍了geopy的基本使用,这一篇文章我们根据中心点坐标,方向,距中心点距离计算出对应的坐标点,这种用法官网并没有给出详细的文档,我们这里做一下说明 生成坐标点的具体方法 调用示例 阅读全文
posted @ 2018-10-17 17:56 罗伊德 阅读(2157) 评论(0) 推荐(0) 编辑
摘要: 爬虫工具Scrapy在Mac和Linux环境下都相对好装,但是在Windows上总会碰到各种莫名其妙的问题。本文记录下Scrapy在Window上的安装过程。 本文是基于Python2.7及Windows 10安装Scrapy及各种爬虫相关库。 下载安装Scrapy "Scrapy官方文档" 1. 阅读全文
posted @ 2018-10-17 17:56 罗伊德 阅读(178) 评论(0) 推荐(0) 编辑
摘要: 本文背景 公司新项目要求抓取目前市面上一些热门App的数据,经过研究发现很多App的网络请求都使用https进行数据传输,这样问题就来了,http使用明文传输所有请求都能拦截到,而https请求无法拦截。 所以这里我们要使用Charles来抓取https,但是笔者看了网上很多使用iOS设备进行抓取h 阅读全文
posted @ 2018-10-17 17:55 罗伊德 阅读(1367) 评论(0) 推荐(0) 编辑
摘要: Mac上从官方安装完Mysql5.7后,有一部分的字符集默认为latin1,而非utf8,为避免乱码的产生,本文介绍将所有字符集设置为utf8 查看当前字符集编码 我们会发现这些字符集为latin1 修改字符集为utf8 1. 关闭Mysql服务 2. 新建一个my.cnf配置文件,执行下面命令,如 阅读全文
posted @ 2018-10-17 17:54 罗伊德 阅读(171) 评论(0) 推荐(0) 编辑
摘要: Charles介绍 Charles是一款强大的http/https抓包工具,可以抓取各种数据请求,查看请求的头信息,请求信息,返回信息等。本文主要介绍Charles的破解过程,包括Windows平台和Mac平台。 破解文件下载 "点击这里下载" Windows平台 1. 到官网下载最新版,然后安装到 阅读全文
posted @ 2018-10-17 17:54 罗伊德 阅读(415) 评论(0) 推荐(0) 编辑
摘要: 从阿里云新买的一台Linux服务器,用来部署SpringBoot应用,由于之前一直使用Debian版本,环境配置有所不同,也较为繁琐,本文主要介绍CentOS下配置SpringBoot环境的过程 新建用户 由于新拿到的机器只有root用户,用root用户直接进行各种操作会有一定的安全问题,所以我们先 阅读全文
posted @ 2018-10-17 17:50 罗伊德 阅读(445) 评论(0) 推荐(0) 编辑
摘要: 1. 新建系统服务描述文件 添加以下配置: 2. 设置为系统服务,开机自启动 阅读全文
posted @ 2018-10-17 17:49 罗伊德 阅读(111) 评论(0) 推荐(0) 编辑
摘要: Nginx是一个高性能的Web服务软件。相比Apache HTTP Server更加的轻量级和灵活,是在WEB及服务端开发中必不可少的工具。 本文我们将介绍CentOS 7下Nginx的安装。 1. 添加仓库 2. 安装Nginx 3. 启动Nginx 4. 如果系统使用了防火墙(firewall) 阅读全文
posted @ 2018-10-17 17:49 罗伊德 阅读(79) 评论(0) 推荐(0) 编辑