摘要：
转载来自： http://www.studyai.com/article/33e22cef42274e8a 阅读全文
posted @ 2019-03-14 11:23
猿起缘灭
阅读(311)
评论(0)
推荐(0)
摘要：
背景：在使用selenium时，在本地使用windows，都会有一个图形界面，但是到了生产环境linux上没有了图形界面怎么部署呢？ 解决方案： 1.安装图形化界面，不推荐，因为安装图形化界面会占用很多内存，而且在linux上搞个图形界面，很不爽 2.使用虚拟化图形界面，就跟你的虚拟机一样，也是一套 阅读全文
posted @ 2019-03-07 19:33
猿起缘灭
阅读(1096)
评论(0)
推荐(0)
摘要：
问题描述：在爬取一些反爬机制做的比较好的网站时，经常会遇见一个问题就网站代码是通过js写的，这种就无法直接使用一般的爬虫工具爬取，这种情况一般有两种解决方案 第一种：把js代码转为html代码，然后再使用html代码解析工具爬取，目前常用的工具是selenium和scrapy-splash,我使用的 阅读全文
posted @ 2019-03-02 17:32
猿起缘灭
阅读(5003)
评论(0)
推荐(0)
摘要：
背景：动态页面是页面是通过js代码渲染出来的，无法直接使用scrapy爬虫，这是就需要先把js代码转为静态的html，再用scrapy爬虫就可以解决 解决办法：增加SeleniumMiddlewares中间件 代码： 阅读全文
posted @ 2019-03-01 14:46
猿起缘灭
阅读(3053)
评论(0)
推荐(0)
摘要：
背景：最近写一个通过excel批量导入数据的功能，里面含有时间，但是java读取之后把时间转为了距离1990年1月1号的天数，比如excel中时间为2018/9/16 18:30，java读取之后变成43359.77083就会有问题 出现的问题： SimpleDateFormat startForm 阅读全文
posted @ 2019-01-11 14:40
猿起缘灭
阅读(7748)
评论(0)
推荐(0)
摘要：
由于公司业务上的需求，需要实时监控mysql数据库的数据的增长，并将数据同步到另一个平台，所以就问老大使用什么工具比较好，老大推荐使用StreamSets,还说在测试环境都已经部署好了StreamSets，所以就开始写了第一个测试。 数据库版本：5.6.35 MySQL Community Serv 阅读全文
posted @ 2018-07-20 18:49
猿起缘灭
阅读(2279)
评论(0)
推荐(1)
浙公网安备 33010602011771号