11 2018 档案

selenium 代理设置
摘要：设置Firefox代理： 设置Chrome代理： 阅读全文
posted @ 2018-11-27 12:14 家迪的家 阅读(15770) 评论(0) 推荐(0)
pandas 轮询dataframe
摘要：轮询有一个挺好的方式，df.iterrows() 这个函数同时返回 索引和行对象的生成器可以直接进行遍历。 阅读全文
posted @ 2018-11-23 13:21 家迪的家 阅读(907) 评论(0) 推荐(0)
Spring 定时任务
摘要：在程序入口启动类添加@EnableScheduling，开启定时任务功能 @SpringBootApplication @EnableScheduling public class DemoApplication { public static void main(String[] args) { 阅读全文
posted @ 2018-11-22 14:00 家迪的家 阅读(237) 评论(0) 推荐(0)
pandas isin
摘要：在已知id索引的情况下，如何获取所需要的行呢？已经不止一次遇到这样的情况，经历过重重筛选，所得到的最终结果是一串满足所有条件的id列表。 pandas 的isin 能很好的解决这个问题， 阅读全文
posted @ 2018-11-19 16:01 家迪的家 阅读(1496) 评论(0) 推荐(0)
super
摘要：场景介绍：子类中需要调用父类的某个已经被覆盖的方法。 super函数的一个常见用法是在 __init__() 方法中确保父类被正确的初始化了： 阅读全文
posted @ 2018-11-17 21:21 家迪的家 阅读(161) 评论(0) 推荐(0)
面向对象原则:高内聚低耦合
摘要：实际上，大多数框架都替我们考虑了这些问题，这就是为什么我们在框架规范的要求下写出的代码更流畅（至少以前给我的感觉是这样），言归正传。 高内聚、低耦合的定义： 内聚：每个模块尽可能独立完成自己的功能，不依赖于模块外部的代码。 耦合：模块与模块之间接口的复杂程度，模块之间联系越复杂耦合度越高，牵一发而动 阅读全文
posted @ 2018-11-14 19:30 家迪的家 阅读(1081) 评论(0) 推荐(0)
selenium的等待~
摘要：既然使用了selenium,那么必然牺牲了一些速度上的优势，但由于公司网速不稳定，导致频频出现加载报错，这才意识到selenium等待的重要性。 说到等待又可以分为3类， 1.强制等待 但是有一个问题，既然已知网速不稳定，那这个sleep的秒数如何确定，难道sleep max(最差的网络状态)，显得 阅读全文
posted @ 2018-11-13 10:55 家迪的家 阅读(185) 评论(0) 推荐(0)
搭建git服务器
摘要：以下都在centos7环境下： 第一步，安装git 第二步，新增git用户 第三步，采集登陆用户的公钥id_rsa.pub,导入至/home/git/.ssh/authorized_keys中， 其中先进入git用户路径下(/home/git),然后创建 第四步，初始化git仓库,假定仓库是/hom 阅读全文
posted @ 2018-11-08 18:30 家迪的家 阅读(180) 评论(0) 推荐(0)
selenium js
摘要：这几天的任务量比较大，还有一个挺棘手的网站cfda，不巧的是数据量还挺大，40W关于企业信息。上来就是debugger pause,调试中断，开始还是挺懵逼的，但这个还算简单毕竟google，百度，就能解决。经过初步的分析，有一个难点，关于跨网页，一个字串，以及cookies是一个网页一变，要解决这 阅读全文
posted @ 2018-11-01 20:13 家迪的家 阅读(207) 评论(0) 推荐(0)