摘要: 昨天写了http中的流程,今天针对这个流程,归纳几个可能遇到的性能瓶颈 1. DNS查询 域名解析虽然只要一次,本地就会缓存,但是有时候后端的服务可能绑定在二级域名下,这样解析复杂度就上去了,而一些大厂关联的域名可能更多,每一个域名解析都会增加响应时间,更为耗时的是之后还要tcp三次握手, 对应的昨 阅读全文
posted @ 2018-08-24 11:27 qunincey 阅读(581) 评论(0) 推荐(0)
摘要: 最近做爬虫发现http协议真是太重要了 ,所以写一篇博客记录一下。 做后端的时候只是知道get,post区别,没有对http有详尽的了解,最近看了才发现这玩意跟递归一样,没有了解到时候都觉得很简单,了解之后才发现复杂的一匹。。。。。 服务返回的流程也是一样,把电信号转化回http请求,贴一张大致的流 阅读全文
posted @ 2018-08-22 11:50 qunincey 阅读(2132) 评论(1) 推荐(0)
摘要: 先说一下我的环境,我是使用beautiful Soup 是报出这个错的,但是使用字符串截取报了这个错 'NavigableString' object is not callable 是说NavigableString这个对象不可以被调用 分别打印出这个值的类型和python内置的str类型有什么区 阅读全文
posted @ 2018-08-16 17:38 qunincey 阅读(3591) 评论(0) 推荐(0)
摘要: 因为在工作过程中遇到了图像识别的问题,觉得挺有意思的,打算花两到三年的时间从基础到入门,希望自己能够坚持下来吧 所有的计算机数据在底层都是以二进制的形式保存的,图像也是一样,在学习图像之前,我认为的数字图像就只有识别这一个领域。我发现我弄错了,本身数字图像就是很广的概念 我们肉眼可以看见图像是因为阳 阅读全文
posted @ 2018-08-04 21:40 qunincey 阅读(608) 评论(0) 推荐(0)
摘要: 我觉得要理解动态代理,首先要理解静态代理,因为动态代理是为了解决静态的问题才出现,详见上一篇静态代理的总结,直接看图 可以看出来,代理的实现就是这三方类,所以为了解决静态代理的弊端,需要在运行的时候动态的生成代理类。 而在java中jdk提供了proxy类创建动态类,jdk中是这样定义的 先说明一下 阅读全文
posted @ 2018-07-31 21:27 qunincey 阅读(164) 评论(0) 推荐(0)
摘要: 发现python中的元类和java中的动态代理很像,打算写两篇随笔总结一下java中的代理机制 代理模式直白的说就是增强某一个类的功能,在实际开发中,我们大多数时候出于维护旧代码或者解耦的原因,不能去改动原来的类,这时候代理类就派上用场了 那么面对对象的设计思路中,增强一个类的除了继承外,我们还可以 阅读全文
posted @ 2018-07-31 19:45 qunincey 阅读(143) 评论(0) 推荐(0)
摘要: 因为最近都在写python,之前的笔记都保存在有道云里面。java的内容很少,但学了这么久,也算是一个机会做一个总结。 对于java中的一些高级特性,例如反射,动态代理等,我会一一写出用法和项目中大概用的场景(其实大部分框架以及搭好了),主要是给我自己总结一下 反射 我们在学习一项技术的时候,一定要 阅读全文
posted @ 2018-07-28 16:54 qunincey 阅读(652) 评论(0) 推荐(0)
摘要: 最近在学做爬虫的时候遇到一个问题就是网站请求头有时候完全不一样,无法对程序封装,正好看到崔庆才结合dict()函数处理这个问题 首先创建一个基础请求头 然后用dict将两个请求头合并 注意,这个options是个可选参数,也就是说哪怕为空也没有关系,这个可选参数实现了一定的解耦,python确实有很 阅读全文
posted @ 2018-07-27 16:36 qunincey 阅读(273) 评论(0) 推荐(0)
摘要: 今天学习selenum的时候爆出以下错误 查了一下,说是Chromedrive和chrome版本不匹配,但是我去官网看了一下,发现版本没有错了 然后换一个网址竟然成功了,检查一下才发现传进去的url没有带上https 估计是谷歌认定没有带上https非法吧 阅读全文
posted @ 2018-07-26 14:51 qunincey 阅读(780) 评论(0) 推荐(0)
摘要: 关于这二者的区别,http://blog.konghy.cn/2017/04/24/python-entry-program/ 这篇博客已经讲得很清楚了,这里不再赘述,只是总结一下 先了解一下_name_这个内置变量,代表的是本模块的名称,例如 这是打印出来的是 urlib.request 当在导入 阅读全文
posted @ 2018-07-26 10:54 qunincey 阅读(252) 评论(0) 推荐(0)