.......
摘要：
.... 阅读全文
posted @ 2018-02-15 14:08 bigdata_devops 阅读(282) 评论(0) 推荐(0)
我想成为更高level的人
摘要：
... 阅读全文
posted @ 2018-02-10 22:11 bigdata_devops 阅读(1223) 评论(2) 推荐(3)
python面试知识总结
摘要：
<!--done--> 1. 先做自我介绍 2. 做Python几年了？为什么选择Python？3. 学历？大学什么专业？4. 除了Python以外对其他语言有没有了解？5. 你对Python这门语言的看法？6. 在学习Python过程中有没有令你影响深刻的事情？ 7. Python基础部分 1. 阅读全文
posted @ 2018-02-10 13:57 bigdata_devops 阅读(808) 评论(0) 推荐(0)
Beautifulsoup模块
摘要：
一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautifu 阅读全文
posted @ 2017-11-19 14:06 bigdata_devops 阅读(208) 评论(0) 推荐(0)
爬虫性能相关
摘要：
一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，采用串行的方式执行，只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：串行并不意味着低效，如果串行的都是纯计算的任务，那么cpu的利用率仍然会很高，之所以爬虫程序的串行低效，是因为爬虫 阅读全文
posted @ 2017-11-19 13:52 bigdata_devops 阅读(191) 评论(0) 推荐(0)
爬虫框架：scrapy
摘要：
一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon As 阅读全文
posted @ 2017-11-19 13:47 bigdata_devops 阅读(296) 评论(0) 推荐(0)
openfalcon源码分析之graph
摘要：
openfalcon源码分析之graph 本节内容 graph功能 graph源码分析 2.1 graph中重要的数据结构 2.2 graph的简要流程图 2.3 graph处理数据过程 2.4 graph数据迁移 graph设计优缺点 优点： 缺点： 1. graph功能 graph在整个falc 阅读全文
posted @ 2017-10-29 10:53 bigdata_devops 阅读(497) 评论(0) 推荐(0)
openfalcon源码分析之agent
摘要：
本节内容 agent功能 1.1 agent上报数据 1.2 agent与HBS同步 1.3 agent Http服务 agent源码分析 2.1 初始化config配置 2.2 初始化根目录，本地IP和rpc连接池 big mapper 2.3 定时同步各种数据 2.4 HTTP服务 agent设 阅读全文
posted @ 2017-10-29 10:52 bigdata_devops 阅读(1088) 评论(0) 推荐(0)
openfalcon源码分析之transfer
摘要：
<!--done--> 本节内容 transfer功能 transfer接收数据来源 transfer数据去向 transfer的一致性hash transfer的一致性hash key的计算 transfer源码分析 2.1 初始化连接池，发送队列 2.2 初始化rpc和socket接收端 2.3 阅读全文
posted @ 2017-10-29 10:51 bigdata_devops 阅读(360) 评论(0) 推荐(0)
浙公网安备 33010602011771号