公众号python学习开发

2018年6月12日

摘要： URL管理器模块一般是用来维护爬取的url和未爬取的url已经新添加的url的，如果队列中已经存在了当前爬取的url了就不需要再重复爬取了，另外防止造成一个死循环。举个例子我爬www.baidu.com 其中我抓取的列表中有music.baidu.om，然后我再继续抓取该页面的所有链接，但是其中阅读全文

posted @ 2018-06-12 20:16 公众号python学习开发阅读(558) 评论(0) 推荐(0)

python爬虫面试总结

摘要： 1.爬虫有哪些模块？答： URL管理模块：维护已经爬取的URL集合和未爬取的URL集合，并提供获取新URL链接的接口 HTML下载模块：从URL管理器中获取未爬取的URL链接并下载HTML网页 HTML解析模块：从HTML下载器下载的网页内容解析出新的URL交给URL管理器，解析出有效数据给到数据阅读全文

posted @ 2018-06-12 19:39 公众号python学习开发阅读(297) 评论(0) 推荐(0)

Android 开发之避免被第三方使用代理抓包

摘要： 2021-08-10更新：最新方案使用charles+postern vpn的形式抓包在手机上设置代理时，使用VPN来将流量导出到抓包软件上，而不是通过给WIFI设置HTTP代理的方式。使用VPN可以同时抓到Http(s)和Socket的包，且不管其来自Java层还是so层。推荐代理软件Post 阅读全文

posted @ 2018-06-12 19:13 公众号python学习开发阅读(8314) 评论(0) 推荐(0)

2018年6月11日

类的惰性属性

摘要：我们想将一个只读属性定义为property属性方法，只有在访问它时才参与计算。同时，一旦访问了该属性，希望把计算出来的值缓存起来，不要每次访问它时都要重新计算。这样就能很大程度上提升程序的性能。定义一个惰性属性最简单的方法就是利用描述符来完成。 #define a lazyproperty clas 阅读全文

posted @ 2018-06-11 22:54 公众号python学习开发阅读(340) 评论(0) 推荐(0)

[转载]Python: 你不知道的 super

摘要：原文出处： geekvi super() 的入门使用在类的继承中，如果重定义某个方法，该方法会覆盖父类的同名方法，但有时，我们希望能同时实现父类的功能，这时，我们就需要调用父类的方法了，可通过使用 super 来实现，比如： 1 2 3 4 5 6 7 8 9 10 class Animal(ob 阅读全文

posted @ 2018-06-11 22:24 公众号python学习开发阅读(189) 评论(0) 推荐(0)

转白话解析：一致性哈希算法 consistent hashing

摘要：摘要：本文首先以一个经典的分布式缓存的应用场景为铺垫，在了解了这个应用场景之后，生动而又不失风趣地介绍了一致性哈希算法，同时也明确给出了一致性哈希算法的优点、存在的问题及其解决办法。声明与致谢：本文转载于朱双印博主的个人日志《白话解析：一致性哈希算法 consistent hashing》一文阅读全文

posted @ 2018-06-11 16:36 公众号python学习开发阅读(369) 评论(0) 推荐(0)

2018年6月10日

转 appium解决每次运行都需要安装Unlock以及AppiumSetting的问题

摘要：一、需要解决的问题在部分android机型上每次运行最新版的appium-desktop都需要安装AppiumSetting以及Unlock，并且安装过程需要用户手动来确认，即使测试机上已经安装了这两个组件，运行appium也会要求安装，对于测试以及脚本的调试来说非常不便。二、解决过程进入ap 阅读全文

posted @ 2018-06-10 16:24 公众号python学习开发阅读(239) 评论(0) 推荐(0)

windows中Appium-desktop配合夜神模拟器的使用

摘要： 1.安装Android SDK并配好环境 ANDROID_HOME :C:\Users\18810\AppData\Local\Android\Sdk path:%ANDROID_HOME%\platform-tools 2.安装Java Sdk并配好环境关于环境变量的配置参考百度百科：https 阅读全文

posted @ 2018-06-10 14:27 公众号python学习开发阅读(8928) 评论(3) 推荐(3)

233

摘要：安装Android SDK并配好环境关于环境变量的配置参考百度百科：https://jingyan.baidu.com/article/15622f2434bc5cfdfcbea51c.html 安装Java Sdk并配好环境关于环境变量的配置参考百度百科：https://jingyan.bai 阅读全文

posted @ 2018-06-10 14:27 公众号python学习开发阅读(229) 评论(0) 推荐(0)

2018年6月8日

appium的使用

摘要：这套教程年久失修，问题的人也比较多，于是，我重新整理了一套appium入门教程。 appium新手入门（1）—— appium介绍 appium新手入门（2）—— 安装 Android SDK appium新手入门（3）—— 安装 appium Server appium新手入门（4）—— java 阅读全文

posted @ 2018-06-08 16:35 公众号python学习开发阅读(375) 评论(0) 推荐(0)

一起来学python

android逆向

公告