06 2019 档案

58同城 字体反爬理解...和猫眼不同
摘要：和猫眼不同,猫眼是把编码对象在glyf 而58则是在cmap中 https://www.cnblogs.com/eastonliu/p/9925652.html 阅读全文
posted @ 2019-06-29 21:37 花名k 阅读(619) 评论(0) 推荐(0)
针对猫眼电影反爬理解,貌似也就只有猫眼电影的了
摘要：import re import requests from fontTools.ttLib import TTFont from lxml import etree headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) C... 阅读全文
posted @ 2019-06-29 19:41 花名k 阅读(244) 评论(0) 推荐(0)
python虚拟环境安装使用
摘要：# 安装 pip install virtualenv pip install virtualenvwrapper-win # win环境下 liunx下不需要-win#创建一个文件夹并cd进去mkdir xunihuanjincd xunihuanjin # 创建一个虚拟环境 mkvirtualenv 虚拟环境名 # 比如创建一个dome的虚拟环境 mkvirtuale... 阅读全文
posted @ 2019-06-27 17:10 花名k 阅读(483) 评论(0) 推荐(0)
scrapy pip中间件个人处理
摘要：不成体系,不要看 阅读全文
posted @ 2019-06-27 00:10 花名k 阅读(103) 评论(0) 推荐(0)
scrapy mid中间件一般处理方法
摘要：单纯的处理ua和ip的功能 cookies更换 有关资料 https://blog.csdn.net/sc_lilei/article/details/80702449 阅读全文
posted @ 2019-06-27 00:06 花名k 阅读(238) 评论(0) 推荐(0)
爬虫使用中间代理人 fiddl...,charles,mitmproxy 设置
摘要：一般的设置在网上就能找到(端口,ip啥的) 但是难点是关于安卓手机证书 在网上找到的几种方法,一种是在app源码中添加设置让手机app同意你下载安装的证书,另一种则是root_adb 安装证书 但是太过繁琐,不适合没有基础的人 https://www.cnblogs.com/Entr0py/p/96 阅读全文
posted @ 2019-06-20 22:46 花名k 阅读(469) 评论(0) 推荐(0)
关于adsl vps 拨号ip服务器
摘要：我这几天写了一遍在xp上的文章,但是因为xp上貌似只能使用squid2.6版本的,tinyproxy也不能用,而且怎么弄不出去vps端的端口出来 https://www.cnblogs.com/zengxm/articles/11043058.html 该文章进入半作废,如果有时间再弄一下能不能搞一 阅读全文
posted @ 2019-06-19 02:08 花名k 阅读(678) 评论(0) 推荐(0)
nohub 将程序永久运行下去
摘要：今天看了一遍文章,一直以为将程序制成sh脚本,通过crontab来间隔执行以为是真的不断执行,后来才发现是错误的,每隔一段时间都会执行一次,都会占用一个进程,难怪一看进程几十来个同样名字的进程在运行 正在的 将程序以忽略挂起信号的方式运行起来 是通过nphup 来执行的 来源 https://www 阅读全文
posted @ 2019-06-18 02:36 花名k 阅读(199) 评论(0) 推荐(0)
flask 部署外部访问
摘要：在 app.run(host='0.0.0.0',port=5000) 可以让外部客户端进行访问,访问地址是flask服务器的ip地址和你设置的端口(端口注意不要占用其他端口,如果是阿里云有可能要设置端口开放) 阅读全文
posted @ 2019-06-18 00:00 花名k 阅读(3011) 评论(0) 推荐(1)
redis 出现(error) MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Please check Redis logs for details
摘要：如果在ubuntu安装的redis含端口使用,但是某些时候常常出现 (error) MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands th 阅读全文
posted @ 2019-06-15 21:08 花名k 阅读(336) 评论(0) 推荐(0)
京东全站爬取,简单笔记,不涉及代码
摘要：单机(不是分布式) 执行时间为晚上1点40多,运行到第二天1点48,大概12个小时,爬取了48037个网页 不过在运行过程中能看到有时候并没有进行爬取,而是卡住了 还有时候回出现一些错误,提取id和re的时候出现问题,没有发现该元素,预计是某些页面的格式不同,提取规则也不同,特别是hk页面(全球购) 阅读全文
posted @ 2019-06-15 13:57 花名k 阅读(336) 评论(0) 推荐(0)
scrapy中间件中使用selenium切换ip
摘要：scrapy抓取一些需要js加载页面时一般要么是通过接口直接获取数据,要么是js加载,但是我通过selenium也可以获取动态页面 但是有个问题,容易给反爬,因为在scrapy中间件mid中使用selenium的ip不会跟着你在中间件中切换的ip变化,还是使用本机的ip在访问网站, 这里通过 确定网 阅读全文
posted @ 2019-06-09 21:55 花名k 阅读(1277) 评论(0) 推荐(0)
scrapy 在爬取过程中抓取下载图片
摘要：先说前提,我不推荐在sarapy爬取过程中使用scrapy自带的 ImagesPipeline 进行下载,是在是太耗时间了 最好是保存,在使用其他方法下载 我这个是在 https://blog.csdn.net/qq_41781877/article/details/80631942 看到的,可以稍 阅读全文
posted @ 2019-06-08 21:50 花名k 阅读(6632) 评论(0) 推荐(0)
python 关于函数递归调用自己
摘要：爬取b站博人传 每页短评20个,页数超过1000页, 代码如下 在爬取过程中发现,每当递归到999会发生异常 这个函数在递归自身是发生的异常 只需要在程序开头添加 防止内存爆炸 阅读全文
posted @ 2019-06-04 11:29 花名k 阅读(3395) 评论(0) 推荐(0)
关于爬虫个人认为难度很高的两点
摘要：第一点是 js 进行了加密, 通常是需要进行一些参数传递,比如有道翻译,那种加密很简单,只需要在进行推演就可以知道加密的数值是什么样子的, 百度翻译sign的数值进行了js函数加密,如果是不懂js,那么很难进行反加密 解决方法有 通过selenium 其他途径,app,web 第二种则是动态字体文件 阅读全文
posted @ 2019-06-04 05:01 花名k 阅读(956) 评论(0) 推荐(0)
手机抓包app在python中使用
摘要：使用python+airtesr+无线模式控制手机 官方文档中，在airtest.readthedocs.io/zh_CN/lates…有一段介绍如何连接安卓手机的例子： 但是这个线接模板,无线模式的模板和这个不同,不需要手机串号,只需要ip和端口 实际演示为,只是为无线连接安卓手机为例: 端口号可 阅读全文
posted @ 2019-06-02 19:41 花名k 阅读(1525) 评论(0) 推荐(0)
手机app抓包工具,安卓手机adb无线连接
摘要：默认手机已经usb调试配置完成 网络必须在同一网络中,每次断开wifi连接,都必须重新重做一次 使用数据线连接电脑 cmd 打开一个命令行 输入 完成设置,手机可以将数据线拔出了 进入airtest界面,选择远程设备连接, 在手机设置中找到手机ip地址 输入 手机ip 刚刚设置的端口 adb con 阅读全文
posted @ 2019-06-02 19:28 花名k 阅读(878) 评论(0) 推荐(0)
selenium+options配置文件
摘要：如果要对selenium进行一些配置,那么导入options进行配置,以上是必须配置 有需求可以再以下配置中添加 阅读全文
posted @ 2019-06-02 19:10 花名k 阅读(3969) 评论(0) 推荐(0)