一颗大白菜_20181203

摘要： selenium selenium Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。这 阅读全文

摘要： 反爬 网上网页的反爬手段千奇百怪，常见的有ip封锁，动态加载数据，链接加密，验证码登录等等，最近碰到一个之前没见到过的反爬手段：字体反爬。情况如图： 箭头所示的标签为同一个数据。可以清楚的看到页面上的日期与源码中的日期不一致。这就是字体反爬，下载页面中的字体文件通过百度的字体编辑器可以看到数字的对应 阅读全文

摘要： pyexecjs在开始破解前，需要下载加载js环境的库，这样的第三方库python有许多，笔者用的是execjs可通pip直接下载pip install pyexecjs破解加密爬过煎蛋网的都知道现在的原图链接都是由一串hash通过js之后编译得到的，这个编... 阅读全文

摘要： 最近开始在找工作了，昨天接了一家公司的笔试。形式是线上笔试。笔试题目是逻辑题。 题目如下： 李雷和韩梅梅坐前后排，上课想说话怕被老师发现，所以改为传纸条。为了不被老师发现他们纸条上写的是啥，，他们约定了如下方法传递信息： 将26个大写英文字母，外加空格，一共27个字符分成三组，每组9个。也就是ABC 阅读全文

摘要： Scrapy Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类， 阅读全文

摘要： Fiddler抓包工具 最近想要抓取手机app上的数据，想着抓包工具能不能实现。网上找了相关的教程后实验了一下发现不行，弄了一下午终于行了，现在在这赘述一下遇到的坑和解决办法。 fiddler抓包工具安装 这是中文版fiddler的压缩包，解压开即可使用，切记不要更新，勾选左上角文件中的捕获通信即可 阅读全文

摘要： MongoDB MongoDB是由C++语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似JSON对象，它的字段值可以包含其他文档、数组及文档数组，非常灵活。 安装 Windows版本的MongoDB安装极其简单基本只需无脑下一步即可完成安装 安装完成后，需在默认 阅读全文

摘要： Django学习第十六天前后端分离项目中，通常使用jwt(Json-Web-Token)的形式用于验证用户是否登录，而不使用session和cookie的形式。安装JWTpython有众多的第三方模块，其中必然也有jwt的相关模块，使用pip即可下载pip ... 阅读全文

摘要： Django学习第十五天前后端分离项目顾名思义，项目的前端和后端是分离的，与之前的django项目不同，前后端分离项目不需要模板不需要静态文件。只需要接收前端发送的请求，以及传递前端需要的数据。djangorestframework在前后端分离项目中rest... 阅读全文

摘要： 通用视图Django的通用视图…被开发为常见用法模式的快捷方式…它们采用视图开发中的某些常见习语和模式并对其进行抽象，以便您可以快速编写数据的常用视图，而无需重复自己。Django文档基于类的视图的一个主要好处是它们允许您组合可重用行为的方式。REST框架通... 阅读全文

摘要： Django学习第十四天现在较为主流网站的注册页面中，通常会有要求输入手机号和图形验证码，当图形验证码正确时发送短信验证码，输入短信验证码正确后才能完成注册。后端实现逻辑生成图形验证码可以看我之前的博客：如何生成图形验证码将生成的验证码存入redis数据库(... 阅读全文

摘要： Django1.11的学习，采用前后端分离，所以需要学习序列化与反序列化。找了官方文档，这是其中API Guide的request部分的中文翻译：文档链接：https://www.django-rest-framework.org/api-guide/req... 阅读全文

摘要： scrapy框架安装 笔者为windows系统。scrapy框架可以使用pip下载，但在下载安装过程中可能会因为缺少c++ 14.0的环境导致scrapy无法安装。 解决方案 在http://fstab.net/pypi/simple/twisted/中找到对应的包进行下载，如笔者为python3. 阅读全文

摘要： node.js安装安装nvmnvm是一个可以让你在同一台机器上安装和切换不同版本node的工具笔者为Windows系统，github上的nvm又下不了，所以找了一个度盘地址链接：https://pan.baidu.com/s/1qXKQrnQ基本一直next... 阅读全文

摘要： Django学习第十二天Django反向解析在实际项目中应用广泛，因为其作用使得在编写路径时不用在输入类似于’/user/login’这种形式，而且有时这类写法还容易出错。模板中反向解析的模板语言写法以及需要设置的参数。(笔者使用的为Django2.1.2版... 阅读全文