biu嘟

摘要： 一.Selenium介绍 1.Selenium（浏览器自动化测试框架）： Selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Go 阅读全文

摘要： 一.浏览器代理 1.直接处理： 1.1在setting中配置浏览器的各类代理： 1.2然后在各个请求中调用： 1.3缺点： 使用麻烦，各个请求都要调用，而且耦合性高。 2.使用downloader-middlewares： 2.1使用downloader-middleware(setting中默认是 阅读全文

摘要： 一.scrapy架构介绍 1.结构简图： 主要组成部分：Spider（产出request，处理response），Pipeline，Downloader，Scheduler，Scrapy Engine 2.结构详细图： 主要步骤（往复循环）： 1.Spiders（自己书写的爬虫逻辑，处理url及网页 阅读全文

摘要： 一.指定模板创建爬虫文件 命令 创建成功后的模板，把http改为https 二.CrawSpider源码介绍 1.官网介绍： 这是用于抓取常规网站的最常用的蜘蛛，因为它通过定义一组规则为跟踪链接提供了便利的机制。它可能不是最适合您的特定网站或项目，但它在几种情况下足够通用，因此您可以从它开始并根据需 阅读全文

摘要： 一.基本概念简介 1.爬虫： 自动获取网站数据的程序，关键是批量的获取。 2.反爬虫： 使用技术手段防止爬虫程序的方法。 3.误伤： 反爬技术将普通用户识别为爬虫，如果误伤过高，效果再好也不能用。（如局域网【学校，网吧等】可能用的是同一个ip，如果有人写了一个爬虫，把ip封了，可能损失很多用户。还有 阅读全文

摘要： Cookie和Session，及常见httpcode 1.cookie和session简介： cookie是放在客户端的键值对，用来识别用户信息的，主要包括：名字，值，过期时间，路径和域。路径与域一起构成cookie的作用范围。 session是放在服务器端的，session机制是一种服务器端的机制 阅读全文

摘要： Scrapy简单介绍及爬取伯乐在线所有文章 一.简说安装相关环境及依赖包 1.安装Python（2或3都行，我这里用的是3） 2.虚拟环境搭建: 依赖包：virtualenv,virtualenvwrapper（为了更方便管理和使用虚拟环境） 安装：pip install virtulaenv,vi 阅读全文

摘要： Django信号量回顾及drf信号量常用操作 一.在写接口视图时，保存/删除/更新数据前后需要对序列化后的数据进行处理的方法： 1.重写mixins.CreateModelMixin中恩的create（）函数或perform_create（）函数： 不足：代码分离性不好，冗杂 2.信号量实现（新建s 阅读全文

摘要： Python实现字符，单词，行，代码行，空行及可视化 Gitee项目地址：https://gitee.com/biubiubiuLYQ/word_and_character_statistics 一.解题思路 一开始拿到该题目，心想最近在学Shell编程，好像写个脚本，用wc命令都可以较轻松的把这些 阅读全文

摘要： 运维必备的网络管理技能 一.网络管理协议： 1.简单的两个概念： DHCP（动态主机配置协议）：如果网络结构要更改，需要从新初始化网络参数，手机用动态主机配置协议可以避免这个问题。客户端可以从DHCP服务端检索相关信息检索相关信息并完成相关网络配置，在系统重启后仍然可以完成工作。 DNS：用户按域名 阅读全文