摘要： 0、基本概念 & 实现原理 定时任务基本概念： 调度器：负责管理Quartz应用运行时环境，用于调度定时任务。 定时任务：按照某种时间规则，被调度的任务。 a、从有无状态来说，有以下两种： 有状态任务：每次执行的任务是同一个实例，不能被并行执行；如果该任务的执行时间超过下次触发的时刻，那么下次的触发 阅读全文

摘要： 内核空间和用户空间 现在操作系统都是采用虚拟存储器，那么对 32 位操作系统而言，它的寻址空间（虚拟地址空间，或叫线性地址空间）为 4G（2的32次方）。也就是说一个进程的最大地址空间为 4G。操作系统的核心是内核(kernel)，它独立于普通的应用程序，可以访问受保护的内存空间，也有访问底层硬件设 阅读全文

摘要： 一、Scrapy框架 1. Scrapy框架主要组成 a. Scrapy三个对象: request请求对象、response响应对象、item数据对象(字典) b. Scrapy五个核心组件： Spider爬虫组件、构建爬虫的起始请求并交给调度器， 解析响应提取数据，交给管道保存。 Engine引擎 阅读全文

摘要： 计算机速度比较: CPU -> 寄存器 -> 缓存L1/L2/L3 -> 内存 -> 硬盘 -> 网卡 -> BIOS LMAP: Linux + MySQL + Apache + PHP/Python Windows Server + SQL Server + ASP.net SQL(MySQL、 阅读全文

摘要： 一、selenium from selenium import webdriver driver = webdriver.Chrome() # 创建一个chrome浏览器控制对象#driver = webdriver.PhantomJS() # 创建一个phantomjs无界面浏览器 driver. 阅读全文

摘要： 一、网络数据加密：1. md5 / sha1 不可逆加密算法： 结果是十六进制数, 结果不可逆, 多用于文件验证 import hashlib md5_obj = hashlib.md5() sha1_obj = hashlib.sha1() md5_obj.update("非Unicode字符串" 阅读全文

摘要： 一、基本概念&原理 CSRF: 跨站请求伪造(XSRF), 攻击者通过一些技术手段欺骗用户的浏览器去访问一个，自己曾经认证过的网站并运行一些操作(例如：以用户名义发送邮件、发送消息、甚至财产操作转账和购买商品等)。由于浏览器曾经对这个网站认证过，所以被访问的网站会认为是用户自己在操作而去运行。简单的 阅读全文

摘要： 锁概念 ： 当高并发访问同一个资源时，可能会导致数据不一致，需要一种机制将用户访问数据的顺序进行规范化，以保证数据库数据的一致性。锁就是其中的一种机制。 一个栗子 ：以买火车票为例，火车票可面向广大消费者，每位用户都可以查询余票数量、购买火车票 ... 但最终购票成功的仅有一位用户，处于购票高峰期时 阅读全文

摘要： 1、Python3 使用 print 必须要以小括号包裹打印内容，比如 print('hi') Python2 既可以使用带小括号的方式，也可以使用一个空格来分隔打印内容，比如 print 'hi' 2、Python2 range(1,10)返回列表，Python3中返回迭代器，节约内存 3、Pyt 阅读全文

摘要： 1. 爬虫是如何采集网页数据的： 网页的三大特征: -1. 每个网页都有自己的 URL（统一资源定位符）地址来进行网络定位。 -2. 每个网页都使用 HTML（超文本标记语言）来描述页面信息。 -3. 网页都使用 HTTP（超文本传输协议）来传递 HTML数据。 爬虫的设计流程： -1. 爬虫通过网 阅读全文