酱紫安

摘要： 算法的概念 算法是计算机处理信息的本质，因为计算机程序本质上是一个算法来告诉计算机确切的步骤来执行一个指定的任务。一般地，当算法在处理信息时，会从输入设备或数据的存储地址读取数据，把结果写入输出设备或某个存储地址供以后再调用。 算法是独立存在的一种解决问题的方法和思想。 对于算法而言，实现的语言并不 阅读全文

摘要： 一、文件 文件的打开与关闭 在python，使用open函数，可以打开一个已经存在的文件，或者创建一个新文件 open(文件名，访问模式) 示例如下： <2>关闭文件 close( ) 示例如下： 文件的读写 <1>写数据(write) 使用write()可以完成向文件写入数据 <2>读数据(rea 阅读全文

摘要： Python 是一门什么样的语言？ python是一门动态解释性的强类型定义语言。 编程语言主要从以下几个角度为进行分类，编译型和解释型、静态语言和动态语言、强类型定义语言和弱类型定义语言，每个分类代表什么意思呢，我们一起来看一下。 一、低级语言与高级语言最初的计算机程序都是用0和1的序列表示的，程 阅读全文

摘要： 计算机的核心是CPU，CPU承担了所有的计算任务。 一个CPU核心，一次只能执行一个任务； 多个CPU核心同时可以执行多个任务。 一个CPU一次只能执行一个进程，其他进程处于非运行状态。 进程里包含的执行单元叫线程； 一个进程可以包含多个线程。 一个进程的内存空间是共享的，每个进程里的线程都可以使用 阅读全文

摘要： CrawlSpiders 通过下面的命令可以快速创建 CrawlSpider模板 的代码： 我们通过正则表达式，制作了新的url作为Request请求参数，现在我们可以用这个... class scrapy.spiders.CrawlSpider 它是Spider的派生类，Spider类的设计原则是 阅读全文

摘要： Item Pipeline 当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。 每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline 阅读全文

摘要： 刚开始学的时候就要注意编码规范了，所以整理了一下，以便养成一个编码好习惯。不然以后真的不好改。 代码被读的次数远大于被写的次数。 作为一名程序员（使用任何语言），你能做出最重要的事情之一就是写出易于阅读的代码。 原则 在开始讨论Python社区所采用的具体标准或是由其他人推荐的建议之前，考虑一些总体 阅读全文

摘要： 什么是线程（thread）？ 线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。 一个线程是一个执行上下文，它是一个CPU需要执行一系列指令的所有信息。假设你正在读一 阅读全文

摘要： 每天一个小实例1（动态页面模拟点击，并爬取你想搜索的职位信息） 结果： 每天一个小实例2（模拟网站登录） 结果： 登录前后截图： 基本应用： 我用的是Python3、selenium2.53.5、PhantomJS Selenium（最新版本的Selenium已经不支持PhantomJS了，要想用请 阅读全文

摘要： 写博客就和笔记一样真的很有用，你可以随时的翻阅。爬虫的爬虫原理与数据抓取、非结构化与结构化数据提取、动态HTML处理和简单的图像识别已经学完，就差整理博客了 开始学习scrapy了，所以重新建了个分类。 scrapy的下载到安装，再到能够成功运行就耗费了我三个小时的时间，为了防止以后忘记，记录一下。 阅读全文