Mr.D

摘要： 无论哪种语言，在使用正则表达式的时候都避免不了一个问题，就是在匹配元字符的时候，需要对元字符进行转义，让 正则表达式引擎将其当做普通字符来匹配。本文主要以python为例，说明一下转义中需要注意的问题。 python的正则表达式中需要转义的元字符有以下几个： python中对元字符的转义使用双反斜杠 阅读全文

摘要： 正则表达式设计之初就是为了匹配任何特征的字符串，所以也就有了无数种可能的模式。但毕竟不是每一种我们 都会用到，总有一些正则表达式是比较常用的，并且占了应用的80%，下面我们就来总结一下这些常用的正则表达式 ，以备不时之需。代码示例使用python，我会加入一些需要注意的地方的说明 1.匹配中文 ui 阅读全文

摘要： 使用python爬取网站数据的时候，总会遇到各种各样的反爬虫策略，有很大一部分都和JavaScript（以下简称为JS） 有关。在破解这些JS代码的过程中，经常会遇到模拟JS正则表达式的情况，因此，今天总结一下如何使用python来模拟JS 中的正则。 关于JS中正则表达式的详细教程，可以看一下W3 阅读全文

摘要： 正则表达式是一个很强大的字符串处理工具，几乎任何关于字符串的操作都可以使用正则表达式来完成，作为一个爬虫工作者，每天和字符串打交道，正则表达式更是不可或缺的技能，正则表达式的在不同的语言中使用方式可能不一样，不过只要学会了任意一门语言的正则表达式用法，其他语言中大部分也只是换了个函数的名称而已，本质 阅读全文

摘要： ssdb是一款类似于redis的nosql数据库，不过redis是基于内存的，服务器比较昂贵，ssdb则是基于硬盘存储的，很容易扩展，对于一些对速度要求不是太高的应用，还是不错的选择。 先记录一个比较坑的东西，具体的用法以后补充。 ssdb删除数据的时候有很多中方法: flushdb 删除整个数据库 阅读全文

摘要： 上节简单演示了如何获取一个网页的源代码，本节继续，稍微提升一下我们的水平，网页的源代码中通常包含了大量无用的东西，如果你了解html相关知识的话，就会知道网页源代码中还有大量的标签、css代码、js代码,而这些对我们来说，一般都是不需要的，因此，当我们把网页源代码拿到手之后，还需要对它进行一定的处理 阅读全文

摘要： 网络爬虫简介 所谓爬虫，其实就是自动从互联网上获取网页信息的程序或者脚本，甚至简单到一两行代码，只要能达到自动获取信息的目的，都可以称之为爬虫。 本系列文章主要是为那些希望加入爬虫界的小白们准备的，水平有限，大牛请包涵。爬虫程序分类简介 程序可大致分为两种，可视化和非可视化的爬虫程序。 可视化爬虫工 阅读全文

摘要： ghost.py目前已更新到0.2版本,变化有点大，使用方法上跟0.1还是有点差别的，本文仅以0.1.1版本为例，因为我安装的是这个版本 我用ghost主要用来模拟在网站上的操作，比如登录之类的，当然我也不懂别的用处。 首先，就像所有python模块的使用一样，都要先导入 import ghost 阅读全文

摘要： python中的int函数可以将数字或字符串转换为整型数字类型，具体功能就不提了 最近发现一个问题，对于字符串'1.1'之类的，int转换的时候会报异常，这是为什么，个人感觉直接转换成1不就行了，干嘛还不能转换了 >>> int('1.1')Traceback (most recent call l 阅读全文

摘要： 公司每天要发送日报，最近没事搞了一下如何自动发邮件，用的是腾讯企业邮箱，跟大家分享一下我的研究过程吧。 以前弄的发邮件的是用qq邮箱发的，当时在网上查资料最后达到了能发图片，网页，自定义收件人展示，主题等比较简 单的，但没想到说发送个word附件，后来才发现原来email里的MIMEText就可以, 阅读全文