摘要: 一、常见编码 ASCII:ASCII码即美国标准信息交换码(American Standard Code for Information Interchange)。由于计算机内部所有信息最终都是一个二进制值,而每一个二进制位(bit)有0和1两种状态,因此八个二进制位就可以组合出256种状态,这被称阅读全文
posted @ 2019-04-18 14:41 TM0831 阅读(17) 评论(0) 编辑
摘要: 一、写在前面 首先呢,由于之前重装系统,又要重新配置环境,然后还有一些别的事,导致我一直没有写爬虫了,不过现在又可以继续写了。 然后我这次说的模拟登录新浪微博呢,不是使用Selenium模拟浏览器操作,毕竟Selenium的效率是真的有些低,所以我选择用Python发送请求实现模拟登录,整个过程还算阅读全文
posted @ 2019-03-29 09:22 TM0831 阅读(72) 评论(0) 编辑
摘要: 一、MongoDB简介 MongoDB是一个基于分布式文件存储的数据库,由C++语言编写,旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB将数据存储为一个文档,数据结构由键值(key=>value)对组成,MongoDB文档类似于JSON对象,字段值可以包含其他文档,数组及文档数阅读全文
posted @ 2019-03-27 12:05 TM0831 阅读(346) 评论(1) 编辑
摘要: 一、写在前面: 我们都知道Python一种面向对象的脚本语言,对象是Python中非常重要的一个概念。在Python中数字是对象,字符串是对象,任何事物都是对象,而它们的核心就是一个结构体--PyObject。 typedef struct_object{ int ob_refcnt; struct阅读全文
posted @ 2019-03-26 14:17 TM0831 阅读(162) 评论(0) 编辑
摘要: 很难受,由于这两天重装了系统,又得重新配置环境了,而我在安装tesserocr的时候踩了一些坑,于是想写出来分享一下。 一.安装tesseract 要安装tesserocr,首先要下载tesseract,它是给tesserocr提供支持的。下载地址为:https://digi.bib.uni-man阅读全文
posted @ 2019-03-20 14:01 TM0831 阅读(249) 评论(0) 编辑
摘要: 1.哪个是True,哪个是False? 这里要看三组代码: # 第一组: >>>a=256 >>>b = 256 >>>a is b # 第二组: >>>a = 257 >>>b = 257 >>>a is b # 第三组: >>>a = 257; b = 257 >>>a is b 问题来了,这三阅读全文
posted @ 2019-03-12 09:10 TM0831 阅读(81) 评论(6) 编辑
摘要: 一、写在前面 当你看着你的博客的阅读量慢慢增加的时候,内心不禁有了些小激动,但是不得不吐槽一下--博客园并不会显示你的博客的总阅读量是多少。而这一篇博客就将教你怎么利用队列这种结构来编写爬虫,最终获取你的博客的总阅读量。 二、必备知识 队列是常用数据结构之一,在Python3中要用queue这个模块阅读全文
posted @ 2019-03-11 14:38 TM0831 阅读(134) 评论(0) 编辑
摘要: 上一篇博客的末尾说到全网代理IP的端口号是经过加密混淆的,而这一篇博客就将告诉你如何破解!如果觉得有用的话,不妨点个推荐哦~ 一、全网代理IP的JS混淆 首先进入全网代理IP,打开开发者工具,点击查看端口号,看起来貌似没有什么问题: 如果你已经爬取过这个网站的代理,你就会知道事情并非这么简单。如果没阅读全文
posted @ 2019-03-03 10:09 TM0831 阅读(304) 评论(0) 编辑
摘要: 这一篇博客,还是接着说那些常见的反爬虫措施以及我们的解决办法。同样的,如果对你有帮助的话,麻烦点一下推荐啦。 一、防盗链 这次我遇到的防盗链,除了前面说的Referer防盗链,还有Cookie防盗链和时间戳防盗链。Cookie防盗链常见于论坛、社区。当访客请求一个资源的时候,他会检查这个访客的Coo阅读全文
posted @ 2019-03-01 08:41 TM0831 阅读(460) 评论(0) 编辑
摘要: 这一篇博客,是关于反反爬虫的,我会分享一些我遇到的反爬虫的措施,并且会分享我自己的解决办法。如果能对你有什么帮助的话,麻烦点一下推荐啦。 一、UserAgent UserAgent中文名为用户代理,它使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本等信息。对于一些网站来说,它会阅读全文
posted @ 2019-02-26 08:53 TM0831 阅读(497) 评论(5) 编辑