MorpheusWang

摘要： 之前做项目，好奇这个函数是怎么实现的，我把源码看了一遍，魔改代码，把没用的删除,重新封装为一个类，还加上了可以输出至txt的功能 ''' class print_summary_magic_modification: def __init__(self, model, file_path): sel 阅读全文

摘要： Scrapy(一) scrapy是一个网络爬虫的通用框架，在许多应用当中可以用于数据提取，信息处理等。 如何安装scrapy呢？ 如果你安装了Anaconda，则可以使用：conda install scrapy进行安装，如果没有，但电脑中需带有python的程序，使用该命令进行安装：pip ins 阅读全文

摘要： 爬虫的一个具体事例讲解 import requests from lxml import etree import json class QiubaiSpyder: def __init__(self): self.url_temp = "https://www.qiushibaike.com/8h 阅读全文

摘要： Json，lxml模块 一.JSON模块 Json是一种网络中常用的数据交换类型，一个文件要想在网络进行传输，需要将文件转换为一种便于在网络之间传输的类型，便于人们进行阅读，json就是这样应运而生的。Json中的数据是由键值对构成的，与python中字典不同的是，json将数据转换为一种字符串的形 阅读全文

摘要： Requests模块 这个库的标准文档有个极其幽默的地方就是它的中文翻译，我就截取个开头部分，如下图： 是不是很搞笑，在正文中还有许多，管中窥豹，可见一斑。通过我的使用，感觉Requests库的确是给那些初学者，入门小白，非专业人士使用的，不会产生打人，砸键盘，脱发等一系列反人类行为，很好的使社会安 阅读全文

摘要： HTTP和HTTPS HTTP，全称超文本传送协议，是属于计算机网络中应用层的协议，而HTTPS是HTTP加上SSL，HTTP是明文传输，速度快，但安全系数很低，而HTTPS比HTTP安全很多，但缺点是传输速度比较慢。 一．HTTP之请求 这是一个请求报文的例子： GET /review/best/ 阅读全文

摘要： 从我接触python爬虫开始，断断续续的学习到现在将将入门，已经过去了一个多月了，发现爬虫真的是一项浩瀚的工程，涉及的知识面非常广。我在这里主要是分享一下自己学的东西，同时做个总结。有写错或理解有误的地方欢迎各位大神指正。 什么是爬虫 用通俗易懂的语言来说就是个人写一个程序来模拟浏览器，发送网络请求 阅读全文