随笔分类 - Python
摘要：Python 操作Redis需要安装redispy(pip install redispy) 资料参考： PyPI: https://pypi.python.org/pypi/redis Github:https://github.com/andymccurdy/redis-py 文档：http:/
阅读全文
摘要：参考文档链接：https://pypi.python.org/pypi/pymongo pymongo的参考文档http://api.mongodb.com/python/current/tutorial.html mongoengine的参考文档：https://pypi.python.org/p
阅读全文
摘要：Http定义了与服务器交互的不同方法，最基本的方法有4种，分别是GET，POST，PUT，DELETE。URL全称是资源描述符，我们可以这样认为：一个URL地址，它用于描述一个网络上的资源，而HTTP中的GET，POST，PUT，DELETE就对应着对这个资源的查，改，增，删4个操作。到这里，大家应
阅读全文
摘要：Jinja2 Jinja2是Python Web编程中的主流模板语言。因为flask是基于Jinja2和Werkzeug发展而来，在安装flask的时候jinja2自动就被装在上面了。 之前提到了很多Jinja2的使用方法啊，下面将补充或者更加详细地说明Jinja2作为模板语言的使用。 【Jinja
阅读全文
摘要：概念 概念 对象-关系映射（OBJECT/RELATIONALMAPPING，简称ORM），是随着面向对象的软件开发方法发展而产生的。用来把对象模型表示的对象映射到基于S Q L 的关系模型数据库结构中去。这样，我们在具体的操作实体对象的时候，就不需要再去和复杂的 SQL语句打交道，只需简单的操作实
阅读全文
摘要：原文出处：http://doudouclever.blog.163.com/blog/static/175112310201284115340663/ python 操作数据库，要安装一个Python和数据库交互的包MySQL-python-1.2.2.win32-py2.5.exe，然后我们就可以
阅读全文
摘要：python 中__name__ = '__main__' 的作用，到底干嘛的？ 有句话经典的概括了这段代码的意义： “Make a script both importable and executable” 意思就是说让你写的脚本模块既可以导入到别的模块中用，另外该模块自己也可执行。 这句话，可
阅读全文
摘要：原文出处： Andrew_liu 本文希望达到以下目标: 初学Scrapy, 如有翻译不当, 或者代码错误, 请指出, 非常感谢 1. Scrapy简介 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了
阅读全文
摘要：原文出处： Jecvay Notes （@Jecvay） 《零基础自学用Python 3开发网络爬虫(一)》 《零基础自学用Python 3开发网络爬虫(二)》 《零基础自学用Python 3开发网络爬虫(三)》 今天的工作很有意思, 我们用 Python 来登录网站, 用Cookies记录登录信息
阅读全文
摘要：commands是python2版本里的，在python3.0以上已经没有commands模块了，使用subprocess代替commands
阅读全文
摘要：原文出处： Andrew_liu python的网络变成比c语言简单许多, 封装许多底层的实现细节, 方便程序员使用的同时, 也使程序员比较难了解一些底层的东西, 我觉得学网络编程还是用c语言更好一点. 写这篇博文, 也希望回顾并整理一下以前学过的c语言和linux下一些东西, 会将一些Linux网
阅读全文
摘要：上一回, 我学会了 这一回, 开始用Python将伪代码中的所有部分实现. 由于文章的标题就是”零基础”, 因此会先把用到的两种数据结构队列和集合介绍一下. 而对于”正则表达式“部分, 限于篇幅不能介绍, 但给出我比较喜欢的几个参考资料. Python的队列 在爬虫程序中, 用到了广度优先搜索(BF
阅读全文
摘要：原文出处： Jecvay Notes （@Jecvay） 由于本学期好多神都选了Cisco网络课, 而我这等弱渣没选, 去蹭了一节发现讲的内容虽然我不懂但是还是无爱. 我想既然都本科就出来工作还是按照自己爱好来点技能吧, 于是我就不去了. 一个人在宿舍没有点计划好的事情做就会很容易虚度, 正好这个学
阅读全文
摘要：import urllib.robotparser >>> rp = urllib.robotparser.RobotFileParser() >>> rp.set_url("http://www.musi-cal.com/robots.txt") >>> rp.read() >>> rrate =
阅读全文
摘要：在windows环境，python3.5下使用命令行安装模块 pip install Twisted 会报错 Unable to find vcvarsall.bat 原因大概是和VC编译环境有关系，网上找了一堆方法，感觉编译环境这事太麻烦。找到最简单是方法是，先安装wheel模块，然后下载Twis
阅读全文
摘要：我们先找个whl文件，我们在百度搜索python whl， 我们先找个whl文件，我们在百度搜索python whl， 打开连接我随便下载一个，但是要找到符合自己python版本，下载了一个组件多线程的功能 打开连接我随便下载一个，但是要找到符合自己python版本，下载了一个组件多线程的功能 下载
阅读全文
摘要：学习Python也有一段时间了，各种理论知识大体上也算略知一二了，今天就进入实战演练：通过Python来编写一个拉勾网薪资调查的小爬虫。 第一步：分析网站的请求过程 我们在查看拉勾网上的招聘信息的时候，搜索Python，或者是PHP等等的岗位信息，其实是向服务器发出相应请求，由服务器动态的响应请求，
阅读全文
摘要：序 前面已经完成了简单网页以及伪装浏览器的学习。下面，实现对豆瓣首页所有图片爬取程序，把图片保存到本地一个路径下。 首先，豆瓣首页部分图片展示 这只是截取的一部分。下面给出，整个爬虫程序。 爬虫程序 这个爬取图片的程序采用伪装浏览器的方式，只不过是加了处理图片的模块。 爬取结果 （1）打印出来的信息
阅读全文
摘要：一、伪装浏览器 对于一些需要登录的网站，如果不是从浏览器发出的请求，则得不到响应。所以，我们需要将爬虫程序发出的请求伪装成浏览器正规军。具体实现：自定义网页请求报头。 二、使用Fiddler查看请求和响应报头 打开工具Fiddler，然后再浏览器访问“https://www.douban.com/”
阅读全文
摘要：爬虫之前 在着手写爬虫之前，要先把其需要的知识线路理清楚。 第一：了解相关Http协议知识 HTTP是Hyper Text Transfer Protocol（超文本传输协议）的缩写。它的发展是万维网协会（World Wide Web Consortium）和Internet工作小组IETF（Int
阅读全文
浙公网安备 33010602011771号