随笔分类 - Python
摘要：转载自：http://www.cnblogs.com/wupeiqi/articles/6912807.html scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter
阅读全文
摘要：作者：武沛齐 出处：Django之ModelForm组件 本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。 一个实例： 1. models.py 1 from django.db import models 2 3 # Create your
阅读全文
摘要：作者：武沛齐 出处：http://www.cnblogs.com/wupeiqi/articles/5246483.html 本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。 由于Django是动态网站，所有每次请求均会去数据库进行相应的操作，
阅读全文
摘要：作者：武沛齐 出处：http://www.cnblogs.com/wupeiqi/articles/7444717.html本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。 一、Django内置的Admin是对于model中对应的数据表进行增删
阅读全文
摘要：一、Scrapy简介 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web
阅读全文
摘要：在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 1. 同步执行 2. 多线程执行（多个线程并发执行，时间长短取决于最长的URL请求） 3. 多进程执行（在CPU核心数足够的情况下，多个进程并行执行，时间长短取决于最长的URL请求，理论
阅读全文
摘要：BeautifulSoup是一个模块，该模块用于接收一个HTML或XML字符串，然后将其进行格式化，之后便可以使用他提供的方法进行快速查找指定元素，从而使得在HTML或XML中查找指定元素变得简单。 1 from bs4 import BeautifulSoup 2 3 html_doc = """
阅读全文
摘要：Requests 是使用 Apache2 Licensed 许可证的 基于Python开发的HTTP 库，其在Python内置模块的基础上进行了高度的封装，从而使得Pythoner进行网络请求时，变得美好了许多，使用Requests可以轻而易举的完成浏览器可有的任何操作。 1. GET请求 2. P
阅读全文
摘要：在常见的用户注册页面，需要用户在本地选择一张图片作为头像，并同时预览。 常见的思路有两种：一是将图片上传至服务器的临时文件夹中，并返回该图片的url，然后渲染在html页面；另一种思路是，直接在本地内存中预览图片，用户确认提交后再上传至服务器保存。 这两种方法各有利弊，方法一很明显，浪费流量和服务器
阅读全文
摘要：一、I/O模型 IO在计算机中指Input/Output，也就是输入和输出。由于程序和运行时数据是在内存中驻留，由CPU这个超快的计算核心来执行，涉及到数据交换的地方，通常是磁盘、网络等，就需要IO接口。 同步（synchronous） IO和异步（asynchronous） IO，阻塞（block
阅读全文
摘要：一、进程和线程的概念 首先，引出“多任务”的概念：多任务处理是指用户可以在同一时间内运行多个应用程序,每个应用程序被称作一个任务。Linux、windows就是支持多任务的操作系统,比起单任务系统它的功能增强了许多。 例如，你一边在用浏览器上网，一边在听网易云音乐，一边在用Word赶作业，这就是多任
阅读全文
摘要：一、网络编程 自从互联网诞生以来，现在基本上所有的程序都是网络程序，很少有单机版的程序了。 计算机网络就是把各个计算机连接到一起，让网络中的计算机可以互相通信。网络编程就是如何在程序中实现两台计算机的通信。 举个例子，当你使用浏览器访问新浪网时，你的计算机就和新浪的某台服务器通过互联网连接起来了，然
阅读全文
摘要：一、什么是异常 异常即是一个事件，该事件会在程序执行过程中发生，影响了程序的正常执行。一般情况下，在Python无法正常处理程序时就会发生一个异常。 异常是Python对象，表示一个错误。当Python脚本发生异常时我们需要捕获处理它，否则程序会终止执行。 在python中不同的异常可以用不同的类型
阅读全文
摘要：一、如何使用模块 上篇文章已经简单介绍了模块及模块的优点，这里着重整理一下模块的使用细节。 1. import 示例文件：spam.py，文件名spam.py,模块名spam a. 模块可以包含可执行的语句和函数的定义，这些语句的目的是初始化模块，它们只在模块名第一次遇到import语句时才执行（i
阅读全文
摘要：需求： 用户输入运算表达式，终端显示计算结果 源代码： 1 # ！/usr/bin/env/ python3 2 # -*- coding: utf-8 -*- 3 4 """用户输入计算表达式，显示计算结果""" 5 6 __author__ = 'Jack' 7 8 import re 9 10
阅读全文
摘要：一、模块 1. 什么是模块 在计算机程序的开发过程中，随着程序代码越写越多，在一个文件里代码就会越来越长，越来越不容易维护。 为了编写可维护的代码，我们把很多函数分组，分别放到不同的文件里，这样，每个文件包含的代码就相对较少，很多编程语言都采用这种组织代码的方式。在Python中，一个.py文件就称
阅读全文
摘要：一、isinstance(obj, cls) and issubclass(sub, super) 1. isinstance(obj, cls),检查obj是否是类cls的对象 2. issubclass(sub, super),检查sub类是否是super类的派生类(子类) 二、反射 1. 什么
阅读全文
摘要：一、封装与扩展 封装在于明确区分内外，使得类实现者可以修改封装内的东西而不影响外部调用者的代码；而外部使用者只知道一个接口(函数)，只要接口（函数）名、参数不变，使用者的代码永远无需改变。这就提供一个良好的合作基础——或者说，只要接口这个基础约定不变，则代码改变不足为虑。 实例： 二、静态方法和类方
阅读全文
摘要：一、接口与归一化设计 Java接口是一系列方法的声明，是一些方法特征的集合，一个接口只有方法的特征没有方法的实现，因此这些方法可以在不同的地方被不同的类实现，而这些实现可以具有不同的行为（功能）。 由于python中没有Interface方法，根据Java接口的定义，可以抽象出python中的接口：
阅读全文
摘要：一、继承 继承是一种创建新的类的方式，在python中，新建的类可以继承自一个或者多个父类，原始类称为基类或超类，新建的类称为派生类或子类。 python中类的继承分为：单继承和多继承 使用'__bases__'方法查看继承 提示：如果没有指定基类，python的类会默认继承object类，obje
阅读全文
浙公网安备 33010602011771号