11 2017 档案
摘要：爬虫的自我修养_2 一、Handler处理器 和 自定义Opener（引擎们） opener是 urllib2.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。 但是基本的urlopen()方法不支持代理、cooki
阅读全文
摘要：一、爬虫如何抓取网页数据： 网页三大特征： -1. 网页都有自己唯一的URL（统一资源定位符）来进行定位 -2. 网页都使用HTML （超文本标记语言）来描述页面信息。 -3. 网页都使用HTTP/HTTPS（超文本传输协议）协议来传输HTML数据。 爬虫的设计思路： -1. 首先确定需要爬取的网页
阅读全文
摘要：数据结构 程序=数据结构+算法 数据结构就是设计数据以何种方式组织并存储在计算机中。列表、集合与字典等都是一种数据结构。 小Tips：列表中的元素是怎样存储的，操作的时间复杂度是多少？ 栈 栈(Stack)是一个数据集合，可以理解为只能在一端进行插入或删除操作的列表。 栈的特点：后进先出 栈的基本操
阅读全文
摘要：算法（Algorithm）概念：一个计算过程，解决问题的方法 递归的两大特点： 1、自己调用自己 2、有穷性（python默认只能递归999次）自己修改递归深度：sys.setrecursionlimit(100000) 时间复杂度 时间复杂度是一个估计的时间（正常人都说这个活还有几个月就完成了，没
阅读全文
摘要：组合搜索 方法一： models.py views.py url.py html 1 url(r'^article-(?P<article_type_id>\d+)-(?P<category_id>\d+).html', views.article), 1 from django.db import
阅读全文
摘要：一、用户和组相关的管理命令 1）创建用户：useradd 命令格式：useradd [options] LOGIN 选项： -u UID: [UID_MIN, UID_MAX], 定义在/etc/login.defs -g GID：指明用户所属基本组，可为组名，也可以GID； -c "COMMENT
阅读全文
摘要：bash的编程环境 shell脚本：文本文件 文件的开头要写上解释程序的路径： #!/bin/bash #!/usr/bin/python #!/usr/bin/perl 运行脚本： 1、给予执行权限，通过具体的文件路径（./xxx）指定文件执行； 2、直接运行解释器，将脚本作为解释器程序的参数运行
阅读全文
摘要：Linux上文本处理三剑客 grep：文本过滤(模式：pattern)工具; grep, egrep, fgrep sed：stream editor，文本编辑工具； awk：Linux上的实现gawk，文本报告生成器； grep命令 作用：文本搜索工具，根据用户指定的“模式”对目标文本逐行进行匹配
阅读全文
摘要：vim编辑器 vim是模式化编辑器，基本模式有编辑模式，命令模式，输入模式，末行模式。 1、打开文件 命令格式：vim [OPTION]... FILE... 选项： +#: 打开文件后，直接让光标处于第#行的行首； +/PATTERN（正则）：打开文件后，直接让光标处于第一个被PATTERN匹配到
阅读全文
摘要：1、命令行展开 ~: 展开为用户的主目录 ~USERNAME：展开为指定用户的主目录 {}：可承载一个以逗号分隔的列表，并将其展开为多个路径 /tmp/{a,b} = /tmp/a, /tmp/b /tmp/{tom,jerry}/hi = /tmp/tom/hi, /tmp/jerry/hi 1
阅读全文
摘要：一、Linux的文件系统 Linux的文件系统是根文件系统(root filesystem） 各个文件夹： /boot：引导文件存放目录，内核文件(vmlinuz)、引导加载器(bootloader, grub)都存放于此目录； /bin：供所有用户使用的基本命令；不能关联至独立分区，OS启动即会用
阅读全文
摘要：Ajax三种提交方式 a.原生ajax（XmlHttpRequest） XmlHttpRequest对象的主要方法： XmlHttpRequest对象的主要属性： 1 function Ajax1(){ 2 var xhr = getXHR(); 3 //var xhr = new XMLHttpR
阅读全文
摘要：一、日期命令 1、date命令 命令格式： date [OPTION]... [+FORMAT] # 显示当前系统时间； 显示时间格式（date '+%y,%m,%d,%H,%M,%S'）： date [MMDDhhmm[[CC]YY][.ss]] # 设置系统时间 MM: 月分 DD:几号 hh:
阅读全文
摘要：帮助文档的获取 外部命令：都有一个可执行程序，位于文件系统某目录下，可以使用which, whereis命令查询到命令存放的位置。 shell程序搜寻可执行程序文件的路径定义在PATH环境变量中，自左至右的查找；使用# echo $PATH命令查看。 1、获取内部命令帮助： 格式：# help CO
阅读全文
摘要：Linux常用命令2 一、系统管理 1、查看日历：cal cal # 命令用于查看当前日历， cal -y 2008 # 查看2008整年日历 2、显示或设置时间：data 设置时间格式（需要管理员权限）： 显示时间格式（date '+%y,%m,%d,%H,%M,%S'）： 修改当前时间：date
阅读全文
摘要：ModelForm（强大的数据验证，适中的数据库操作） Form:UserForm -> Form -> BaseFormModelForm:UserModelForm -> ModelForm -> BaseModelForm -> BaseForm 添加信息 修改信息 1 from django
阅读全文
摘要：Linux常用命令1 一、查看帮助文档 a. --help linux命令自带的帮助信息 例：ls --help # 查看ls的帮助信息 b.man man是linux提供的一个手册，包含了绝大部分的命令、函数使用说明 该手册分成很多章节（section），使用man时可以指定不同的章节来浏览。 例
阅读全文
摘要：session 使用session前一定要先python manage.py makemigration+python manage.py migrate 基于cookie做用户验证的时候，敏感的信息不适合放在cookie中，所以引出session a.session原理 cookie是保存在用户浏
阅读全文
摘要：Form表单验证 1、创建Form类 1 from django.forms import Form 2 from django.forms import widgets 3 from django.forms import fields 4 5 class FM(Form): 6 user = f
阅读全文
摘要：Flask Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架，对于Werkzeug本质是Socket服务端，其用于接收http请求并对请求进行预处理，然后触发Flask框架，开发人员基于Flask框架提供的功能对请求进行相应的处理，并返回给用
阅读全文
摘要：templates 1、母版 extends方法 1 <!DOCTYPE html> 2 <html lang="en"> 3 <head> 4 <meta charset="UTF-8"> 5 <title>{% block title %} {% endblock %}</title> 6 <l
阅读全文
摘要：数据库操作 dbfirst：数据库优先 codefirst（ORM）：代码优先，sqlalchemy和DJango都是用的这种 创建表 a.在app下的models.py中，创建类 b.注册app（在settings下的INSTALLED_APPS中将app的名字添加进路径） c.执行命令 Djan
阅读全文
摘要：Model操作 a.数据表操作 ORM框架： Code first 创建类 > 自动生成表 DB first 创建表 > 根据表生成类 多对多操作： 第一种方式：自定义关系表 第二种：自动建立关系 第三种：两种方式合用 1 from django.db import models 2 from dj
阅读全文
摘要：Django请求生命周期 -> URL对应关系（匹配） -> 视图函数 -> 返回用户字符串 -> URL对应关系（匹配） -> 视图函数 -> 打开一个HTML文件，读取内容（其实也是字符串） 路由系统（URL） 1、FBV形式（参见上一篇博客）、CBV形式 views.py Django.vie
阅读全文
摘要：web框架 所有的Web应用，本质上其实就是一个socket服务端，用户的浏览器其实就是一个socket客户端。 上述通过socket来实现了其本质，而对于真实开发中的python web程序来说，一般会分为两部分：服务器程序和应用程序。服务器程序负责对socket服务器进行封装，并在请求到来时，对
阅读全文
浙公网安备 33010602011771号