随笔分类 -  Python

Life is short, use Python.
摘要:一、表结构 class UserInfo(models.Model): """用户表""" username = models.CharField(max_length=32) password = models.CharField(max_length=64) email = models.Cha 阅读全文
posted @ 2017-11-13 00:53 马贡多在下雨 阅读(2633) 评论(0) 推荐(1)
摘要:写在前面 世间安得双全法 不负如来不负卿 1 s17day26 CRM项目 2 3 项目概要:XX公司CRM 4 - 权限管理,公共组件,app ***** 5 - 熟悉增删改查,Low *** 6 - 增删改查组件,公共组件,app **** 7 8 内容回顾: 9 1. .all,values, 阅读全文
posted @ 2017-11-12 19:10 马贡多在下雨 阅读(695) 评论(0) 推荐(0)
摘要:单线程构建爬虫代理IP池 使用线程池加快验证代理的速度 concurrent.futures.ThreadPoolExecutor multiprocessing.dummy.Pool 阅读全文
posted @ 2017-11-07 00:24 马贡多在下雨 阅读(355) 评论(0) 推荐(0)
摘要:本文代码整理自:深入理解Python异步编程(上) 参考:A Web Crawler With asyncio Coroutines 一、同步阻塞方式 二、同步多线程方式 小提示 三、非阻塞+回调(即异步非阻塞)方式 事件循环+回调 实现单线程内异步编程 事件监听 selectors模块 回调层次过 阅读全文
posted @ 2017-11-04 20:15 马贡多在下雨 阅读(1086) 评论(0) 推荐(1)
摘要:参考:http://aju.space/2017/07/31/Drive-into-python-asyncio-programming-part-1.html yield from 是Python 3.3 新引入的语法(PEP 380)。 它主要解决的就是在生成器里玩生成器不方便的问题。它有两大主 阅读全文
posted @ 2017-11-04 19:57 马贡多在下雨 阅读(426) 评论(0) 推荐(0)
摘要:写在前面 上课第25天,打卡: 保持对技术的热情,认真对待。 1 s1617day3 2 3 内容回顾: 4 Scrapy 5 - 创建project 6 - 创建爬虫 7 - 编写 8 - 类 9 - start_urls = ['http://www.xxx.com'] 10 - def par 阅读全文
posted @ 2017-11-04 11:32 马贡多在下雨 阅读(67) 评论(0) 推荐(0)
摘要:一、Scarpy简介 Scrapy基于事件驱动网络框架 Twisted 编写。(Event-driven networking) 因此,Scrapy基于并发性考虑由非阻塞(即异步)的实现。 参考:武Sir笔记 参考:Scrapy 0.25 文档 参考:Scrapy架构概览 二、爬取chouti.co 阅读全文
posted @ 2017-11-04 11:24 马贡多在下雨 阅读(260) 评论(0) 推荐(0)
摘要:写在前面 干就完了 1 s16/17爬虫2 2 3 内容回顾: 4 1. Http协议 5 Http协议:GET / http1.1/r/n...../r/r/r/na=1 6 TCP协议:sendall("GET / http1.1/r/n...../r/r/r/na=1") 7 8 2. 请求体 阅读全文
posted @ 2017-10-28 11:54 马贡多在下雨 阅读(361) 评论(0) 推荐(0)
摘要:一、进程池和线程池 1.串行 2.多进程 3.进程池(1) 3.进程池(2) 2019-03-06 補充 4.多线程 5.线程池 二、异步非阻塞 参考:http://aiohttp.readthedocs.io/en/stable/ 参考:http://www.cnblogs.com/wupeiqi 阅读全文
posted @ 2017-10-28 11:51 马贡多在下雨 阅读(1364) 评论(0) 推荐(0)
摘要:1 D:\soft\work\Python_17\day23\weixin>tree /F 2 卷 NewDisk 的文件夹 PATH 列表 3 卷序列号为 2E8B-8205 4 D:. 5 │ db.sqlite3 6 │ manage.py 7 │ 8 ├─.idea 9 │ │ misc.x 阅读全文
posted @ 2017-10-26 22:20 马贡多在下雨 阅读(938) 评论(0) 推荐(0)
摘要:写在前面 逆水行舟 1 爬虫 2 3 - 基本操作 4 概要: 5 - 发送Http请求,Python Http请求,requests 6 - 提取指定信息,Python 正则表达式,beautifulsoup 7 - 数据持久化, 8 9 Python两个模块 10 - requests 11 - 阅读全文
posted @ 2017-10-21 12:20 马贡多在下雨 阅读(369) 评论(0) 推荐(0)
摘要:1 D:\soft\work\python35\python.exe D:/soft/work/work/20170925/sougou.py 2 >>> python 3 http://mp.weixin.qq.com/profile?src=3&timestamp=1508164694&ver= 阅读全文
posted @ 2017-10-16 22:43 马贡多在下雨 阅读(2157) 评论(0) 推荐(0)
摘要:为了防止XSS即跨站脚本攻击,需要加上 safe 自定义分页组件 阅读全文
posted @ 2017-10-14 13:59 马贡多在下雨 阅读(330) 评论(0) 推荐(0)
摘要:写在前面 上课第21天,打卡: Don't try so hard, the best things come when you least expect them to. 1 s17day21 2 内容回顾: 3 FBV,CBV 4 序列化 5 - Django内置 6 - json.dumps( 阅读全文
posted @ 2017-09-23 16:11 马贡多在下雨 阅读(37) 评论(0) 推荐(0)
摘要:写在前面 上课第20天,打卡: In the end, we are our choices. Build yourself a great story. 1 2017-09-10 - s17day20 2 3 内容回顾: 4 1. Http请求相关 5 6 2. Django请求生命周期 7 al 阅读全文
posted @ 2017-09-14 17:13 马贡多在下雨 阅读(35) 评论(0) 推荐(0)
摘要:写在前面 上课第19天,打卡: 忠于你的理想,别想生活妥协,让挣扎变得有意义! 1 2017-09-03 - s17day19 2 3 4 要求: 5 - 作业 6 - 开始自己做小项目(结组) 7 8 内容回顾: 9 - Http请求本质 10 浏览器(socket客户端): 11 2. sock 阅读全文
posted @ 2017-09-12 00:39 马贡多在下雨 阅读(31) 评论(0) 推荐(0)
摘要:写在前面 上课第18天,打卡: 《晚风》 - 伍佰 day18作业: 代码实现: 阅读全文
posted @ 2017-09-02 15:23 马贡多在下雨 阅读(34) 评论(0) 推荐(0)
摘要:写在前面 上课第17天,打卡: 我想去趟欧洲,看看莱茵河,听听贝多芬的悲伤; 阅读全文
posted @ 2017-08-26 13:09 马贡多在下雨 阅读(33) 评论(0) 推荐(0)
摘要:写在前面 上课第16天,打卡: 文化缺失的年代,英雄被遗忘,只记住了有钱人,肤浅; 参考:http://www.cnblogs.com/yuanchenqi/articles/6811632.html 一、关于正则的补充 1.无名分组 2.有名分组 二、Django基础 1.具体命令 2.静态资源的 阅读全文
posted @ 2017-08-19 14:11 马贡多在下雨 阅读(106) 评论(0) 推荐(0)
摘要:#!/usr/bin/python3 # -*- coding:utf-8 -*- import sys import time from urllib import request ''' urllib.urlretrieve 的回调函数: def callbackfunc(blocknum, blocksize, totalsize): @blocknum: 已经下载的数据... 阅读全文
posted @ 2017-08-17 20:17 马贡多在下雨 阅读(10674) 评论(2) 推荐(0)