随笔分类 -  代码积累

收集代码示例
selenium+plantomJS
摘要：#!/usr/bin/env python # -*- coding:utf-8 -*- """ 流程框架： 1.搜索关键词，利用selenium驱动浏览器搜索关键词，查询得到商品列表 2.分析页码并翻页，得到商品页码数，模拟翻页，得到后续页面的商品列表 3.分析提取商品内容，利用PyQuery分析源码，解析得到商品列表 4... 阅读全文
posted @ 2017-08-01 03:04 倪兴国 阅读(1153) 评论(0) 推荐(0)
自编码爬取今日头条街拍
摘要：#!/usr/bin/env python # -*- coding:utf-8 -*- """ 1.抓取索引页内容，利用requests请求目标站点，得到索引网页Htnl代码，返回结果 2.抓取详情页内容，解析返回结果，得到详情页的链接，并进一步抓取详情页的信息 3.下载图片与保存数据库，将图片下载到本地，并把页面信息及图片URL保存到MongDB 4.开启循环... 阅读全文
posted @ 2017-07-31 12:04 倪兴国 阅读(527) 评论(0) 推荐(0)
用户代理池
摘要：# 用户代理 agents = [ "Mozilla/5.0 (Linux; U; Android 2.3.6; en-us; Nexus S Build/GRK39F) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1", "Avant Browser/1.2.789rel1 (http:... 阅读全文
posted @ 2017-07-29 00:36 倪兴国 阅读(710) 评论(0) 推荐(0)
Python全栈开发：socket代码实例
摘要：客户端与服务端交互的基本流程 粘包问题解决方案：一个类型文件发送完毕之后进行一次确认信息交互。 IO多路复用在socket中的运用：针对老用户和新用户，服务器做出不同的响应 阅读全文
posted @ 2017-03-03 08:51 倪兴国 阅读(218) 评论(0) 推荐(0)
Python全栈开发：协程代码实例
摘要：协程代码1 协程代码2 阅读全文
posted @ 2017-03-02 22:17 倪兴国 阅读(230) 评论(0) 推荐(0)
Python全栈开发：进程代码实例
摘要：进程与线程的关系 进程池： 进程数据共享： 阅读全文
posted @ 2017-03-02 22:12 倪兴国 阅读(265) 评论(0) 推荐(0)
Python全栈开发：线程代码实例
摘要：线程event 线程数据共享 线程池 阅读全文
posted @ 2017-03-02 21:57 倪兴国 阅读(232) 评论(0) 推荐(0)
Python全栈开发：装饰器实例
摘要：#!/usr/bin/env python # -*- coding;utf-8 -*- """ 1、将outer函数放入内存 2、遇见@ + 函数名，则将该函数转换为装饰器，并将@ + 函数名之后的最近的函数作为被装饰的对象 3、将inner()放入内存，返回inner 4、被装饰的对象函数调用时f1(),执行inner函数内容，遇见调用被装饰的对象时，调用被装... 阅读全文
posted @ 2017-03-02 21:41 倪兴国 阅读(179) 评论(0) 推荐(0)
Python全栈开发：生成随机数
摘要：#!/usr/bin/env python # -*- coding;utf-8 -*- import random def foo(args): """ :param args: int 值越大，表示数字在随机码中出现的次数越少（>=6） :return: None """ # 定义一个空字符串 temp = "" # 构建循环，每循... 阅读全文
posted @ 2017-03-02 21:40 倪兴国 阅读(190) 评论(0) 推荐(0)
Python全栈开发：进度条
摘要：import sys import time for i in range(31): # 清空打印内容 sys.stdout.write("\r") # 控制输出样式 sys.stdout.write("%d%% | %s" % (int(i/30*100), int(i/30*100)*"*")) # 刷新缓存 sys.stdout.flush(... 阅读全文
posted @ 2017-03-02 16:58 倪兴国 阅读(204) 评论(0) 推荐(0)
python全栈开发：hashlib加密
摘要：哈希加密代码 基于md5对密码加密实现登录和注册 阅读全文
posted @ 2017-03-02 14:19 倪兴国 阅读(217) 评论(0) 推荐(0)