Erick-LONG - 博客园

2017年10月31日

摘要： 1 1024 1.048576e+06 1.073741824e+09 阅读全文

posted @ 2017-10-31 21:47 Erick-LONG 阅读(187) 评论(0) 推荐(0)

摘要： package main import ( "fmt" "strconv" ) func main() { var a int = 65 b := strconv.Itoa(a) a, _ = strconv.Atoi(b) fmt.Println(a) } 阅读全文

posted @ 2017-10-31 21:42 Erick-LONG 阅读(148) 评论(0) 推荐(0)

2017年10月23日

简单分布式爬虫

摘要： # url管理器 # url管理器 import pickle import hashlib class UrlManager(): def __init__(self): self.new_urls = self.load_progress('new_urls.txt') # 未爬取url集合 self.old_urls = self.load_p... 阅读全文

posted @ 2017-10-23 22:06 Erick-LONG 阅读(482) 评论(0) 推荐(0)

2017年10月22日

百度百科基础爬虫

摘要： # url管理器 class UrlManager(): def __init__(self): self.new_urls = set() #未爬取集合 self.old_urls = set() # 已爬取集合 def has_new_url(self): ''' 判断是否有未爬取的URL :... 阅读全文

posted @ 2017-10-22 18:32 Erick-LONG 阅读(287) 评论(0) 推荐(0)

天堂图片网图片下载

摘要： import requests from lxml import etree import urllib url = 'http://www.ivsky.com/tupian/ziranfengguang/' def Schedule(blocknum,blocksize,totolsize): per = 100.0 * blocknum * blocksize / totolsi... 阅读全文

posted @ 2017-10-22 16:44 Erick-LONG 阅读(506) 评论(0) 推荐(0)

分布式进程

摘要：分布式进程可以有multiprocessing模块的managers子模块支持，可以写一个服务进程作为调度者，将任务分布到其他多个进程中，依靠网络通信进行管理 taskManager.py taskManager.py 阅读全文

posted @ 2017-10-22 11:39 Erick-LONG 阅读(580) 评论(0) 推荐(0)

协程补充

摘要：协程举例 result 协程池阅读全文

posted @ 2017-10-22 10:25 Erick-LONG 阅读(125) 评论(0) 推荐(0)

2017年10月11日

selenium webdriver API

摘要：元素定位鼠标键盘操作显式/隐式等待窗口/frame切换警告框处理文件下载文件上传操作cookie 调用javascript 窗口截图视频播放处理下拉框选择阅读全文

posted @ 2017-10-11 07:10 Erick-LONG 阅读(230) 评论(0) 推荐(0)

2017年10月10日

轻量级django 一

摘要：完善后更轻量的django python test runserver 阅读全文

posted @ 2017-10-10 11:52 Erick-LONG 阅读(363) 评论(0) 推荐(0)

2017年8月29日

用户登录

摘要： #encoding=utf-8 from t2 import RedisHelper from t3 import MysqlHelper import hashlib name=raw_input("请输入用户名：") pwd=raw_input("请输入密码：") sha1=hashlib.sha1() sha1.update(pwd) pwd1=sha1.hexdigest() tr... 阅读全文

posted @ 2017-08-29 11:45 Erick-LONG 阅读(270) 评论(0) 推荐(0)

Erick - LONG

Be Patient! Be Positive! Be Persistence!

公告