摘要：
timeit库可以用来测试代码的执行效率 阅读全文
摘要：
1 # -*- coding: utf-8 -*- 2 # @author: Tele 3 # @Time : 2019/04/18 下午 3:53 4 # 深拷贝与浅拷贝 5 import copy 6 7 # 浅拷贝只拷贝一层(对于内部元素只是拷贝引用),创建新的对象 8 a = [1, 2, 11] 9 b = copy.copy(a) 10 print(id(a) ... 阅读全文
摘要：
1 # -*- coding: utf-8 -*- 2 # @author: Tele 3 # @Time : 2019/04/14 下午 3:48 4 # 多线程版 5 import time 6 import requests 7 import os 8 import json 9 from f 阅读全文
摘要：
毕设需要大量的商品评论,网上找的数据比较旧了,自己动手 代理池用的proxypool,github:https://github.com/jhao104/proxy_pool ua:fake_useragent 1 # 评价较多的店铺(苏宁推荐) 2 https://tuijian.suning.c 阅读全文
摘要：
进入redis的utils目录下,拷贝redis_init_script到/etc/init.d/下并重命名为redis 修改redis,指定配置文件,我的redis配置文件为/etc/redis/redis.conf,之后chmod 777 redis,就可以执行service redis sta 阅读全文
摘要：
1 # -*- coding: utf-8 -*- 2 # @author: Tele 3 # @Time : 2019/04/09 下午 4:50 4 # 爬取弹幕 5 import requests 6 import json 7 import os 8 from lxml import etree 9 10 11 def main(): 12 headers... 阅读全文
摘要：
抓包时发现子菜单请求数据时一般需要rid,但的确存在一些如游戏->游戏赛事不使用rid,对于这种未进行处理,此外rid一般在主菜单的响应中,但有的如番剧这种,rid在子菜单的url中,此外返回的data中含有页数相关信息,可以据此定义爬取的页面数量 可以看到番剧少了新番时间表与番剧索引,因为这两个请 阅读全文
摘要：
版本一:使用shutil进行拷贝 这样做仍然有些小问题,对于大文件可以在进程内部采用多线程的方式,可以看到使用shutil进行拷贝时我们没有办法实现字节切割,于是有了下面的版本二 版本二: 阅读全文
摘要：
使用线程池: 阅读全文
摘要：
url为https://36kr.com/newsflashes,抓包后发现第一次的新闻内容就是包含在<script>var props={}></script>标签中,具体的是在props中的key为newsflashList|newsflash的列表中紧着我又让页面多加载了一些,发现此时请求地址 阅读全文