轻松学编程

摘要： Scrapy 和 scrapy-redis的区别 Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为... 阅读全文

posted @ 2018-07-15 22:15 轻松学编程阅读(168) 评论(0) 推荐(0)

摘要： python获取IP、主机名、mac地址关注公众号“轻松学编程”了解更多。制作get_IP.py文件： import socke... 阅读全文

posted @ 2018-07-15 12:35 轻松学编程阅读(211) 评论(0) 推荐(0)

摘要： scrapy模拟登录注意：模拟登陆时，必须保证settings.py里的COOKIES_ENABLED(Cookies中间件) 处... 阅读全文

posted @ 2018-07-14 16:52 轻松学编程阅读(78) 评论(0) 推荐(0)

摘要：反反爬虫相关机制 Some websites implement certain measures to prevent bots ... 阅读全文

posted @ 2018-07-13 20:15 轻松学编程阅读(134) 评论(0) 推荐(0)

摘要： Scrapy 框架关注公众号“轻松学编程”了解更多。一、简介 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性... 阅读全文

posted @ 2018-07-13 17:37 轻松学编程阅读(227) 评论(0) 推荐(0)

摘要：一、使用matplotlib画图关注公众号“轻松学编程”了解更多。使用matplotlib画柱形图 import matplot... 阅读全文

posted @ 2018-07-12 18:45 轻松学编程阅读(268) 评论(0) 推荐(0)

摘要：详情点我跳转关注公众号“轻松学编程”了解更多。一、为什么要使用线程池？对于任务数量不断增加的程序，每有一个任务就生成一个线程，... 阅读全文

posted @ 2018-07-09 19:05 轻松学编程阅读(163) 评论(0) 推荐(0)

摘要：详情点我跳转关注公众号“轻松学编程”了解更多。一、多线程抓取网页流程：a.设置种子url b.获取区域列表 c.循环区域列表 ... 阅读全文

posted @ 2018-07-08 20:02 轻松学编程阅读(168) 评论(0) 推荐(0)

摘要：详情点我跳转关注公众号“轻松学编程”了解更多。 1、协程协程，又称微线程，纤程。英文名Coroutine。协程是啥？？首先... 阅读全文

posted @ 2018-07-08 16:22 轻松学编程阅读(255) 评论(0) 推荐(0)

摘要：详情点我跳转关注公众号“轻松学编程”了解更多。 1、进程 1、进程的概念什么是进程—>CPU在同一时刻只能处理一个任务,只是因为... 阅读全文

posted @ 2018-07-08 15:55 轻松学编程阅读(68) 评论(0) 推荐(0)