随笔档案「2017年11月」 - mrliqifeng

摘要：在爬取一些网页的时候，往往有些网页的内容是需要登陆才可以获取的，这个时候我们就需要用到模拟登陆。一开始搞模拟登陆的时候，我尝试过... 阅读全文

posted @ 2017-11-28 09:11 mrliqifeng 阅读(11) 评论(0) 推荐(0)

摘要：当我们使用爬虫大量重复的请求一个网站时，我们可能回去到封IP的情况，这时候我们就需要使用代理来伪装我们的IP，使之请求能够再次发... 阅读全文

posted @ 2017-11-27 18:14 mrliqifeng 阅读(53) 评论(0) 推荐(0)

摘要：Python是运行在解释器中的语言，查找资料知道，python中有一个全局锁（GIL），在使用多进程(Thread)的情况... 阅读全文

posted @ 2017-11-07 11:54 mrliqifeng 阅读(21) 评论(0) 推荐(0)

摘要：获取Mongodb安装包我们首先要去官网获得对应版本的安装包 https://www.mongodb.com/download-c... 阅读全文

posted @ 2017-11-07 11:09 mrliqifeng 阅读(10) 评论(0) 推荐(0)

mrliqifeng