随笔分类 -  python爬虫

anaconda常用的命令
摘要：常用操作命令： 一、环境操作 1.查看环境管理的全部命令帮助： conda env -h 2.查看当前系统下的环境： conda info -e 3.创建环境： conda create env_name (env_name)是环境名称,这条命令将会给Biopython创建一个新的环境，位置在Ana 阅读全文
posted @ 2019-01-18 09:40 Leo包子 阅读(1251) 评论(0) 推荐(0)
python xlrd处理表格常用方法
摘要：1、导入模块import xlrd2、打开Excel文件读取数据data = xlrd.open_workbook('excelFile.xls')3、使用技巧获取一个工作表table = data.sheets()[0] #通过索引顺序获取table = data.sheet_by_index(0 阅读全文
posted @ 2018-12-20 12:01 Leo包子 阅读(4014) 评论(0) 推荐(1)
Sublime Text 3配置 Python3 开发环境
摘要：来自 https://www.cnblogs.com/zhangqinwei/p/6886600.html Sublime Text作为一款支持多种编程语言的文本编辑神器，深受广大开发者的喜爱。通过简单的配置就可以让Sublime Text 3胜任Python3的开发工作。 来自 https://w 阅读全文
posted @ 2018-09-04 11:01 Leo包子 阅读(334) 评论(0) 推荐(0)
anaconda安装scrapy报错解决办法
摘要：anaconda安装爬虫框架scrapy 阅读全文
posted @ 2018-08-22 18:05 Leo包子 阅读(3021) 评论(1) 推荐(0)
Queue模块初识
摘要：Queue模块实现了多生产者、多消费者队列。它特别适用于信息必须在多个线程间安全地交换的多线程程序中。这个模块中的Queue类实现了所有必须的锁语义。它依赖于Python中线程支持的可用性；参见threading模块。 模块实现了三类队列：FIFO（First In First Out，先进先出，默 阅读全文
posted @ 2018-07-11 19:47 Leo包子 阅读(226) 评论(0) 推荐(0)
Python 3.6 爬取BD电影网
摘要：python 脚本爬取BD电影网 单线程 阅读全文
posted @ 2018-07-10 16:10 Leo包子 阅读(720) 评论(0) 推荐(0)
Python 把两个列表遍历为一个
摘要：python 遍历 阅读全文
posted @ 2018-07-10 16:06 Leo包子 阅读(829) 评论(0) 推荐(0)
python爬取动态网页2，从JavaScript文件读取内容
摘要：import requests import json head = {"user-agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safa 阅读全文
posted @ 2018-04-23 22:12 Leo包子 阅读(1529) 评论(0) 推荐(0)
爬取糗事百科
摘要：# -*- coding: utf-8 -*- import urllib2 from lxml import etree import json url = "http://www.qiushibaike.com/8hr/page/1/" headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/53... 阅读全文
posted @ 2018-04-12 11:24 Leo包子 阅读(185) 评论(0) 推荐(0)