2018年11月9日

搭建jupyter服务器

摘要: 安装jupyter 一、选择安装anaconda 1.根目录下创建一个文件夹用来放anaconda安装包 2.下载anaconda安装包(可以在官网上自行选择版本) wget https://repo.continuum.io/archive/Anaconda3-4.4.0-Linux-x86_64 阅读全文

posted @ 2018-11-09 17:00 逆行人 阅读(390) 评论(0) 推荐(0) 编辑

2018年10月17日

monogo 去重

摘要: 进入到Mongo的安装目录,进入到bin文件夹下; 导出数据: mongoexport.exe -d database -c collection -o filename.json 导入数据: mongoimport.exe -d database -c collection --file file 阅读全文

posted @ 2018-10-17 17:15 逆行人 阅读(283) 评论(0) 推荐(0) 编辑

2018年9月21日

numpy学习小结

摘要: 安装numpy包 导包 阅读全文

posted @ 2018-09-21 18:06 逆行人 阅读(176) 评论(0) 推荐(0) 编辑

2018年9月5日

python操作excel

摘要: python对excel表格操作一般常用的两个库:xlrd 和xlwt; 但是xlwt具有局限性,它不能写入超过65535行,256列的数据,因此当有大量数据需要写入的时候,可以使用另一个openpyxl; xlrd xlrd一般是python从excel中读取数据,进行读操作的; xlwt xlw 阅读全文

posted @ 2018-09-05 17:04 逆行人 阅读(206) 评论(0) 推荐(0) 编辑

python解决api变化的问题

摘要: 案例:http://cic.org.vn/ 该网站用python进行模拟登录时,url链接是经过js加载生成的,当我们用requests发送get请求的时候,返回的结果并不是真正的主页数据,而是一段js代码,但是直接从这段js代码中解析我们需要的登录页url很困难,因此这里我们可以构造一个轻量级的j 阅读全文

posted @ 2018-09-05 11:13 逆行人 阅读(299) 评论(0) 推荐(0) 编辑

2018年8月17日

python 图片转成字符串

摘要: 用python将图片转成字符串 下面是原始图片; 代码: 转换后的效果: 阅读全文

posted @ 2018-08-17 15:14 逆行人 阅读(2316) 评论(0) 推荐(0) 编辑

2018年8月7日

记一次项目中lambda函数的应用

摘要: lambda函数也叫做匿名函数,它允许我们快速定义,并且让代码更简洁 这里封装了一下requests的get方法,加入了一个decision参数,该参数是一个匿名函数,retry_times是重试次数,通过匿名函数对res结果进行判断,对爬取结果进行预处理; 上面的函数是我们在爬虫中定义的一个判断函 阅读全文

posted @ 2018-08-07 12:10 逆行人 阅读(166) 评论(0) 推荐(0) 编辑

2018年7月5日

python爬取百度贴吧张国荣图片

摘要: python爬取张国荣吧张国荣图片 一直喜欢哥哥的歌,也一直听哥哥的歌,突然想着收集一些哥哥的照片,所以写了一个爬虫爬取哥哥的图片,也给大家参考一下; 这里我用的request-html这个包 构造请求 分析请求的api,发现它是get请求,带有参数 发出请求,找到分类的id; 对每个分类构造api 阅读全文

posted @ 2018-07-05 11:12 逆行人 阅读(300) 评论(0) 推荐(0) 编辑

2018年7月4日

python3中Unicode字符转中文

摘要: python3中将Unicode字符串转成中文 用python爬虫爬取数据时,有时候会发现爬取的数据类似于 但是有些时候,我们需要保存的是中文数据,而不是Unicode字符串,所以我们需要将Unicode转成中文,我们知道encode()方法是将Unicode码转成我们需要的编码格式,但是我们返回的 阅读全文

posted @ 2018-07-04 11:45 逆行人 阅读(24857) 评论(0) 推荐(0) 编辑

2018年6月29日

docker容器

摘要: docker 容器介绍 容器是独立运行的一个或一组应用,以及它们的运行态环境。对应的,虚拟机可以理解为模拟运行的一整套操作系统和跑在上面的应用。 新建启动容器 启动容器的主要命令是docker run,下面的命令输出一个“hello world”,之后终止容器; 下面命令启动一个bash终端,允许用 阅读全文

posted @ 2018-06-29 11:34 逆行人 阅读(241) 评论(0) 推荐(0) 编辑

导航