10 2018 档案

scrapy--json(喜马拉雅Fm)(二)

摘要：学习了对数据的储存,感觉还不够深入,昨天开始对储存数据进行提取、整合和图像化显示。实例还是喜马拉雅Fm,算是对之前数据爬取之后的补充。 明确需要解决的问题 三、给大家看下成果 3.1_蕊希电台所有作品数(369) 3.2_全部储存到mongoDB数据库 3.3_导出csv文件:mongoexport 阅读全文

posted @ 2018-10-26 10:14 eilinge 阅读(719) 评论(0) 推荐(0)

python--Matplotlib(二)

摘要：Matplotlib+pandas作图 一、对csv文件进行提取ruixi.csv 对上述表格进行提取并做图 画出图像 二、对.xlsx进行提取:ruixi.xlsx 阅读全文

posted @ 2018-10-26 09:32 eilinge 阅读(250) 评论(0) 推荐(0)

python--Matplotlib(一)

摘要：基础知识薄弱的同学可以看看一下博客 我做了一些笔记,比较实用 matplotlib实例 pandas+matplotlib 阅读全文

posted @ 2018-10-25 14:01 eilinge 阅读(764) 评论(0) 推荐(0)

python--Pandas(一)

摘要：一、Pandas简介 pandas 基本使用 #选择 Selection #布尔索引利用一列的数据选择一部分数据 阅读全文

posted @ 2018-10-24 17:52 eilinge 阅读(175) 评论(0) 推荐(0)

Orcale(一)

摘要：oracle数据库基本语句查询 oracle基本类型 Oracle角色： 附录： 阅读全文

posted @ 2018-10-24 17:44 eilinge 阅读(338) 评论(0) 推荐(0)

linux 基础命令

摘要：linux 登陆与登出 关机 查看linux系统信息 linux查看用户 切换目录 cd 显示当前路径 pwd 显示文件或目录的属性 ls(dir) 文件显示颜色 用户管理 Linux下软件介绍 阅读全文

posted @ 2018-10-24 17:40 eilinge 阅读(183) 评论(0) 推荐(0)

scrapy--json(喜马拉雅Fm)

摘要：已经开始听喜马拉雅Fm电台有2个月,听里面的故事,感觉能听到自己,特别是蕊希电台,始于声音,陷于故事,忠于总结。感谢喜马拉雅Fm陪我度过了这2个月,应该是太爱了,然后就开始对Fm下手了。QAQ 该博客基于以下博客,提取和修改。 需要解决问题 三、先给大家看看成果 一、提取网页源码 1.1_提取tra 阅读全文

posted @ 2018-10-24 15:57 eilinge 阅读(1062) 评论(0) 推荐(0)

scrapy--json(360美图)

摘要：之前开始学习scrapy,接触了AJax异步加载。一直没放到自己博客,趁现在不忙,也准备为下一个爬虫做知识储存,就分享给大家。 还是从爬取图片开始,先上图给大家看看成果,QAQ。 一、图片加载的方法 1.1:网页源码__javascript加载数据 1.2:F12审查元素:滑动滑块,图片开始不断加载 阅读全文

posted @ 2018-10-23 18:11 eilinge 阅读(286) 评论(0) 推荐(0)

Docker(一)

摘要：Docker的应用场景 Docker 的优点 Ubuntu Docker 安装Docker Ubuntu 16.04 安装 Docker Docker 设置代理 Docker 安装 Python 使用mongo镜像 docker常用命令 遇到的问题 阅读全文

posted @ 2018-10-23 14:56 eilinge 阅读(198) 评论(0) 推荐(0)

scrapy--ipproxy

摘要：今天给大家讲一下--IpProxy,由于从"http://www.xicidaili.com/nn"爬取,以下是我转载的博客 需要解决的问题 这里就给大家看看爬取的代码怎么写,其他的配置可以看我之前的博客,具体代码可以进我的GitHub:。QAQ!! 阅读全文

posted @ 2018-10-22 14:54 eilinge 阅读(160) 评论(0) 推荐(0)

scrapy--cnblogs

摘要：之前一直在学习关于滑块验证码的爬虫知识,最接近的当属于模拟人的行为进行鼠标移动,登录页面之后在获取了,由于一直找不到滑块验证码的原图,无法通过openCV获取当前滑块所需要移动的距离。 给大家讲了答题思路,现在就来拿实例验证一下可行性,拿自己博客开刀--"https://i.cnblogs.com" 阅读全文

posted @ 2018-10-19 17:31 eilinge 阅读(234) 评论(0) 推荐(0)

Fiddler(二)

摘要：该博客基于以下博客网站里的内容进行提取,实验,和补充。让我们开始 AutoResponder 允许拦截指定规则的请求 Composer 自定义请求发送服务器 Filters 请求过滤规则;其实大家耐着性子看,都是些简单的英语,很容易知道每个选项的功能。 备注: 阅读全文

posted @ 2018-10-19 14:27 eilinge 阅读(197) 评论(0) 推荐(0)

mongodb

摘要：MongoDB 是一个基于分布式文件存储的数据库 MongoDB的基本命令 MongoDB增,删,改,查 Help() 阅读全文

posted @ 2018-10-18 15:49 eilinge 阅读(186) 评论(0) 推荐(0)

scrapy--boss直聘

摘要：Hi,大家好。有段时间没来更新scrapy爬取实例信息了,前2天同事说爬取拉勾,boss直聘等网站信息比较困难。昨天下午开始着手爬取boss直聘内Python爬虫的信息,比想象中的简单很多。 需要解决的问题: 解决的思路: 图(1_1) 图(1_2) 老规矩,给各位爬取结果的图,大家也可以去尝试一下 阅读全文

posted @ 2018-10-18 13:47 eilinge 阅读(794) 评论(1) 推荐(0)

dts--tests(四)

摘要：unit_tests.py 阅读全文

posted @ 2018-10-17 10:25 eilinge 阅读(328) 评论(0) 推荐(0)

dts--framework(三)

摘要：tester.py etgen.py config.py 阅读全文

posted @ 2018-10-17 09:42 eilinge 阅读(179) 评论(0) 推荐(0)

dts--tests(三)

摘要：sample_built.py 阅读全文

posted @ 2018-10-16 17:39 eilinge 阅读(364) 评论(0) 推荐(0)

dts--tests(二)

摘要：rxtx_callbacks.py #测试的目的: dut-tests 总结: 阅读全文

posted @ 2018-10-16 17:35 eilinge 阅读(419) 评论(0) 推荐(0)

dts--tests(一)

摘要：cmdline.py 测试的目的: dut:执行详细信息 阅读全文

posted @ 2018-10-16 17:29 eilinge 阅读(304) 评论(0) 推荐(0)

dts--framework(二)

摘要：Framwork下个文件中包含的函数 packet.py pmd_out.py ssh.py pexpect.py 阅读全文

posted @ 2018-10-16 17:25 eilinge 阅读(254) 评论(0) 推荐(0)

dts--framework(一)

摘要：dts 大体框架 dts.py Main.py Crb.py Dut.py test_cases.py CheckCase.py utils.py 阅读全文

posted @ 2018-10-16 17:22 eilinge 阅读(309) 评论(0) 推荐(0)

Fiddler(一)

摘要：Fiddler:学习scrapy,不只是满足于网页上爬去信息的成功乐趣,现在开始接触爬去手机信息了,不好解决,知道过程不会轻松,但自己想去尝试。QAQ 写这篇博客是基于以下的几位大神学习笔记,我只是做下总结,里面会有具体的图片信息: Fiddler:基础知识 HTTP协议 Fiddler的安装 Fi 阅读全文

posted @ 2018-10-13 15:34 eilinge 阅读(194) 评论(0) 推荐(0)

javascript(二)

摘要：嗨,很快就和大家见面了。今天是复习javascript的第二天,学习了一些新的知识。就来和大家分享,更重要的就是每天在晚上用手机就可以回顾了。QAQ JavaScript 用法 JavaScript 输出 JavaScript 数据类型 JavaScript 函数 JavaScript 语句标识符 阅读全文

posted @ 2018-10-12 09:58 eilinge 阅读(182) 评论(0) 推荐(0)

javascript(一)

摘要：JavaScript是一种属于网络的脚本语言,已经被广泛用于Web应用开发,常用来为网页添加各式各样的动态功能,为用户提供更流畅美观的浏览效果。通常JavaScript脚本是通过嵌入在HTML中来实现自身的功能的。 是一种解释性脚本语言（代码不进行预编译）。 主要用来向HTML（标准通用标记语言下的 阅读全文

posted @ 2018-10-11 16:45 eilinge 阅读(235) 评论(0) 推荐(0)

scrapy--selenium(二)

摘要：今天学习了很多,还是想给大家讲一讲正题:scrapy的动态加载AJax的网页爬取:selenium。让我们开始 三: 针对大型电商网站:京东网,因为比较有代表性,爬出来有点小成就。先给大家看下效果图。好让大家有点动力QAQ 一: 查看一下京东网加载商品的原理 1.1:将该网页加载的所有商品信息放入< 阅读全文

posted @ 2018-10-11 15:21 eilinge 阅读(351) 评论(0) 推荐(0)

Xml

摘要：学习了Ajax,就有必要来看看xml了,还好自己有一些HTML5,Css的基础了,所以再学这个相对比较简单,因为xml和html5都属于网页前端,学习一下对于scrapy的动态加载网页也有一定的好处。基于"xml|菜鸟教程",让我开始!! XML 和 HTML 之间的差异 XML属性 XML 命名规 阅读全文

posted @ 2018-10-11 14:56 eilinge 阅读(218) 评论(0) 推荐(0)

Ajax

摘要：最近一直在学习scrapy的模拟网页获取源码slenium,里面涉及的Ajax异步加载。看了资料(Ajax菜鸟教程)有了一些了解,就来给大家分享一下成果。也希望大家能够"每天多学习一点,人就进步一点"。 AJAX是基于现有的Internet标准，并且联合使用它们： XMLHttpRequest 对象 阅读全文

posted @ 2018-10-11 10:38 eilinge 阅读(165) 评论(0) 推荐(0)

scrapy--Cookies

摘要：大家好,之前看到的关于cookies的应用,由于有段时间没看,再看的时候花了一些时间,来给大家总结下。本文是根据:"http://www.bubuko.com/infodetail-2233980.html"基础上加了一些自己遇到的问题,希望能帮助到大家,那我们开始!! 一: 先上一些干货,稍微做些 阅读全文

posted @ 2018-10-09 14:13 eilinge 阅读(946) 评论(0) 推荐(0)