会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
yinsolence
博客园
首页
新随笔
联系
订阅
管理
[置顶]
python scrapy版 极客学院爬虫V2
摘要: python scrapy版 极客学院爬虫V21 基本技术 使用scrapy2 这个爬虫的难点是 Request中的headers和cookies 尝试过好多次才成功(模拟登录),否则只能抓免费课程3文件树如下│ jike.json 存储json文件│ run.py ...
阅读全文
posted @ 2015-09-07 16:15 yinsolence
阅读(1397)
评论(1)
推荐(0)
2016年3月3日
gulp系列:自动构建及刷新浏览器
摘要: 2016年3月3日 14:50:15 晴 gulp = require('gulp')#删除 1、清空目录 常用插件 gulp-clean 、del (nodejs模块)del = require('del')#2、文件复制 原生模块gulp,插件:gulp-cpoy#3、JS压缩 插件:gulp-uglifyuglify = require('gulp-uglify')#4、CSS压缩...
阅读全文
posted @ 2016-03-03 14:51 yinsolence
阅读(384)
评论(0)
推荐(0)
gulp系列:简单实践
摘要: coffescript测试源码 gulp = require('gulp') #删除 1、清空目录 常用插件 gulp-clean 、del (nodejs模块) del = require('del') #2、文件复制 原生模块gulp,插件:gulp-cpoy #3、JS压缩 插件:gulp-u
阅读全文
posted @ 2016-03-03 11:00 yinsolence
阅读(862)
评论(0)
推荐(0)
前端构建工具gulp介绍
摘要: 2016年3月3日 10:46:08 晴 前端构建工具gulpjs的使用介绍及技巧 gulpjs是一个前端构建工具,与gruntjs相比,gulpjs无需写一大堆繁杂的配置参数,API也非常简单,学习起来很容易,而且gulpjs使用的是nodejs中stream来读取和操作数据,其速度更快。如果你还
阅读全文
posted @ 2016-03-03 10:48 yinsolence
阅读(257)
评论(0)
推荐(0)
2016年1月18日
python爬取并下载麦子学院所有视频教程
摘要: 一、主要思路 二、文件说明 itemsscray字段 piplines.py存储数据库 setting.py scrapy配置 需要注意的是DEFAULT_REQUEST_HEADERS的设置,需要模拟登录 mz.py是主要爬虫 都是基本的爬虫功能,css+xpath+正则 start_urls =
阅读全文
posted @ 2016-01-18 19:47 yinsolence
阅读(4260)
评论(14)
推荐(1)
2015年12月12日
FastReport自定义数据源及ListView控件的使用
摘要: ##1、想批量生成一堆物资信息卡,效果如下图所示,fastreport可以一下全部生成,并且发现不用单独写东西,##2、发现FastReport官方给出的Demo.exe很友好,基本可以满足要求,想尝试修改tree树,直接加载自定义的报表,通过ILSpy查看Demo源码,发现tree的数据源是Dem...
阅读全文
posted @ 2015-12-12 16:09 yinsolence
阅读(3784)
评论(0)
推荐(0)
2015年9月9日
python简单爬虫定时推送同花顺直播及荐股至邮箱
摘要: 1、初衷:实践2、技术:python requests Template3、思路:根据直播页面获取评价最高的前十博主,定时爬行最新的消息和实战股票4、思路:python 编辑简单邮件html模板5、难点:邮件html模板的设计,还需要邮箱支持爬虫文件'''-- #coding:utf-8import...
阅读全文
posted @ 2015-09-09 17:56 yinsolence
阅读(1775)
评论(0)
推荐(0)
2015年9月8日
python scrapy+Mongodb爬取蜻蜓FM,酷我及懒人听书
摘要: 1、初衷:想在网上批量下载点听书、脱口秀之类,资源匮乏,大家可以一试 2、技术:wireshark scrapy jsonMonogoDB 3、思路:wireshark分析移动APP返回的各种连接分类、列表、下载地址等(json格式) 4、思路:scrapy解析json,并生成下载连接 5...
阅读全文
posted @ 2015-09-08 15:19 yinsolence
阅读(5415)
评论(6)
推荐(4)
2015年9月7日
python极客学院爬虫V1
摘要: 定向爬取极客学院视频,原本只有年费VIP只能下载,经过分析,只要找个免费体验VIP即可爬取所有视频 涉及的基本技术:python xpath 正则 com 通过python调用迅雷从组件,实现自动创建文件夹和自动添加批量下载任务,前提要成功安装迅雷和迅雷组件 思路:path路径爬取所有标签-》搜索页面所有该课程分类-》课程页面获取课程明细-》正则分析视频地址 极客学院的一直在改进,可能需要自己改
阅读全文
posted @ 2015-09-07 09:51 yinsolence
阅读(1554)
评论(4)
推荐(3)
公告