摘要：
爬取滚动加载页面数据nodejs+puppeteer之前有写一篇爬取普通网站的数据nodejs爬虫 爬取爱奇艺 node + cheerio 爬取滚动加载页面地址 https://blog.csdn.net/qq_43017024/article/details/118786153 但是遇到有反爬策 阅读全文
posted @ 2021-07-26 17:40
mingruqi
阅读(727)
评论(0)
推荐(0)
摘要：
nightmare是PhantomJS的高级封装，让你能够实现浏览器自动化任务。PhantomJS 是一个基于WebKit的服务器端 JavaScript API。它全面支持web而不需浏览器支持，其快速，原生支持各种Web标准： DOM 处理, CSS 选择器, JSON, Canvas, 和 S 阅读全文
posted @ 2021-07-26 17:39
mingruqi
阅读(490)
评论(0)
推荐(0)
摘要：
抓取网站截图 很多网页特别长，直接的电脑截图非常麻烦，用ps等工具也非常麻烦，所以很多人都问我有木有自动抓出截图的软件 Node.js里是有的 推荐pageres 首先全局安装 $ PHANTOMJS_CDNURL=https://npm.taobao.org/dist/phantomjs npm 阅读全文
posted @ 2021-07-26 17:38
mingruqi
阅读(421)
评论(0)
推荐(0)
摘要：
做 IM 屏幕截图是少不了的，之前 windows 版本是调用的 qq 输入法的截图功能，这个版本又再次尝试自己实现发现是可以的，getusermedia 的权限很高，代码如下 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN 阅读全文
posted @ 2021-07-26 17:36
mingruqi
阅读(168)
评论(0)
推荐(0)
摘要：
node-webkit简称nwjs:开源地址 https://github.com/nwjs/nw.js 参考博客 https://www.cnblogs.com/soaringEveryday/p/4950088.html 用node-webkit(NW.js)创建桌面程序 以往写windows桌 阅读全文
posted @ 2021-07-26 17:36
mingruqi
阅读(622)
评论(0)
推荐(0)
摘要：
最近在研究爬虫，所以用自己熟悉的node简单写了一个。 开始用的是phantomjs来获取HTML，但是看了文档之后发现很久没有维护了，所以就放弃了。 后来寻寻觅觅发现了 Puppeteer，看了下是Google开发的，所以果断上手试了试，感觉比phantom不知道高到哪里去了。 B话少说，直接贴项 阅读全文
posted @ 2021-07-26 17:35
mingruqi
阅读(2030)
评论(0)
推荐(0)
摘要：
目标： 解决页面加载更多问题。笔记三中，我们只爬取到网页的部分信息，而点击加载更多后的页面内容是没有提取到的。开始我的想法是找到加载更多的数据接口（可参照：http://www.jianshu.com/p/3fdb6ab47aef），但是我又发现一个问题，当我打开一个订阅号页面时，找到数据接口如下图 阅读全文
posted @ 2021-07-26 17:35
mingruqi
阅读(433)
评论(0)
推荐(0)
浙公网安备 33010602011771号