尝试使用Node爬取页面内容

前情概要

由于我主职是Java开发，所以在之前开发的菜谱小程序中使用springboot+jsoup实现了菜谱数据的爬取，但是这样上线的小程序就必须依赖于我自己的服务器，万一哪天我囊中羞涩不续费我的小服务器了那不是小程序也终结了？所以我选择使用微信小程序的云开发重构它，这样可以让它一直运行着，毕竟免费的限额以我这个小程序还不至于超出去的，但是云开发使用的是node，所以经过查资料和写demo做了一个简单的测试分享出来。希望对大家有帮助。

正式介绍

我采用的是node+cheerio，cheerio主要就是用来进行解析html，起始它和jsoup的使用方法类似，都是类似jQuery的样式选择器语法，所以使用起来很方便。
代码地址：https://gitee.com/hlovez/node-reptile.git

拉取代码后启动程序

git clone https://gitee.com/hlovez/node-reptile.git

cd node-reptile

npm start

运行demo后访问http://localhost:3000后会出现一个简单的页面共大家测试效果，如下图：

我这里提供了5个测试接口：

• 测试接口
• 获取每日三餐接口
• 获取首页不同类型推荐列表
• 查询菜谱接口
• 查询指定菜谱详情接口

具体每个接口可点击超链接查看内容，效果如下：

具体使用方法可以查看index.js这个文件里的内容。爬取其他数据也是类似这样的逻辑。

https://gitee.com/hlovez/node-reptile.git