使用Node拉取豆瓣高分记录片top20，本地保存为json文件

目标网站

https://movie.douban.com/tag/#/?sort=S&range=0,10&tags=%E7%BA%AA%E5%BD%95%E7%89%87

目标数据

代码展示（index.js）

const fs=require('fs');
const https=require('https'); 
//获取高分纪录片top20
const getDouban=function(){
    const category='纪录片'
    const req = https.get(`https://movie.douban.com/j/new_search_subjects?sort=S&range=0,100&tags=${encodeURI(category)}&start=0`, (res) => {
            res.setEncoding('utf8');  
            let Data=''
            res.on('data', (d) => {
                Data += d;
            }).on('end',()=>{
                fs.writeFile(`./douban.json`,Data,  res=> {
                console.log('douban.json生成成功')
                });
            })
        });
    req.on('error', (e) => {
        console.error(e);
    })

    req.end();
} 

getDouban();

 

使用

终端：node index.js

如果你想获取其他的可以将category修改掉，如果想获取top100,或者更多，可以设置定时器定时请求，在文件流中追加，很简单