简介一般批量爬取视频或者图片的套路是，使用爬虫获得文件链接集合，然后通过 writefile 等方法逐个保存文件。然而，头条的视频，在需要爬取的 html 文件（服务端渲染输出）中，无法捕捉视频链接。视频链接是页面在客户端渲染时，通过某些 js 文件内的算法或者解密方法，根据视频的已知 key 或者 hash 值，动态计算出来并添加到 video 标签的。这也是网站的一种反爬措施。
我们在浏览这些页面时，通过审核元素，可以看到计算后的文件地址。然而在批量下载时，逐个手动的获取视频链接显然不可取。开心的是，puppeteer 提供了模拟访问 chrome 的功能，使我们可以爬取经过浏览器渲染出来的最终页面。
项目启动命令npm inpm start
notice: 安装 puppeteer 的过程稍慢，耐心等待。
配置文件// 配置相关module.exports = { originpath: 'https://www.ixigua.com', // 页面请求地址 savepath: 'd:/videozz' // 存放路径}
技术点puppeteer官方api
puppeteer 提供一个高级 api 来控制 chrome 或者 chromium。
puppeteer 主要作用：
利用网页生成 pdf、图片
爬取spa应用，并生成预渲染内容（即“ssr” 服务端渲染）
可以从网站抓取内容
自动化表单提交、ui测试、键盘输入等
使用到的 api：
puppeteer.launch() 启动浏览器实例
browser.newpage() 创建一个新页面
page.goto() 进入指定网页
page.screenshot() 截图
page.waitfor() 页面等待，可以是时间、某个元素、某个函数
page.$eval() 获取一个指定元素，相当于 document.queryselector
page.$$eval() 获取某类元素，相当于 document.queryselectorall
page.$('#id .classname') 获取文档中的某个元素，操作类似jquery
代码示例
const puppeteer = require('puppeteer'); (async () => { const browser = await puppeteer.launch(); const page = await browser.newpage(); await page.goto('https://example.com'); await page.screenshot({path: 'example.png'}); await browser.close();})();
视频文件下载方法下载视频主方法
const downloadvideo = async video => { // 判断视频文件是否已经下载 if (!fs.existssync(`${config.savepath}/${video.title}.mp4`)) { await getvideodata(video.src, 'binary').then(filedata => { console.log('下载视频中：', video.title) savefiletopath(video.title, filedata).then(res => console.log(`${res}: ${video.title}`) ) }) } else { console.log(`视频文件已存在：${video.title}`) }}
获取视频数据
getvideodata (url, encoding) { return new promise((resolve, reject) => { let req = http.get(url, function (res) { let result = '' encoding && res.setencoding(encoding) res.on('data', function (d) { result += d }) res.on('end', function () { resolve(result) }) res.on('error', function (e) { reject(e) }) }) req.end() })}
将视频数据保存到本地
savefiletopath (filename, filedata) { let filefullname = `${config.savepath}/${filename}.mp4` return new promise((resolve, reject) => { fs.writefile(filefullname, filedata, 'binary', function (err) { if (err) { console.log('savefiletopath error:', err) } resolve('已下载') }) })}
目标网站：西瓜视频
项目功能：下载头条号【维辰财经】下的最新20个视频
项目地址：github 地址
以上就是node如何实现批量爬取头条视频并保存（代码实现）的详细内容。