本篇文章主要介绍了node puppeteer图像识别实现百度指数爬虫的示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
之前看过一篇脑洞大开的文章，介绍了各个大厂的前端反爬虫技巧，但也正如此文所说，没有100%的反爬虫方法，本文介绍一种简单的方法，来绕过所有这些前端反爬虫手段。
下面的代码以百度指数为例，代码已经封装成一个百度指数爬虫node库： https://github.com/coffcer/baidu-index-spider
note: 请勿滥用爬虫给他人添麻烦
百度指数的反爬虫策略
观察百度指数的界面，指数数据是一个趋势图，当鼠标悬浮在某一天的时候，会触发两个请求，将结果显示在悬浮框里面：
按照常规思路，我们先看下这个请求的内容：
请求 1：
请求 2：
可以发现，百度指数实际上在前端做了一定的反爬虫策略。当鼠标移动到图表上时，会触发两个请求，一个请求返回一段html，一个请求返回一张生成的图片。html中并不包含实际数值，而是通过设置width和margin-left，来显示图片上的对应字符。并且请求参数上带有res、res1这种我们不知如何模拟的参数，所以用常规的模拟请求或者html爬取的方式，都很难爬到百度指数的数据。
爬虫思路
怎么突破百度这种反爬虫方法呢，其实也很简单，就是完全不去管他是如何反爬虫的。我们只需模拟用户操作，将需要的数值截图下来，做图像识别就行。步骤大概是：
模拟登录
打开指数页面
鼠标移动到指定日期
等待请求结束，截取数值部分的图片
图像识别得到值
循环第3～5步，就得到每一个日期对应的值
这种方法理论上能爬任何网站的内容，接下来我们来一步步实现爬虫，下面会用到的库：
puppeteer 模拟浏览器操作
node-tesseract tesseract的封装，用来做图像识别
jimp 图片裁剪
安装puppeteer, 模拟用户操作
puppeteer是google chrome团队出品的chrome自动化工具，用来控制chrome执行命令。可以模拟用户操作，做自动化测试、爬虫等。用法非常简单，网上有不少入门教程，顺着本文看完也大概可以知道如何使用。
api文档: https://github.com/googlechrome/puppeteer/blob/master/docs/api.md
安装：
npm install --save puppeteer
puppeteer在安装时会自动下载chromium，以确保可以正常运行。但是国内网络不一定能成功下载chromium，如果下载失败，可以使用cnpm来安装，或者将下载地址改成淘宝的镜像，然后再安装：
npm config set puppeteer_download_host=https://npm.taobao.org/mirrorsnpm install --save puppeteer
你也可以在安装时跳过chromium下载，通过代码指定本机chrome路径来运行：
// npmnpm install --save puppeteer --ignore-scripts// nodepuppeteer.launch({ executablepath: '/path/to/chrome' });
实现
为版面整洁，下面只列出了主要部分，代码涉及到selector的部分都用了...代替，完整代码参看文章顶部的github仓库。
打开百度指数页面，模拟登录
这里做的就是模拟用户操作，一步步点击和输入。没有处理登录验证码的情况，处理验证码又是另一个话题了，如果你在本机登录过百度，一般不需要验证码。
// 启动浏览器，// headless参数如果设置为true，puppeteer将在后台操作你chromium，换言之你将看不到浏览器的操作过程// 设为false则相反，会在你电脑上打开浏览器，显示浏览器每一操作。const browser = await puppeteer.launch({headless:false});const page = await browser.newpage();// 打开百度指数await page.goto(baidu_index_url);// 模拟登陆await page.click('...');await page.waitforselecto('...');// 输入百度账号密码然后登录await page.type('...','username');await page.type('...','password');await page.click('...');await page.waitfornavigation();console.log(':white_check_mark: 登录成功');
模拟移动鼠标，获取需要的数据
需要将页面滚动到趋势图的区域，然后移动鼠标到某个日期上，等待请求结束，tooltip显示数值，再截图保存图片。
// 获取chart第一天的坐标const position = await page.evaluate(() => { const $image = document.queryselector('...'); const $area = document.queryselector('...'); const arearect = $area.getboundingclientrect(); const imagerect = $image.getboundingclientrect(); // 滚动到图表可视化区域 window.scrollby(0, arearect.top); return { x: imagerect.x, y: 200 }；});// 移动鼠标，触发tooltipawait page.mouse.move(position.x, position.y);await page.waitforselector('...');// 获取tooltip信息const tooltipinfo = await page.evaluate(() => { const $tooltip = document.queryselector('...'); const $title = $tooltip.queryselector('...'); const $value = $tooltip.queryselector('...'); const valuerect = $value.getboundingclientrect(); const padding = 5; return { title: $title.textcontent.split(' ')[0], x: valuerect.x - padding, y: valuerect.y, width: valuerect.width + padding * 2, height: valuerect.height }});
截图
计算数值的坐标，截图并用jimp对裁剪图片。
await page.screenshot({ path: imgpath });// 对图片进行裁剪，只保留数字部分const img = await jimp.read(imgpath);await img.crop(tooltipinfo.x, tooltipinfo.y, tooltipinfo.width, tooltipinfo.height);// 将图片放大一些，识别准确率会有提升await img.scale(5);await img.write(imgpath);
图像识别
这里我们用tesseract来做图像识别，tesseracts是google开源的一款ocr工具，用来识别图片中的文字，并且可以通过训练提高准确率。github上已经有一个简单的node封装： node-tesseract ，需要你先安装tesseract并设置到环境变量。
tesseract.process(imgpath, (err, val) => {if (err || val == null) { console.error(':x: 识别失败：' + imgpath); return;}console.log(val);
实际上未经训练的tesseracts识别起来会有少数几个错误，比如把9开头的数字识别成`3，这里需要通过训练去提升tesseracts的准确率，如果识别过程出现的问题都是一样的，也可以简单通过正则去修复这些问题。
封装
实现了以上几点后，只需组合起来就可以封装成一个百度指数爬虫node库。当然还有许多优化的方法，比如批量爬取，指定天数爬取等，只要在这个基础上实现都不难了。
const recognition = require('./src/recognition');const spider = require('./src/spider');module.exports = { async run (word, options, puppeteeroptions = { headless: true }) { const spider = new spider({ imgdir, ...options }, puppeteeroptions); // 抓取数据 await spider.run(word); // 读取抓取到的截图，做图像识别 const worddir = path.resolve(imgdir, word); const imgnames = fs.readdirsync(worddir); const result = []; imgnames = imgnames.filter(item => path.extname(item) === '.png'); for (let i = 0; i < imgnames.length; i++) { const imgpath = path.resolve(worddir, imgnames[i]); const val = await recognition.run(imgpath); result.push(val); } return result; }}
反爬虫
最后，如何抵挡这种爬虫呢，个人认为通过判断鼠标移动轨迹可能是一种方法。当然前端没有100%的反爬虫手段，我们能做的只是给爬虫增加一点难度。
上面是我整理给大家的，希望今后会对大家有帮助。
相关文章：
在node.js中使用cheerio制作简单的网页爬虫（详细教程）
在vue中如何实现父组件向子组件传递多个数据
在react中使用native如何实现自定义下拉刷新上拉加载的列表
以上就是使用puppeteer图像识别技术如何实现百度指数爬虫的详细内容。