Baidu 인덱스 크롤러 기능 구현 방법

이번에는 바이두 인덱스 크롤러 기능을 구현하는 방법과 바이두 인덱스 크롤러 기능을 구현하기 위한 노트가 무엇인지 보여드리겠습니다. 다음은 실제 사례입니다.

이전에 다양한 주요 제조업체의 프런트엔드 크롤링 방지 기술을 소개한 상상력이 풍부한 기사를 읽은 적이 있지만 이 기사에서 말했듯이 100% 크롤링 방지 방법은 없습니다. 이 기사에서는 이러한 모든 프런트엔드를 우회하는 간단한 방법을 소개합니다. -크롤러 방지 조치를 종료합니다.

다음 코드는 Baidu Index를 예로 사용합니다. 코드는 Baidu Index 크롤러 노드 라이브러리에 패키징되었습니다. https://github.com/Coffcer/baidu-index-spider

참고: 크롤러를 남용하여 다른 사람에게 문제를 일으키지 마세요

Baidu Index의 크롤러 방지 전략

Baidu Index의 인터페이스를 관찰하세요. 지수 데이터는 특정 날짜에 마우스를 올리면 두 개의 요청이 실행되고 결과가 부동 상자에 표시됩니다

Baidu Index는 실제로 프런트 엔드에서 특정 크롤러 방지 전략을 구현한 것으로 나타났습니다. 차트 위로 마우스를 이동하면 두 개의 요청이 트리거되고, 한 요청은 html 조각을 반환하고, 한 요청은 생성된 이미지를 반환합니다. HTML에는 실제 값이 포함되어 있지 않지만 너비 및 margin-left를 설정하여 이미지에 해당 문자를 표시합니다. 게다가 요청 매개변수에는 res, res1 등 시뮬레이션 방법을 알 수 없는 매개변수가 포함되어 있어 기존의 시뮬레이션 요청이나 HTML 크롤링 방법을 사용하여 Baidu Index 데이터를 크롤링하기가 어렵습니다.

크롤러 아이디어

Baidu의 안티 크롤러 방법을 돌파하는 방법은 실제로 매우 간단합니다. 단지 안티 크롤러 방법에 대해서는 신경 쓰지 마세요. 사용자 작업을 시뮬레이션하고, 필요한 값을 스크린샷하고, 이미지 인식만 하면 됩니다. 단계는 대략 다음과 같습니다.

1. 시뮬레이션 로그인

2. 색인 페이지 열기

3. 지정한 날짜로 마우스를 이동하세요

4. 요청이 끝날 때까지 기다렸다가 사진의 숫자 부분을 캡처하세요

5. 이미지 인식은 가치를 얻습니다

6. 3~5단계를 반복하여 각 날짜에 해당하는 값을 가져옵니다

이 방법은 이론적으로 모든 웹사이트의 콘텐츠를 크롤링할 수 있습니다. 다음으로 크롤러를 단계별로 구현하겠습니다.

1. puppeteer 브라우저 작동 시뮬레이션

2. node-tesseract 이미지 인식에 사용되는 tesseract 패키지

3. jimp 이미지 자르기

Puppeteer 설치 및 사용자 작업 시뮬레이션

Puppeteer는 Chrome 실행 명령을 제어하는 ​​데 사용되는 Google Chrome 팀에서 제작한 Chrome 자동화 도구입니다. 사용자 작업을 시뮬레이션하고 자동화된 테스트, 크롤러 등을 수행할 수 있습니다. 사용법은 매우 간단합니다. 이 글을 읽고 나면 사용법을 알 수 있을 것입니다.

API 문서: https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md

설치:

npm install --save puppeteer

Puppeteer는 설치 중에 Chromium을 자동으로 다운로드하여 제대로 실행되는지 확인합니다. 하지만 국내 네트워크에서는 Chromium을 성공적으로 다운로드하지 못할 수 있습니다. 다운로드에 실패하면 cnpm을 사용하여 설치하거나 다운로드 주소를 Taobao 미러로 변경한 후 설치할 수 있습니다.

npm config set PUPPETEER_DOWNLOAD_HOST=https://npm.taobao.org/mirrors
npm install --save puppeteer

설치 중에 Chromium 다운로드를 건너뛰고 코드를 통해 기본 Chrome 경로를 지정하여 실행할 수도 있습니다:

// npm
npm install --save puppeteer --ignore-scripts
// node
puppeteer.launch({ executablePath: '/path/to/Chrome' });

달성됨

레이아웃을 깔끔하게 유지하기 위해 아래에는 주요 부분만 나열되어 있습니다. 선택기와 관련된 코드 부분은 다음과 같이 대체됩니다. 전체 코드는 기사 상단의 github 저장소를 참조하세요.

Baidu Index 페이지를 열고 로그인 시뮬레이션

여기에서 수행되는 작업은 사용자 작업, 클릭 및 입력을 단계별로 시뮬레이션하는 것입니다. 로그인 인증 코드를 처리할 필요가 없습니다. 인증 코드 처리는 로컬에서 Baidu에 로그인한 경우 일반적으로 인증 코드가 필요하지 않습니다.

rreee

마우스 이동을 시뮬레이션하고 필요한 데이터를 얻습니다

需要将页面滚动到趋势图的区域，然后移动鼠标到某个日期上，等待请求结束，tooltip显示数值，再截图保存图片。

// 获取chart第一天的坐标
const position = await page.evaluate(() => {
 const $image = document.querySelector('...');
 const $area = document.querySelector('...');
 const areaRect = $area.getBoundingClientRect();
 const imageRect = $image.getBoundingClientRect();
 // 滚动到图表可视化区域
 window.scrollBy(0, areaRect.top);
 return { x: imageRect.x, y: 200 }；
});
// 移动鼠标，触发tooltip
await page.mouse.move(position.x, position.y);
await page.waitForSelector('...');
// 获取tooltip信息
const tooltipInfo = await page.evaluate(() => {
 const $tooltip = document.querySelector('...');
 const $title = $tooltip.querySelector('...');
 const $value = $tooltip.querySelector('...');
 const valueRect = $value.getBoundingClientRect();
 const padding = 5;
 return {
 title: $title.textContent.split(' ')[0],
 x: valueRect.x - padding,
 y: valueRect.y,
 width: valueRect.width + padding * 2,
 height: valueRect.height
 }
});

截图

计算数值的坐标，截图并用jimp对裁剪图片。

await page.screenshot({ path: imgPath });
// 对图片进行裁剪，只保留数字部分
const img = await jimp.read(imgPath);
await img.crop(tooltipInfo.x, tooltipInfo.y, tooltipInfo.width, tooltipInfo.height);
// 将图片放大一些，识别准确率会有提升
await img.scale(5);
await img.write(imgPath);

图像识别

这里我们用Tesseract来做图像识别，Tesseracts是Google开源的一款OCR工具，用来识别图片中的文字，并且可以通过训练提高准确率。github上已经有一个简单的node封装： node-tesseract ，需要你先安装Tesseract并设置到环境变量。

Tesseract.process(imgPath, (err, val) => {
if (err || val == null) {
 console.error(':x: 识别失败：' + imgPath);
 return;
}
console.log(val);

实际上未经训练的Tesseracts识别起来会有少数几个错误，比如把9开头的数字识别成`3，这里需要通过训练去提升Tesseracts的准确率，如果识别过程出现的问题都是一样的，也可以简单通过正则去修复这些问题。

封装

实现了以上几点后，只需组合起来就可以封装成一个百度指数爬虫node库。当然还有许多优化的方法，比如批量爬取，指定天数爬取等，只要在这个基础上实现都不难了。

const recognition = require('./src/recognition');
const Spider = require('./src/spider');
module.exports = {
 async run (word, options, puppeteerOptions = { headless: true }) {
 const spider = new Spider({ 
 imgDir, 
 ...options 
 }, puppeteerOptions);
 // 抓取数据
 await spider.run(word);
 // 读取抓取到的截图，做图像识别
 const wordDir = path.resolve(imgDir, word);
 const imgNames = fs.readdirSync(wordDir);
 const result = [];
 imgNames = imgNames.filter(item => path.extname(item) === '.png');
 for (let i = 0; i <p style="text-align: left;">
	<strong>反爬虫</strong></p><p style="text-align: left;">
	最后，如何抵挡这种爬虫呢，个人认为通过判断鼠标移动轨迹可能是一种方法。当然前端没有100%的反爬虫手段，我们能做的只是给爬虫增加一点难度。</p><p>相信看了本文案例你已经掌握了方法，更多精彩请关注php中文网其它相关文章！</p><p>推荐阅读：</p><p><a href="http://www.php.cn/js-tutorial-392313.html" target="_blank">easyui日期时间框在IE中的兼容性如何处理</a><br></p><p><a href="http://www.php.cn/js-tutorial-392309.html" target="_blank">vue判断input输入内容有否有空格</a><br></p><!--content end-->

위 내용은 Baidu 인덱스 크롤러 기능 구현 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!