Crawlee 퀵 스타트 — 첫 크롤러 만들기
Crawlee 퀵 스타트 — 첫 크롤러 만들기
Crawlee 로 1~2분 안에 스크래핑을 시작할 수 있어요. 세 가지 크롤러 클래스 중 하나를 골라 바로 쓰면 돼요.
세 가지 크롤러
- CheerioCrawler: 순수 HTTP 크롤러. Cheerio 로 HTML 파싱,
got-scraping클라이언트로 크롤링. 매우 빠르지만 JS 렌더링 불가. - PuppeteerCrawler: 헤드리스 브라우저 크롤러. Chromium/Chrome 제어.
- PlaywrightCrawler: 더 강력한 브라우저 크롤러. Chrome·Firefox·WebKit 등 지원. 헤드리스 브라우저가 필요하면 Playwright 를 권장.
시작하기
npx crawlee create my-crawler
cd my-crawler && npm start
또는 기존 Node.js 프로젝트에:
npm install crawlee
예제 (CheerioCrawler)
import { CheerioCrawler, Dataset } from 'crawlee';
const crawler = new CheerioCrawler({
async requestHandler({ request, $, enqueueLinks, log }) {
const title = $('title').text();
log.info(`Title of ${request.loadedUrl} is '${title}'`);
await Dataset.pushData({ title, url: request.loadedUrl });
await enqueueLinks(); // 페이지의 링크를 큐에 추가
},
maxRequestsPerCrawl: 50,
});
await crawler.run(['https://crawlee.dev']);
저장 위치
결과는 ./storage/datasets/default/*.json 에 JSON 파일로 저장돼요. CRAWLEE_STORAGE_DIR 환경변수로 디렉토리를 바꿀 수 있어요.