Crawlee 소개 — 신뢰할 수 있는 크롤러를 빠르게

Crawlee 소개 — 신뢰할 수 있는 크롤러를 빠르게

Crawlee 는 크롤링과 스크래핑을 시작부터 끝까지(end-to-end) 커버하는 Node.js 라이브러리예요. 링크 크롤링, 데이터 추출, 지속 저장까지 손쉽게 제공하며, 기본 설정만으로 사람처럼 보여 봇 방어를 잘 피해가요.

주요 기능

HTTP와 헤드리스 브라우저 크롤링을 하나의 인터페이스로 제공.
크롤할 URL을 담는 영속 큐(breadth·depth first).
테이블 데이터와 파일을 저장하는 플러그형 스토리지.
시스템 자원에 따른 자동 스케일링.
통합 프록시 로테이션과 세션 관리.
훅으로 수명주기 커스터마이즈.
프로젝트 부트스트랩용 CLI.
라우팅·에러 처리·재시도 설정.

친 봇 방어 기능

제로 컨피그 HTTP2 지원(프록시 포함).
브라우저 같은 헤더 자동 생성.
브라우저 TLS 핑거프린트 재현.
Cheerio·JSDOM 통합 빠른 HTML 파서.

브라우저 지원

JS 렌더링·스크린샷.
헤드리스·헤드풀 모두 지원.
Playwright/Puppeteer 를 같은 인터페이스로 사용.
Chrome·Firefox·WebKit 등 지원.

시작 방법

npx crawlee create my-crawler

더 알아보기 (Learn more)

출처: Crawlee 공식 문서