Crawlee 소개 가이드 — 크롤러 이해하기
Crawlee 소개 가이드 — 크롤러 이해하기
Crawlee 는 크롤링과 스크래핑을 시작부터 끝까지 커버하고, 신뢰할 수 있는 스크래퍼를 빠르게 만들게 해 주는 라이브러리예요. 기본 설정만으로도 사람처럼 보여 현대적인 봇 보호를 잘 피해가요.
왜 Crawlee 일까
- 링크 크롤링, 데이터 스크래핑, 머신이 읽을 수 있는 형식으로의 영속 저장을 제공해요.
- 기술적 세부사항(프록시, 세션, 재시도)을 신경 쓰지 않아도 돼요.
- 상세 설정으로 거의 모든 측면을 조정할 수 있어요.
핵심 특징
- HTTP와 헤드리스 브라우저 크롤링의 단일 인터페이스.
- URL 을 위한 영속 큐.
- 테이블·파일 플러그형 스토리지.
- 자원 기반 자동 스케일링.
- 프록시 로테이션·세션 관리 통합.
사람처럼 보이게 하는 기능
- HTTP2 지원, 브라우저 같은 헤더 자동 생성.
- 브라우저 TLS 핑거프린트 재현.
- Cheerio·JSDOM 빠른 HTML 파서.
- JSON API 도 스크래핑 가능.
브라우저 기능
- JavaScript 렌더링·스크린샷.
- 헤드리스·헤드풀.
- Playwright/Puppeteer 를 같은 인터페이스로, Chrome·Firefox·WebKit 지원.
- 사람 같은 핑거프린트 자동 생성.
다음 단계
npx crawlee create my-crawler 로 프로젝트를 부트스트랩해요.