Crawl4AI — LLM용 오픈소스 웹 크롤러
Crawl4AI
Crawl4AI는 대형 언어 모델(LLM), AI 에이전트, 데이터 파이프라인에 맞춰 설계된 오픈소스 웹 크롤러·스크레이퍼예요. Playwright 기반 브라우저 자동화로 JavaScript 렌더링까지 처리하고, 모든 페이지를 깨끗한 LLM-ready Markdown으로 변환해 줘요. CSS/XPath 기반 전통적 추출과 LLM 기반 구조화 추출을 모두 지원해서, RAG 말뭉치 수집·에이전트 웹 검색·가격 모니터링 같은 일에 폭넓게 쓰여요.
이 카테고리의 문서
- 개요: Crawl4AI가 하는 일과 주요 기능
- 빠른 시작: 첫 크롤, Markdown 생성, 추출 전략
- 고급 기능: 프록시·PDF·스크린샷·세션 지속