Firecrawl Crawl·Search — 사이트 전체 수집과 웹 검색

Firecrawl Crawl·Search

단일 페이지를 넘어, 사이트 전체를 수집하거나 웹을 검색하고 싶을 때 쓰는 엔드포인트를 볼게요.

Search — 웹 검색 + 전문

검색과 동시에 결과 페이지의 전체 콘텐츠를 한 번에 가져와요.

from firecrawl import Firecrawl

firecrawl = Firecrawl(
  # No API key needed to get started — add one for higher rate limits:
  # api_key="fc-YOUR-API-KEY",
)

results = firecrawl.search(
    query="firecrawl",
    limit=3,
)
print(results)

JavaScript API로는 firecrawl.search('firecrawl', { limit: 3, scrapeOptions: { formats: ['markdown'] } })처럼 쓸 수 있어요. cURL로는 POST https://api.firecrawl.dev/v2/search에 JSON 본문(query, limit)을 보내면 돼요.

Crawl — 사이트 전체 재귀 수집

POST /v2/crawl로 사이트의 모든 URL을 재귀적으로 수집해요. 문서·블로그·지식베이스 등 규모 있는 사이트를 통째로 가져올 때 씁니다.

  • POST Crawl — 크롤 시작
  • GET Get Crawl Status — 진행 상태 조회
  • POST Crawl Params Preview — 크롤 파라미터 미리보기
  • DEL Cancel Crawl — 크롤 취소
  • GET Get Crawl Errors — 오류 목록

비동기로 도는 크롤 특성상, 시작 후 상태 폴링으로 완료를 확인하는 흐름이에요.

관련 엔드포인트

API에 포함된 다른 엔드포인트도 참고해요.

  • Batch Scrape — POST Batch Scrape, 상태 조회·취소·오류 조회
  • Map — POST Map 사이트 URL 발견
  • Extract — POST Extract LLM 구조 추출, 상태 조회
  • Account — 크레딧·토큰 사용량 조회

더 알아보기