Bright Data 도구

Bright Data 도구 (Bright Data Tools)

CrewAI가 제공하는 Bright Data 통합 도구 모음이에요. SERP 검색, Web Unlocker(차단 우회), Dataset API 통합을 통해 규모 있고 차단되기 쉬운 웹 데이터에 신뢰할 수 있게 접근할 수 있게 해줍니다.

출처: 문서

본문

이 도구 세트는 웹 추출을 위해 Bright Data 서비스를 통합합니다.

설치 (Installation)

uv add crewai-tools requests aiohttp

환경변수 (Environment Variables)

  • BRIGHT_DATA_API_KEY (required)
  • BRIGHT_DATA_ZONE (SERP/Web Unlocker용)

자격 증명은 https://brightdata.com/에서 만들 수 있어요 (가입 후 API 토큰과 zone 생성). 문서: https://developers.brightdata.com/

포함된 도구 (Included Tools)

  • BrightDataSearchTool: geo/언어/기기 옵션을 지원하는 SERP 검색 (Google/Bing/Yandex).
  • BrightDataWebUnlockerTool: 안티봇 우회와 렌더링으로 페이지 스크래핑.
  • BrightDataDatasetTool: Dataset API 작업을 실행하고 결과를 가져오기.

예시 (Examples)

SERP 검색

from crewai_tools import BrightDataSearchTool

tool = BrightDataSearchTool(
    query="CrewAI",
    country="us",
)

print(tool.run())

Web Unlocker

from crewai_tools import BrightDataWebUnlockerTool

tool = BrightDataWebUnlockerTool(
    url="https://example.com",
    format="markdown",
)

print(tool.run(url="https://example.com"))

Dataset API

from crewai_tools import BrightDataDatasetTool

tool = BrightDataDatasetTool(
    dataset_type="ecommerce",
    url="https://example.com/product",
)

print(tool.run())

문제 해결 (Troubleshooting)

  • 401/403: BRIGHT_DATA_API_KEY와 BRIGHT_DATA_ZONE을 확인하세요.
  • 빈 콘텐츠/차단됨: 렌더링을 활성화하거나 다른 zone을 시도하세요.

예시 (Example)

from crewai import Agent, Task, Crew
from crewai_tools import BrightDataSearchTool

tool = BrightDataSearchTool(
    query="CrewAI",
    country="us",
)

agent = Agent(
    role="Web Researcher",
    goal="Search with Bright Data",
    backstory="Finds reliable results",
    tools=[tool],
    verbose=True,
)

task = Task(
    description="Search for CrewAI and summarize top results",
    expected_output="Short summary with links",
    agent=agent,
)

crew = Crew(
    agents=[agent],
    tasks=[task],
    verbose=True,
)

result = crew.kickoff()

더 알아보기 (Learn more)