Hyperbrowser Load 도구

Hyperbrowser Load 도구 (HyperbrowserLoadTool)

CrewAI의 HyperbrowserLoadTool은 Hyperbrowser를 사용해 웹 스크래핑과 크롤링을 수행하는 도구예요. Hyperbrowser는 헤드리스 브라우저를 실행·확장하는 플랫폼으로, 단일 페이지를 스크래핑하거나 전체 사이트를 크롤링해 적절히 포맷된 markdown 또는 HTML 콘텐츠를 반환합니다.

출처: 문서

본문

HyperbrowserLoadTool은 헤드리스 브라우저를 실행하고 확장하는 플랫폼인 Hyperbrowser를 사용해 웹 스크래핑과 크롤링을 가능하게 합니다. 이 도구로 단일 페이지를 스크래핑하거나 전체 사이트를 크롤링하고, 콘텐츠를 적절히 포맷된 markdown 또는 HTML로 반환할 수 있어요. 주요 기능:

즉시 확장성(Instant Scalability) — 인프라 걱정 없이 수백 개의 브라우저 세션을 몇 초 만에 생성
간단한 통합(Simple Integration) — Puppeteer, Playwright 같은 인기 도구와 원활하게 동작
강력한 API(Powerful APIs) — 어떤 사이트든 스크래핑/크롤링하기 쉬운 API
안티봇 우회(Bypass Anti-Bot Measures) — 내장 스텔스 모드, 광고 차단, 자동 CAPTCHA 해결, 회전 프록시

설치 (Installation)

이 도구를 사용하려면 Hyperbrowser SDK를 설치해야 합니다.

uv add hyperbrowser

시작하는 방법 (Steps to Get Started)

HyperbrowserLoadTool을 효과적으로 사용하려면 다음 단계를 따르세요.

가입: Hyperbrowser로 가서 가입하고 API 키를 생성하세요.
API 키: HYPERBROWSER_API_KEY 환경변수를 설정하거나 도구 생성자에 직접 전달하세요.
SDK 설치: 위 명령으로 Hyperbrowser SDK를 설치하세요.

예시 (Example)

다음 예시는 도구를 초기화하고 웹사이트를 스크래핑하는 방법을 보여줍니다.

from crewai_tools import HyperbrowserLoadTool
from crewai import Agent

# API 키로 도구 초기화
tool = HyperbrowserLoadTool(api_key="your_api_key")  # 또는 환경변수 사용

# 이 도구를 사용하는 에이전트 정의
@agent
def web_researcher(self) -> Agent:
    '''
    This agent uses the HyperbrowserLoadTool to scrape websites
    and extract information.
    '''
    return Agent(
        config=self.agents_config["web_researcher"],
        tools=[tool]
    )

파라미터 (Parameters)

HyperbrowserLoadTool은 다음 파라미터를 받습니다.

생성자 파라미터 (Constructor Parameters)

api_key: 선택. 사용자의 Hyperbrowser API 키. 제공하지 않으면 HYPERBROWSER_API_KEY 환경변수에서 읽습니다.

실행 파라미터 (Run Parameters)

url: 필수. 스크래핑하거나 크롤링할 웹사이트 URL.
operation: 선택. 웹사이트에서 수행할 작업. 'scrape' 또는 'crawl'. 기본값은 'scrape'.
params: 선택. 스크래핑 또는 크롤링 작업을 위한 추가 파라미터.

지원되는 파라미터 (Supported Parameters)

지원되는 모든 파라미터에 대한 자세한 내용은 다음을 참고하세요.

반환 형식 (Return Format)

이 도구는 다음 형식으로 콘텐츠를 반환합니다.

scrape 작업: markdown 또는 HTML 형식의 페이지 콘텐츠.
crawl 작업: 각 페이지의 URL을 포함하고 구분선으로 나뉜 각 페이지의 콘텐츠.

결론 (Conclusion)

HyperbrowserLoadTool은 웹사이트를 스크래핑·크롤링하는 강력한 방법을 제공하며, 안티봇 수단, CAPTCHA 등 복잡한 시나리오를 처리합니다. Hyperbrowser 플랫폼을 활용해 에이전트가 웹 콘텐츠에 효율적으로 접근하고 추출할 수 있게 해줘요.

Hyperbrowser Load 도구