Spider 스크래퍼

Spider 스크래퍼 (SpiderTool)

CrewAI의 SpiderTool은 Spider를 사용하는 도구예요. Spider는 가장 빠른 오픈소스 스크래퍼·크롤러로, LLM-ready 데이터를 반환합니다. 어떤 웹사이트든 순수 HTML, markdown, 메타데이터 또는 텍스트로 변환하고, AI로 커스텀 액션을 사용한 크롤링도 지원해요.

출처: 문서

본문

Spider는 가장 빠른 오픈소스 스크래퍼·크롤러로, LLM-ready 데이터를 반환합니다. 어떤 웹사이트든 순수 HTML, markdown, 메타데이터 또는 텍스트로 변환하며, AI를 사용한 커스텀 액션으로 크롤링할 수도 있어요.

설치 (Installation)

SpiderTool을 사용하려면 Spider SDK와 crewai[tools] SDK를 모두 설치해야 합니다.

pip install spider-client 'crewai[tools]'

예시 (Example)

이 예시는 SpiderTool을 사용해 에이전트가 웹사이트를 스크래핑·크롤링하게 하는 방법을 보여줍니다. Spider API에서 반환되는 데이터는 이미 LLM-ready이므로 별도 정리가 필요 없어요.

from crewai_tools import SpiderTool

def main():
    spider_tool = SpiderTool()

    searcher = Agent(
        role="Web Research Expert",
        goal="Find related information from specific URL's",
        backstory="An expert web researcher that uses the web extremely well",
        tools=[spider_tool],
        verbose=True,
    )

    return_metadata = Task(
        description="Scrape https://spider.cloud with a limit of 1 and enable metadata",
        expected_output="Metadata and 10 word summary of spider.cloud",
        agent=searcher
    )

    crew = Crew(
        agents=[searcher],
        tasks=[
            return_metadata,
        ],
        verbose=2
    )

    crew.kickoff()

if __name__ == "__main__":
    main()

인자 (Arguments)

더 알아보기 (Learn more)

• 웹 스크래핑 도구 개요
• ScrapFly 도구