🐫 보고서 및 지식 그래프 생성을 위한 CAMEL 롤플레잉 스크래퍼

🐫 보고서 및 지식 그래프 생성을 위한 CAMEL 롤플레잉 스크래퍼

CAMEL의 RAG와 Firecrawl을 결합해 웹 스크래핑, 다중 에이전트 롤플레잉 작업, 지식 그래프 구축을 수행하는 방법을 배우는 문서예요. Mistral의 모델로 2024 파리 올림픽 터키 사수에 대한 종합 연구를 수행하는 예시를 다룹니다.

출처: 문서

본문

이 노트북은 CAMEL의 RAG(검색 증강 생성)와 Firecrawl을 결합해 효율적인 웹 스크래핑, 다중 에이전트 롤플레잉 작업, 지식 그래프 구축을 설정하고 활용하는 방법을 보여줘요. Mistral의 모델로 2024 파리 올림픽의 터키 사수에 대한 종합 연구를 수행하는 예시를 살펴볼게요.

이 노트북에서 배울 내용:

• CAMEL: RAG와 다중 에이전트 롤플레잉 시나리오를 지원하는 강력한 다중 에이전트 프레임워크
• Mistral: 최첨단 언어 모델로, 외부 함수를 실행하는 도구 호출 능력과 강력한 임베딩을 제공해 의미 검색과 콘텐츠 검색에 사용
• Firecrawl: 다양한 웹 페이지에서 콘텐츠를 추출·정리하는 강력한 웹 스크래핑 도구
• AgentOps: CAMEL 에이전트의 실행을 추적·분석
• Qdrant: CAMEL의 AutoRetriever와 함께 사용되는 효율적인 벡터 스토리지 시스템
• Neo4j: 엔티티 간 복잡한 관계를 효율적으로 매핑·쿼리할 수 있게 하는 선도적인 그래프 DBMS
• DuckDuckGo Search: SearchToolkit 내에서 웹에서 관련 URL과 정보를 수집하는 기본 검색 엔진
• Unstructured IO: 콘텐츠 청킹에 사용되어 비정형 데이터 관리를 용이하게 함

이 설정은 실용적인 애플리케이션을 보여줄 뿐 아니라, 고급 웹 정보 검색, AI 협업, 다중 소스 데이터 집계가 필요한 다양한 시나리오에 적용할 수 있는 유연한 프레임워크 역할을 해요.

⭐ Star the Repo

CAMEL이 유용하거나 흥미롭다면 [CAMEL GitHub Repo]에 스타를 주는 걸 고려해 주세요!

📦 설치 (Installation)

먼저 CAMEL 패키지를 모든 의존성과 함께 설치해요.

pip install camel-ai[all]==0.1.6.4

🔑 API 키 설정 (Setting Up API Keys)

Mistral AI, Firecrawl, AgentOps용 API 키를 설정해야 해요. 이렇게 하면 도구들이 외부 서비스와 안전하게 상호작용할 수 있어요. [여기]에서 AgentOps API 키를 무료로 얻을 수 있어요.

import os
from getpass import getpass

# Prompt for the AgentOps API key securely
agentops_api_key = getpass('Enter your API key: ')
os.environ["AGENTOPS_API_KEY"] = agentops_api_key

[여기]에서 무료 크레딧으로 Mistral AI API 키를 얻을 수 있어요.

# Prompt for the API key securely
mistral_api_key = getpass('Enter your API key: ')
os.environ["MISTRAL_API_KEY"] = mistral_api_key

CAMEL ModelFactory로 Mistral Large 2 모델을 설정해요. 필요에 따라 다른 모델도 구성할 수 있어요.

from camel.models import ModelFactory
from camel.types import ModelPlatformType, ModelType
from camel.configs import MistralConfig

# Set up model
mistral_large_2 = ModelFactory.create(
    model_platform=ModelPlatformType.MISTRAL,
    model_type=ModelType.MISTRAL_LARGE,
    model_config_dict=MistralConfig(temperature=0.2).as_dict(),
)

[여기]에서 무료 크레딧으로 Firecrawl API 키를 얻을 수 있어요.

# Prompt for the Firecrawl API key securely
firecrawl_api_key = getpass('Enter your API key: ')
os.environ["FIRECRAWL_API_KEY"] = firecrawl_api_key

🌐 Firecrawl로 웹 스크래핑 (Web Scraping with Firecrawl)

Firecrawl은 웹 페이지에서 콘텐츠를 스크래핑하고 정리하는 강력한 도구예요. 이 섹션에서는 CAMEL AI 웹사이트의 특정 포스트 콘텐츠를 예시로 스크래핑해요.

from camel.loaders import Firecrawl

firecrawl = Firecrawl()

# Scrape and clean content from a specified URL
response = firecrawl.tidy_scrape(
    url="https://www.camel-ai.org/post/crab"
)

print(response)

🎉 Firecrawl은 URL에서 깨끗하고 LLM 친화적인 콘텐츠를 쉽게 얻을 수 있게 해줘요!

🛠️ CAMEL의 RAG와 Firecrawl로 웹 정보 검색

이 섹션에서는 CAMEL의 RAG 모델로 URL 목록에서 관련 정보를 검색하는 방법을 보여드릴게요. 이는 여러 소스의 데이터를 집계·분석하는 데 특히 유용해요.

Firecrawl을 CAMEL의 RAG와 함께 설정

다음 함수는 주어진 쿼리를 기반으로 URL 목록에서 관련 정보를 검색해요. Firecrawl로 웹 스크래핑과 CAMEL의 AutoRetriever를 결합해 원활한 정보 검색 과정을 만듭니다.

from camel.retrievers import AutoRetriever
from camel.toolkits import OpenAIFunction, SearchToolkit
from camel.types import ModelPlatformType, ModelType, StorageType
from camel.embeddings import MistralEmbedding

def retrieve_information_from_urls(urls: list[str], query: str) -> str:
    r"""Retrieves relevant information from a list of URLs based on a given
    query.

    This function uses the `Firecrawl` tool to scrape content from the
    provided URLs and then uses the `AutoRetriever` from CAMEL to retrieve the
    most relevant information based on the query from the scraped content.

    Args:
        urls (list[str]): A list of URLs to scrape content from.
        query (str): The query string to search for relevant information.

    Returns:
        str: The most relevant information retrieved based on the query.

    Example:
        >>> urls = ["https://example.com/article1", "https://example.com/
        article2"]
        >>> query = "latest advancements in AI"
        >>> result = retrieve_information_from_urls(urls, query)
    """
    aggregated_content = ''

    # Scrape and aggregate content from each URL
    for url in urls:
        scraped_content = Firecrawl().tidy_scrape(url)
        aggregated_content += scraped_content

    # Set up a vector retriever with local storage and embedding model from Mistral AI
    auto_retriever = AutoRetriever(
        vector_storage_local_path="local_data",
        storage_type=StorageType.QDRANT,
        embedding_model=MistralEmbedding(),
    )

    # Retrieve the most relevant information based on the query
    # You can adjust the top_k and similarity_threshold value based on your needs
    retrieved_info = auto_retriever.run_vector_retriever(
        query=query,
        contents=aggregated_content,
        top_k=3,
        similarity_threshold=0.5,
    )

    return retrieved_info

검색 함수를 테스트해 볼게요. 2024 올림픽에 대한 정보를 수집해 보겠어요. 첫 실행은 로컬 벡터 데이터베이스를 구축해야 해서 약 50초가 걸릴 수 있어요.

retrieved_info = retrieve_information_from_urls(
    query="Which country won the most golden prize in 2024 Olympics?",
    urls=[
        "https://www.nbcnews.com/sports/olympics/united-states-china-gold-medals-rcna166013",
    ],
)

print(retrieved_info)

🎉 CAMEL의 RAG 파이프라인과 Firecrawl의 tidy 스크래핑 덕분에 이 함수는 지정된 URL에서 관련 정보를 효과적으로 검색해요! 이제 이 함수를 CAMEL 에이전트에 통합해 검색 과정을 더 자동화할 수 있어요.

📹 AgentOps로 AI 에이전트 모니터링 (Monitoring AI Agents with AgentOps)

import agentops
agentops.init(default_tags=["CAMEL cookbook"])

🧠 지식 그래프 구축 (Knowledge Graph Construction)

CAMEL의 강력한 기능 중 하나는 텍스트 데이터에서 지식 그래프를 구축·저장하는 능력이에요. 이는 데이터 내 관계의 고급 분석과 시각화를 가능하게 합니다.

Neo4j 인스턴스를 URL, 사용자 이름, 비밀번호로 설정해요. [여기]에 안내가 있고, 다운로드한 .txt 파일에서 자격 증명을 확인하세요. 방금 인스턴스를 설정했다면 최대 60초를 기다려야 할 수 있어요.

from camel.storages import Neo4jGraph
from camel.loaders import UnstructuredIO
from camel.agents import KnowledgeGraphAgent

def knowledge_graph_builder(text_input: str) -> None:
    r"""Build and store a knowledge graph from the provided text.

    This function processes the input text to create and extract nodes and relationships,
    which are then added to a Neo4j database as a knowledge graph.

    Args:
        text_input (str): The input text from which the knowledge graph is to be constructed.

    Returns:
        graph_elements: The generated graph element from knowlegde graph agent.
    """

    # Set Neo4j instance
    n4j = Neo4jGraph(
        url="Your_URI",
        username="Your_Username",
        password="Your_Password",
    )

    # Initialize instances
    uio = UnstructuredIO()
    kg_agent = KnowledgeGraphAgent(model=mistral_large_2)

    # Create an element from the provided text
    element_example = uio.create_element_from_text(text_input, element_id="001")

    # Extract nodes and relationships using the Knowledge Graph Agent
    graph_elements = kg_agent.run(element_example, parse_graph_elements=True)

    # Add the extracted graph elements to the Neo4j database
    n4j.add_graph_elements(graph_elements=[graph_elements])

    return graph_elements

🤖🤖 CAMEL로 다중 에이전트 롤플레잉 (Multi-Agent Role-Playing with CAMEL)

이 섹션은 AI 에이전트들이 다양한 도구를 사용해 작업을 수행하도록 상호작용하는 롤플레잉 세션을 설정해요. 어시스턴트 에이전트가 2024 파리 올림픽의 터키 사수에 대한 종합 연구를 수행하도록 안내할게요.

from typing import List

from colorama import Fore

from camel.agents.chat_agent import FunctionCallingRecord
from camel.societies import RolePlaying
from camel.utils import print_text_animated

작업 프롬프트 정의

task_prompt = """Do a comprehensive study of the Turkish shooter in 2024 paris
olympics, write a report for me, then create a knowledge graph for the report.
You should use search tool to get related URLs first, then use retrieval tool
to get the retrieved content back by providing the list of URLs, finially
use tool to build the knowledge graph to finish the task.
No more other actions needed"""

어시스턴트 에이전트를 수학 계산, 웹 정보 검색, 지식 그래프 구축용 도구로 구성해요.

retrieval_tool = OpenAIFunction(retrieve_information_from_urls)
search_tool = OpenAIFunction(SearchToolkit().search_duckduckgo)
knowledge_graph_tool = OpenAIFunction(knowledge_graph_builder)

tool_list = [
    retrieval_tool,
    search_tool,
    knowledge_graph_tool,
]

assistant_model_config = MistralConfig(
    tools=tool_list,
    temperature=0.0,
)

롤플레잉 세션 설정

# Initialize the role-playing session
role_play_session = RolePlaying(
    assistant_role_name="CAMEL Assistant",
    user_role_name="CAMEL User",
    assistant_agent_kwargs=dict(
        model=ModelFactory.create(
            model_platform=ModelPlatformType.MISTRAL,
            model_type=ModelType.MISTRAL_LARGE,
            model_config_dict=assistant_model_config.as_dict(),
        ),
        tools=tool_list,
    ),
    user_agent_kwargs=dict(model=mistral_large_2),
    task_prompt=task_prompt,
    with_task_specify=False,
)

시스템 메시지와 작업 프롬프트 출력

# Print system and task messages
print(
    Fore.GREEN
    + f"AI Assistant sys message:\n{role_play_session.assistant_sys_msg}\n"
)
print(Fore.BLUE + f"AI User sys message:\n{role_play_session.user_sys_msg}\n")

print(Fore.YELLOW + f"Original task prompt:\n{task_prompt}\n")
print(
    Fore.CYAN
    + "Specified task prompt:"
    + f"\n{role_play_session.specified_task_prompt}\n"
)
print(Fore.RED + f"Final task prompt:\n{role_play_session.task_prompt}\n")

종료 규칙 설정 및 에이전트 상호작용 시작

NOTE: 이 세션은 Mistral Large 2 모델로 약 8분이 걸리고 약 60k 토큰을 소비해요.

n = 0
input_msg = role_play_session.init_chat()
while n < 20: # Limit the chat to 20 turns
    n += 1
    assistant_response, user_response = role_play_session.step(input_msg)

    if assistant_response.terminated:
        print(
            Fore.GREEN
            + (
                "AI Assistant terminated. Reason: "
                f"{assistant_response.info['termination_reasons']}."
            )
        )
        break
    if user_response.terminated:
        print(
            Fore.GREEN
            + (
                "AI User terminated. "
                f"Reason: {user_response.info['termination_reasons']}."
            )
        )
        break
    # Print output from the user
    print_text_animated(
        Fore.BLUE + f"AI User:\n\n{user_response.msg.content}\n",
        0.01
    )

    if "CAMEL_TASK_DONE" in user_response.msg.content:
        break

    # Print output from the assistant, including any function
    # execution information
    print_text_animated(Fore.GREEN + "AI Assistant:", 0.01)
    tool_calls: List[FunctionCallingRecord] = [
        FunctionCallingRecord(**call.as_dict())
        for call in assistant_response.info['tool_calls']
    ]
    for func_record in tool_calls:
        print_text_animated(f"{func_record}", 0.01)
    print_text_animated(f"{assistant_response.msg.content}\n", 0.01)

    input_msg = assistant_response.msg

# End the AgentOps session
agentops.end_session("Success")

🎉 위에 표시된 AgentOps 링크로 가면 이번 실행에 대한 상세 기록을 볼 수 있어요. (참고: AgentOps 링크는 비공개이며 AgentOps 계정에 연결돼요. 링크에 접근하려면 자신의 AgentOps API 키로 세션을 실행해야 합니다. 현재 AgentOps는 Mistral AI의 실행 비용을 직접 가져올 수 없어요.)

🎉 [Neo4j Aura]에서 CAMEL 에이전트가 생성한 지식 그래프를 확인할 수도 있어요.

🌟 하이라이트 (Highlights)

이 노트북은 복잡한 다중 에이전트 롤플레잉 작업을 위한 CAMEL RAG 워크플로우를 Firecrawl과 함께 설정하고 실행하는 방법을 안내했어요. 이 예시는 고급 웹 정보 검색과 AI 협업이 필요한 다양한 다른 시나리오에도 적용·확장할 수 있어요.

주요 사용 도구:

• CAMEL: RAG와 다중 에이전트 롤플레잉 시나리오를 지원하는 강력한 다중 에이전트 프레임워크
• Mistral: 외부 함수를 실행하는 도구 호출 능력과 강력한 임베딩을 제공하는 최첨단 언어 모델
• Firecrawl: 웹 페이지에서 콘텐츠를 추출·정리하는 강력한 웹 스크래핑 도구
• AgentOps: CAMEL 에이전트의 실행 추적·분석
• Qdrant: CAMEL의 AutoRetriever와 함께 벡터 유사도 기반 관련 정보를 저장·검색하는 효율적인 벡터 스토리지 시스템
• Neo4j: 지식 그래프 구축·저장에 사용되는 선도적인 그래프 DBMS
• DuckDuckGo Search: SearchToolkit 내에서 초기 콘텐츠 검색의 기본 검색 엔진
• Unstructured IO: 비정형 데이터를 효율적으로 처리하기 위한 콘텐츠 청킹

CAMEL은 고급 GraphRAG도 지원해요. 자세한 내용은 [여기]를 확인하세요.

⭐ 스타는 힘이 됩니다! CAMEL이 유용하다고 생각되면 [GitHub]에 스타를 주는 걸 고려해 주세요.

더 알아보기 (Learn more)

• CAMEL-AI 문서
• CAMEL GraphRAG 소개
• Mistral Large 2 모델