OpenAI 크롤러 개요
OpenAI 크롤러 개요
OpenAI가 제품을 위해 사용하는 웹 크롤러("robots")와 사용자 에이전트에 대한 개요예요. OAI-SearchBot, GPTBot, OAI-AdsBot, ChatGPT-User 각각의 역할과 robots.txt 설정 방법을 다룬답니다.
출처: 문서
본문
OpenAI는 제품을 위해 자동으로 또는 사용자 요청에 의해 웹 크롤러("robots")와 사용자 에이전트를 사용해 작업을 수행해요. OpenAI는 웹마스터가 자신의 사이트와 콘텐츠가 AI와 함께 어떻게 작동할지 관리할 수 있도록 OAI-SearchBot과 GPTBot robots.txt 태그를 제공해요. 각 설정은 서로 독립적이에요. 예를 들어 웹마스터는 검색 결과에 나타나도록 OAI-SearchBot은 허용하면서, 크롤링된 콘텐츠가 OpenAI 생성형 AI 기반 모델 학습에 사용되지 않아야 한다는 뜻으로 GPTBot은 차단할 수 있어요. 사이트에서 두 봇을 모두 허용했다면, 중복 크롤링을 피하기 위해 두 용도 모두에 단일 크롤의 결과를 사용할 수 있어요. 검색 결과의 경우, 사이트의 robots.txt 업데이트 후 우리 시스템이 조정되는 데 약 24시간이 걸릴 수 있다는 점을 유의하세요.
| 사용자 에이전트 | 설명 및 세부 사항 |
|---|---|
| OAI-SearchBot | OAI-SearchBot은 검색용이에요. OAI-SearchBot은 ChatGPT의 검색 기능에서 검색 결과에 웹사이트를 노출하는 데 사용돼요. OAI-SearchBot을 제외(opt out)한 사이트는 ChatGPT 검색 답변에 표시되지 않지만, 내비게이션 링크로는 여전히 나타날 수 있어요. 사이트가 검색 결과에 나타나도록 하려면 사이트의 robots.txt 파일에서 OAI-SearchBot을 허용하고 아래 게시된 IP 범위의 요청을 허용할 것을 권장해요. |
예시 사용자 에이전트 문자열(버전 번호는 변경될 수 있음): Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
robots.txt 파일을 가져올 때는 추가 robots.txt 마커가 붙은 사용자 에이전트 문자열을 사용할 수 있어요. 이 마커는 사이트 소유자가 robots.txt 파일에 대한 요청을 다른 리소스에 대한 요청과 더 쉽게 구분할 수 있게 해주며, 특히 로그에 경로가 포함되지 않을 때 유용해요: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; robots.txt; +https://openai.com/searchbot
게시된 IP 주소: https://openai.com/searchbot.json
| OAI-AdsBot | OAI-AdsBot은 ChatGPT에 제출된 광고로 웹페이지의 안전성을 검증하는 데 사용돼요. 광고를 제출하면 OpenAI가 랜딩 페이지를 방문해 우리 정책을 준수하는지 확인할 수 있어요. 또한 랜딩 페이지의 콘텐츠를 사용해 광고를 사용자에게 보여주기에 가장 관련성 높은 시점을 결정할 수도 있어요. OAI-AdsBot은 광고로 제출된 페이지만 방문하며, OAI-AdsBot이 수집한 데이터는 생성형 AI 기반 모델 학습에 사용되지 않아요. |
전체 사용자 에이전트 문자열: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
게시된 IP 주소: https://openai.com/adsbot.json
| GPTBot | GPTBot은 생성형 AI 기반 모델을 더 유용하고 안전하게 만드는 데 사용돼요. 생성형 AI 기반 모델 학습에 사용될 수 있는 콘텐츠를 크롤링하는 데 쓰여요. GPTBot을 차단(disallow)하면 해당 사이트의 콘텐츠가 생성형 AI 기반 모델 학습에 사용되지 않아야 한다는 뜻이에요. |
예시 사용자 에이전트 문자열(버전 번호는 변경될 수 있음): Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
robots.txt 파일을 가져올 때는 로그에 경로가 포함되지 않는 경우 특히, 사이트 소유자가 해당 요청을 다른 리소스 요청과 구분할 수 있도록 사용자 에이전트 문자열에 robots.txt 마커를 추가할 수 있어요.
게시된 IP 주소: https://openai.com/gptbot.json
| ChatGPT-User | OpenAI는 ChatGPT와 Custom GPTs의 특정 사용자 작업에도 ChatGPT-User를 사용해요. 사용자가 ChatGPT 또는 CustomGPT에 질문하면 ChatGPT-User 에이전트로 웹페이지를 방문할 수 있어요. ChatGPT 사용자는 GPT Actions를 통해 외부 애플리케이션과 상호작용할 수도 있어요. ChatGPT-User는 자동 방식으로 웹을 크롤링하는 데 사용되지 않아요. 이러한 작업은 사용자가 시작한 것이므로 robots.txt 규칙이 적용되지 않을 수 있어요. ChatGPT-User는 콘텐츠가 Search에 나타날 수 있는지 판단하는 데 사용되지 않아요. Search 제외 및 자동 크롤링 관리를 위해서는 robots.txt에서 OAI-SearchBot을 사용하세요. |
전체 사용자 에이전트 문자열: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
게시된 IP 주소: https://openai.com/chatgpt-user.json
더 알아보기 (Learn more)
관련 문서: IP 주소(IP addresses) 가이드와 GPT Actions 소개를 참고하세요.