비디오 이해
비디오 이해
Gemini Robotics ER 2는 두 가지 기능을 사용해 연속 비디오 피드에서 작업 진행 상황을 추적할 수 있어요.
- 모멘트 찾기(Moment finding): 핵심 이벤트가 발생하는 정확한 타임스탬프를 식별해요.
- 진행 분류(Progress classification): 각 비디오를 다섯 개의 완료 구간(0–20%, 20–40%, 40–60%, 60–80%, 80–100%) 중 하나로 할당해요.
출처: 원문
본문
모멘트 찾기
모멘트 찾기는 컵이 가득 차는 순간이나 매듭이 묶이는 순간처럼 중요 이벤트가 발생하는 정확한 비디오 프레임을 식별해요. 로봇은 이것을 사용해 성공 여부를 확인하고, 단계를 순서대로 진행하며, 수정을 트리거해요.
다음 예시 프롬프트는 모델이 비디오에서 주어진 작업의 완료 모멘트를 식별하도록 요청해요.
from google import genai
client = genai.Client()
uploaded_file = client.files.upload(file="task_video.mp4")
prompt = """
At what timestamp (in seconds) does the task reach successful completion?
Return a JSON object: {"completion_time_seconds": <float>}.
If the task is not completed, return {"completion_time_seconds": null}.
"""
interaction = client.interactions.create(
model="gemini-robotics-er-2-preview",
input=[
{
"type": "video",
"uri": uploaded_file.uri,
"mime_type": uploaded_file.mime_type
},
{"type": "text", "text": prompt}
],
)
print(interaction.output_text)
다음은 모멘트 찾기 비디오의 예시 프레임으로, 모델이 작업 완료 타임스탬프를 식별한 것을 보여줘요.
진행 분류
진행 분류는 비디오를 완료 구간 0–20%, 20–40%, 40–60%, 60–80%, 80–100% 중 하나로 할당해요. 이렇게 하면 로봇이 전체 워크플로를 다시 시작하지 않고도 실시간 상황 인식을 얻어 동작을 조정하거나 실패한 단계를 다시 시도할 수 있어요.
다음 예시 프롬프트는 모델이 비디오에서 현재 진행 수준을 분류하도록 요청해요.
from google import genai
client = genai.Client()
uploaded_file = client.files.upload(file="task_video.mp4")
prompt = """
Watch this video and classify the task progress level at the final frame.
Return a JSON object with the progress bracket:
{"progress_level": "0-20" | "20-40" | "40-60" | "60-80" | "80-100"}.
"""
interaction = client.interactions.create(
model="gemini-robotics-er-2-preview",
input=[
{
"type": "video",
"uri": uploaded_file.uri,
"mime_type": uploaded_file.mime_type
},
{"type": "text", "text": prompt}
],
)
print(interaction.output_text)
다음은 진행 분류 비디오의 예시 프레임으로, 모델이 진행 구간을 할당한 것을 보여줘요.
예시
다단계 작업 추적을 포함한 완전한 실행 가능한 예시는 Robotics cookbook을 참조하세요.
다음 단계
- 로봇용 Live API — 실시간 양방향 스트리밍.
- 작업 오케스트레이션 — 공간 추론을 이용한 장기 작업.
- Gemini Robotics ER 개요 — 모델 비교 및 기능.