Aya Vision
Aya Vision은 언어·텍스트·이미지 능력의 핵심 벤치마크에서 뛰어난 성능을 보여주는 최첨단 멀티모달 다국어 모델이에요. 23개 언어에 대한 깊은 역량을 제공합니다.
출처: 문서
본문
Aya Vision은 언어, 텍스트, 이미지 능력에 대한 핵심 벤치마크에서 뛰어난 성능을 보여주는 최첨단(state-of-the-art) 멀티모달이자 대규모 다국어 언어 모델이에요. Aya Expanse 모델 패밀리의 자연스러운 확장판으로, Aya Vision은 23개 언어에서 깊은 역량을 제공하며 사람과 지역 사이의 기술적·소통적 격차를 해소하는 데 도움을 줍니다.
다국어 및 멀티모달 소통의 기반으로 구축된 Aya Vision은 이미지 캡셔닝(image captioning), 시각 질의응답(visual question answering), 텍스트 생성, 텍스트와 이미지를 일관된 텍스트로 번역하는 작업 등을 지원해요.
모델 세부 정보(Model Details)
| 모델 이름(Model Name) | 설명(Description) | 모달리티(Modality) | 컨텍스트 길이(Context Length) | 최대 출력 토큰(Maximum Output Tokens) | 엔드포인트(Endpoints) |
|---|---|---|---|---|---|
c4ai-aya-vision-32b |
Aya Vision은 언어, 텍스트, 이미지 능력에 대한 다양한 핵심 벤치마크에서 뛰어난 최첨단 멀티모달 모델이에요. 23개 언어를 지원합니다. 이 320억(32 billion) 파라미터 변형은 최첨단 다국어 성능에 초점을 맞춥니다. | 텍스트, 이미지 | 16k | 4k | Chat |
멀티모달 능력(Multimodal Capabilities)
Aya Vision의 멀티모달 능력 덕분에 텍스트와 이미지 입력 등 서로 다른 미디어 유형에 걸친 콘텐츠를 이해할 수 있어요. 문화, 지역, 사람을 통합하도록 설계된 Aya Vision은 23개 서로 다른 언어에서 최고 수준의 성능에 최적화되어 있습니다. 이미지 캡셔닝 능력으로 이미지에 대한 설명적인 캡션을 생성하고, 이미지를 동적으로 해석해 이미지에 관한 다양한 질문에 답할 수 있어요. 마찬가지로 Aya Vision은 서면이든 이미지 기반이든 이러한 자료에 대한 질의응답과 번역을 지원하며, 소통과 협업의 격차를 잇는 기반을 마련합니다.
Aya Expanse와 마찬가지로 Aya Vision은 23개 언어에 매우 능숙해서, 다국어 프로젝트에 종사하는 연구자, 학자, 개발자에게 유용한 도구가 됩니다.
Aya 모델에는 어떻게 접근할 수 있나요?
Aya를 테스트하고 싶다면 세 가지 옵션이 있어요. 첫째로(그리고 가장 간단하게) Cohere 플레이그라운드나 Hugging Face Space에서 직접 가지고 놀며 어떤 능력을 갖췄는지 확인해볼 수 있습니다.
둘째로, Cohere Chat API를 사용해 Aya를 프로그래밍 방식으로 다룰 수 있어요. 다음은 Cohere SDK를 사용해 Aya Vision이 이미지 내용을 설명하게 하는 아주 가벼운 예제입니다. Cohere SDK를 아직 설치하지 않았다면 pip install cohere로 설치할 수 있어요.
PYTHON
import cohere
import base64
import os
def generate_text(image_path, message):
model = "c4ai-aya-vision-32b"
co = cohere.ClientV2("<YOUR_API_KEY>")
with open(image_path, "rb") as img_file:
base64_image_url = f"data:image/jpeg;base64,{base64.b64encode(img_file.read()).decode('utf-8')}"
response = co.chat(
model=model,
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": message},
{
"type": "image_url",
"image_url": {"url": base64_image_url},
},
],
}
],
temperature=0.3,
)
print(response.message.content[0].text)
Aya Vision에 넣어볼 수 있는 이미지는 이런 형태예요:
그리고 generate_text(image_path, "What items are in the wall of this room?")를 실행했을 때 얻을 수 있는 예제 출력은 다음과 같아요.
(기억하세요: 이 모델들은 확률적(stochastic)이라, 실제로 보게 되는 결과는 꽤 다르게 보일 수 있어요.)
The wall in this room showcases a collection of musical instruments and related items, creating a unique and personalized atmosphere. Here's a breakdown of the items featured:
1. **Guitar Wall Mount**: The centerpiece of the wall is a collection of guitars mounted on a wall. There are three main guitars visible:
- A blue electric guitar with a distinctive design.
- An acoustic guitar with a turquoise color and a unique shape.
- A red electric guitar with a sleek design.
2. **Ukulele Display**: Above the guitars, there is a display featuring a ukulele and its case. The ukulele has a traditional wooden body and a colorful design.
3. **Artwork and Posters**:
- A framed poster or artwork depicting a scene from *The Matrix*, featuring the iconic green pill and red pill.
- A framed picture or album artwork of *Fleetwood Mac McDonald*, including *Rumours*, *Tusk*, and *Dreams*.
- A framed image of the *Dark Side of the Moon* album cover by Pink Floyd.
- A framed poster or artwork of *Star Wars* featuring *R2-D2* (Robotic Man).
4. **Album Collection**: Along the floor, there is a collection of vinyl records or album artwork displayed on a carpeted area. Some notable albums include:
- *Dark Side of the Moon* by Pink Floyd.
- *The Beatles* (White Album).
- *Abbey Road* by The Beatles.
- *Nevermind* by Nirvana.
5. **Lighting and Accessories**:
- A blue lamp with a distinctive design, possibly serving as a floor lamp.
- A small table lamp with a warm-toned shade.
마지막으로, Cohere Labs가 Aya Vision을 오픈웨이트(open-weight) 모델로 HuggingFace에 공개했기 때문에 연구 목적으로 원본 모델을 직접 다운로드할 수도 있어요. 또한 다국어 모델의 진전을 측정하기 위한 새로운 가치 있는 평가 세트인 Aya Vision Benchmark도 공개했어요.
더 찾아보기(Find More)
여러분이 Aya Vision의 가능성에 대해 우리만큼이나 흥분하시길 바랍니다! 더 실질적인 프로젝트를 보고 싶다면 다음 노트북들을 확인해볼 수 있어요: