OpenAI

OpenAI

OpenAI 모델 함수는 Flink SQL이 OpenAI API를 호출해 추론 작업을 수행할 수 있게 해줍니다. SQL로 원격 OpenAI 모델 서비스를 호출해 예측/추론 작업을 처리할 수 있도록 지원합니다.

출처: 문서

본문

개요

이 함수는 Flink SQL을 통해 원격 OpenAI 모델 서비스를 예측/추론 작업에 호출하는 것을 지원합니다. 현재 다음 작업을 지원합니다.

• Chat Completions: 대화를 구성하는 메시지 목록에서 모델 응답을 생성합니다.
• Embeddings: 주어진 입력의 벡터 표현을 얻습니다. 이 표현은 머신러닝 모델과 알고리즘이 쉽게 사용할 수 있습니다.

사용 예시

다음 예시는 chat completions 모델을 만들고 이를 사용해 영화 리뷰의 감성 라벨을 예측합니다.

먼저 다음 SQL 문으로 chat completions 모델을 생성합니다.

CREATE MODEL ai_analyze_sentiment
INPUT (`input` STRING)
OUTPUT (`content` STRING)
WITH (
    'provider'='openai',
    'endpoint'='https://api.openai.com/v1/chat/completions',
    'api-key' = '<YOUR KEY>',
    'model'='gpt-3.5-turbo',
    'system-prompt' = 'Classify the text below into one of the following labels: [positive, negative, neutral, mixed]. Output only the label.'
);

movie_comment라는 테이블에 다음 데이터가 저장되어 있고, 예측 결과는 print_sink라는 테이블에 저장된다고 가정합니다.

CREATE TEMPORARY VIEW movie_comment(id, movie_name,  user_comment, actual_label)
AS VALUES
  (1, 'Good Stuff', 'The part where children guess the sounds is my favorite. It's a very romantic narrative compared to other movies I've seen. Very gentle and full of love.', 'positive');

CREATE TEMPORARY TABLE print_sink(
  id BIGINT,
  movie_name VARCHAR,
  predicit_label VARCHAR,
  actual_label VARCHAR
) WITH (
  'connector' = 'print'
);

그러면 다음 SQL 문으로 영화 리뷰의 감성 라벨을 예측할 수 있습니다.

INSERT INTO print_sink
SELECT id, movie_name, content as predicit_label, actual_label
FROM ML_PREDICT(
  TABLE movie_comment,
  MODEL ai_analyze_sentiment,
  DESCRIPTOR(user_comment));

모델 옵션

공통

Chat Completions

Embeddings

스키마 요구사항

다음 표는 각 작업에 대한 스키마 요구사항을 나열합니다.

사용 가능한 메타데이터

error-handling-strategy를 ignore로 설정한 경우, 다음 메타데이터 열을 추가로 지정하여 실패에 대한 정보를 스트림에 노출할 수 있습니다.

• error-string(STRING): 오류와 관련된 메시지
• http-status-code(INT): HTTP 상태 코드
• http-headers-map(MAP<STRING, ARRAY>): 응답과 함께 반환된 헤더

출력 스키마에 이 메타데이터 열을 정의했지만 호출이 실패하지 않았다면, 해당 열은 null 값으로 채워집니다.

더 알아보기 (Learn more)

• SQL Models 다운로드 페이지
• OpenAI Chat Completions API
• OpenAI Embeddings API