표·문서·현장 이미지를 함께 다루는 식품 제조 멀티모달 AI 분석

표·문서·사진을 공통 사건과 촬영 시점으로 연결하는 멀티모달 분석 예시 — 그림 16. 표·문서·사진을 동일 사건으로 연결하고 미확인 관계를 보류하는 가상 설계.

점검표에는 “포장 상태 확인 필요”라고 적혀 있고, 관련 사진과 기준 문서는 다른 폴더에 있다고 해볼게요. AI가 표도 읽고 사진도 볼 수 있다면 이 자료를 한꺼번에 분석할 수 있을 것 같습니다. 그런데 사진이 다른 시점에 찍힌 것이라면 어떨까요? 입력 형식을 많이 지원하는 것과 같은 사건을 이해하는 것은 다른 문제예요.

아래 내용은 멀티모달 분석의 설계 예시입니다. 특정 고객에게 이미지 판정 기능을 구축했거나 정확도를 검증했다는 의미는 아닙니다.

파일 종류보다 같은 사건인지 먼저 확인합니다

표 한 행, 문서 한 조항, 사진 한 장이 무엇을 가리키는지 정합니다. 같은 점검인지, 같은 생산 단위인지, 촬영과 기록의 시점이 맞는지부터 확인하는 거예요.

이 관계가 없는데 파일명이 비슷하다는 이유만으로 자동 연결하면 잘못된 근거가 만들어질 수 있습니다. 처음에는 담당자가 관계를 확인하도록 하고, 확인되지 않은 자료는 후보로 따로 두는 방식이 가능합니다.

W3C PROV-O가 데이터의 생성과 사용 관계를 구분하는 것처럼, 이 설계에서도 원본과 그 원본에서 추출한 결과를 구분해두면 좋습니다.[1] 사진에서 읽어낸 문장이 원래 점검표의 기록과 같은 취급을 받지 않게 하는 거죠.

관찰한 내용과 해석한 내용을 나눕니다

사진 분석 결과에는 “확인되는 부분”과 “판단하기 어려운 부분”을 함께 표시하도록 설계해보세요. 예를 들어 가상의 포장 사진에서 주름처럼 보이는 부분을 표시할 수는 있어도, 그것만으로 밀봉 성능이나 식품 안전을 확정해서는 안 됩니다.

사진의 선명도, 촬영 각도, 조명에 따라 검토 가능한 범위가 달라질 수 있으므로 이런 조건을 검증 항목으로 두는 거예요. 촬영 시점이 없다면 현재 상태라고 단정하지 않고, 잘린 표에서 읽어낸 값이라면 단위가 확인됐는지도 따로 기록합니다.

관찰 결과가 검사 성적이나 측정값을 대체하는 것으로 보이지 않도록 화면 문구와 사용 목적을 명확하게 해야 합니다.

모달리티 하나가 빠져도 모르는 값을 만들지 않습니다

표와 문서는 있지만 사진이 없는 상황을 생각해보죠. ‘사진상 이상 없음’이 아니라 ‘사진 미제공’으로 표시해야 합니다. 사진만 있고 해당 기준을 찾지 못했다면 관찰 설명을 제공하더라도 적합 여부는 남겨둡니다.

자료끼리 충돌할 때도 다수결처럼 결론을 만들지 않는 편이 좋습니다. 점검 메모와 사진 설명이 다르면 어느 입력에서 차이가 생겼는지 담당자가 확인하도록 연결해요. 새 자료가 들어오면 기존 분석이 무엇을 참고했는지도 구분하고요.

사진 세 장을 한 사건에 붙여보는 검증 예시

가상의 점검 I-21에 “포장 표시를 다시 확인한다”는 메모와 사진 세 장이 들어왔다고 해볼게요. 이 예시의 사진은 실제 고객 사진이 아니라 시험용 입력을 가정한 것입니다.

A-01은 점검 I-21의 첨부 관계와 촬영 시점이 확인되고, 표시 부분이 선명합니다. A-02는 파일 이름이 비슷하지만 어느 점검에서 찍었는지 확인되지 않았어요. A-03은 I-21에 속하는 사진이지만 표시 부분이 흐려 글자를 읽기 어렵습니다. 세 장을 모두 같은 근거로 취급하면 안 되겠죠.

A-01에서는 사진에 보이는 부분을 설명하고 원본의 해당 위치를 연결합니다. 그래도 사진에 없는 측정값까지 만들지는 않아요. A-02는 사건 연결 확인이 필요한 후보로 분리하고, A-03은 자료는 있으나 판독이 어려운 상태로 표시합니다. ‘파일 있음’과 ‘분석에 사용할 근거가 있음’을 구분하는 겁니다.

이렇게 자료 카드를 적어볼 수 있어요.

A-01: 사건 연결 확인 / 관찰 가능한 표시 영역 / 원본 확인 가능.

A-02: 사건 연결 미확인 / 현재 점검의 근거로 사용하지 않음 / 첨부 관계 확인 요청.

A-03: 사건 연결 확인 / 표시 판독 어려움 / 더 선명한 자료나 현장 재확인 요청.

사진의 촬영 시각 정보만 있다고 관계를 확정하는 것은 아닙니다. 첨부한 업무 기록과 원본 자료의 관계를 함께 확인해야 해요. 촬영 시점이 점검 시점과 달라도 같은 사건의 후속 확인 자료일 수 있으므로, 시간 차이 자체를 오류로 단정하지 않고 어떤 관계로 연결했는지 남깁니다.

이미지에서 글자를 추출했다면 추출값과 원본 기록도 나눠보세요. 예를 들어 글자 인식 결과에 ‘L-08’이 나와도 그것을 확정 Lot 번호로 바로 넣지 않습니다. 원본 이미지의 어느 영역에서 읽었는지, 담당자가 확인했는지, 값이 수정됐다면 이전 추출값은 무엇인지 연결합니다. 고객 식별 정보가 보이는 자료라면 모델에 전달하기 전에 허용 범위부터 확인해야 하고요.

표의 기록과 사진 관찰이 다르면 둘 중 하나를 조용히 버리지 않습니다. ‘점검 메모는 재확인 요청, 사진에서는 일부 표시가 읽힘’처럼 입력별 내용을 남기고, 무엇을 추가 확인해야 차이를 해소할 수 있는지 제안하는 편이 좋습니다. 표시가 읽힌다는 관찰만으로 포장의 밀봉 성능이나 식품 안전을 확정하는 응답은 허용하지 않습니다.

시험에서는 선명한 정상 입력만 반복하지 마세요. 다른 사건의 사진을 끼워 넣었을 때 연결을 보류하는지, 단위가 잘린 표 사진에서 수치를 확정하지 않는지, 사진을 제거했을 때 ‘이상 없음’이 아니라 ‘사진 미제공’으로 바뀌는지 확인합니다. 접근 권한을 회수한 자료가 검색·캐시를 통해 다시 응답에 들어오지 않는지도 따로 봐야 해요.

평가 기록에는 사건 연결의 옳고 그름, 원본 위치 확인 가능 여부, 판독 불가 처리, 입력보다 강한 결론을 만들었는지를 나눠 적습니다. 몇 장을 처리했는지만 세면 어떤 오류가 업무에 영향을 주는지 드러나지 않아요. 이 시험은 자료 검토 지원 기능의 범위를 정하기 위한 것이며 안전 판정 성능을 검증한 결과는 아닙니다.