구글, 모호한 기준 정리 돕는 AI 프레임워크 오픈소스 공개

음식 웹사이트에서 '건강식' 사진만 골라내도록 AI를 설정했다가, 프롬프트만 수십 번 고치며 헤맨 적이 있을 것이다. 결과가 빗나가는 이유는 사실 모델 탓이 아니라 내 머릿속의 기준부터 모호하기 때문이다.

구글이 오픈소스로 공개한 '애자일 딜리버레이션(Agile Deliberation)'은 바로 이 기준 문제를 해결해 주는 AI 분류 프레임워크다.

모호한 경계 사례를 찾아 기준을 굳힌다

이 시스템은 사람이 AI를 가르치던 기존 방식을 뒤집었다. AI가 판단하기 까다로운 경계선 사례를 직접 찾아와 사용자에게 되물으면서, 모호한 주관을 명확하고 실행 가능한 분류 규칙으로 바꾸도록 돕는다.

과정은 두 단계로 나뉜다. 첫 번째는 개념 범위 설정(Concept Scoping)이다. 모호한 개념을 쪼개어 포함할 상황과 제외할 상황을 정리하고 초벌 규칙을 세운다.

두 번째는 기준 반복(Concept Iteration)이다. AI가 논란이 될 만한 아슬아슬한 사례를 골라 사용자에게 제시하고, 사용자의 판정을 바탕으로 분류 프롬프트를 계속 손질해 나간다. 허위 광고 판별이나 브랜드 스타일에 맞는 이미지 라벨링처럼 주관적인 판단이 개입되는 작업에 안성맞춤이다.

왜 중요한가

분류용 프롬프트를 짤 때 가장 큰 걸림돌은 모델의 이해력이 아니라 인간 스스로 기준을 명문화하지 못한다는 점이다.

애자일 딜리버레이션이 영리한 이유는 완벽한 프롬프트를 머릿속에서 짜내라고 강요하지 않고, 애매한 사례를 던져 직관을 구체적인 규칙으로 이끌어낸다는 데 있다. 콘텐츠 검수와 라벨링 현장에서 벌어지는 불필요한 줄다리기를 크게 줄여줄 만하다.

다만 이 방식 역시 사용자의 피드백이 일관되어야만 힘을 발휘한다. 경계선 사례 앞에서 사람의 판단이 오락가락한다면 아무리 피드백을 거듭해도 제대로 된 규칙은 나오지 않는다.