AI·디지털 기반 사회문제 해결 챌린지
Ralph Loop로 검증하는 최종 5개 문제
의류·소싱·제품데이터 경험, AX, 인사, 수출입지원 실무가 결합된 4인 팀을 전제로, 너무 단순하거나 이미 쉽게 해결되는 문제를 배제하고 실제 임팩트와 반복 검증 가능성을 기준으로 압축한 전략 문서.
최종 결론
제1순위는 ‘잔여 원단을 실제 생산·납품 가능한 주문으로 전환하는 자원순환 엔진’이다. 다만 원단 제공 업체와 실제 수요처를 확보할 수 있다는 조건이 붙는다. 현장 협력이 어렵다면 ‘AX 전환 취약 사무직을 위한 실무 재훈련 시뮬레이터’가 팀 구성상 가장 현실적인 대안이다.
이번 후보들은 일반적인 “AI 서비스 아이디어”가 아니다. 여러분의 현업 지식을 정답과 제약조건으로 만들고, Ralph loop로 실패 원인을 반복 제거하면서 입상용 증거까지 남길 수 있는 문제를 고른 것이다.
명세와 작업 상태를 유지하면서 에이전트를 반복 실행해 결과를 개선하는 개발 접근이다. 이 문서에서는 여기에 독립 평가기, 실패 사례, 수정 승인·거절 기준을 추가해 “많이 돌리는 것”이 아니라 “측정 가능한 실패를 제거하는 반복”으로 사용한다.
2026년 9월 현재의 공개자료를 바탕으로 문제의 현재성, 기존 서비스와의 중복, 대회 적합성을 검토한다. 또한 심사위원·경쟁서비스·현업실무자·평가엔지니어·책임/개인정보 검토자라는 다섯 가상 비판자 관점으로 반론을 적용한다. 이는 실제 독립 전문가 심사나 현장 성능시험을 이미 완료했다는 뜻은 아니다. 아래 성능 수치는 모두 앞으로 검증할 목표치다.
팀이 실제로 선택해야 할 방향
아이디어의 약점과 탈락 조건
Ralph가 개선해야 할 정량 지표
발표에서 반드시 전달할 메시지
먼저, 이 대회에서 이기는 방향
이 대회는 단순한 사내 효율화 도구보다 사회문제 해결을 위한 개발·배포·운영에 맞춰야 한다. 서비스 개발 부문 본선은 완성도 25점, 확장성 25점, 유용성 25점으로, 세 항목만 합쳐 75점이다. 예선에는 팀 외부 주체와의 협력 15점도 있다. 따라서 “토큰을 많이 써서 만들었다”보다 외부 사용자가 실제로 사용했고, 기존 방식보다 무엇이 나아졌는가가 중요하다. 공식 심사 기준 ↗
참가팀은 4인 이하이고, 신청은 9월 30일, 상세기획서는 11월 3일, 본선 발표자료와 서비스 개발 결과물은 12월 초 제출 구조다. 공식 안내에는 플랫폼 활용을 권장으로 읽힐 수 있는 표기와, 서비스 개발 부문 설명에서 개발·배포·운영을 필수로 명시한 표현이 함께 보여 적용 범위를 초기에 사무국에 확인해 두는 편이 안전하다. 또한 대회가 제공하는 AI·클라우드 지원이 외부 LLM의 무제한 토큰까지 포함한다는 뜻으로 단정해서는 안 되며, 별도 확인이 필요하다. 공식 공모전 일정·분야 ↗
문제의 크기 → 기존 해법의 한계 → 우리 팀만의 실행 우위 → 측정 가능한 개선 → 외부 협력과 실제 사용 → 확장 가능성의 순서로 증명해야 한다. 기능 목록이 아니라 효과의 증거가 중심이다.
최종 후보 요약
의류·소싱·제품데이터 업무와 AX·인사·수출입지원 실무 조합을 기준으로 선정했다. 전 회사 데이터나 거래처를 사용할 권한이 있다고 가정하지 않는다.
| 우선순위 | 해결할 문제 | 팀이 유리한 이유 | 입상 때 보여줄 핵심 증거 |
|---|---|---|---|
| 01 | 잔여 원단이 있어도 실제 생산·납품으로 연결되지 않는 문제 | 의류·소싱 + 물류·서류 + 인력·설비 배정 + AX | 검수·납품까지 완료한 재사용량, 실행 가능한 생산계획 |
| 02 | 체불·누락임금 상담에서 흩어진 자료와 상충 기록을 정리하지 못하는 문제 | 인사 실무 + 다문서 대조·정산 + AX | 전문가가 바로 검토할 수 있는 증빙 묶음, 준비시간 감소 |
| 03 | AX로 업무가 바뀌는데 실제 예외처리 능력을 익히고 검증할 방법이 부족한 문제 | 네 사람의 실무를 그대로 훈련 환경으로 전환 가능 | 처음 보는 실무 과제에서의 실제 사람 성과 향상 |
| 04 | 리콜 공고가 있어도 내가 가진 아동복이 해당 제품인지 식별하기 어려운 문제 | 의류 제품 이해 + 상품 식별·수입 정보 + 이미지·데이터 처리 | 정확한 모델·로트 대조, 잘못된 위험 판정 감소 |
| 05 | 폭염 휴식 원칙이 실제 작업·인력·물류 계획에 반영되지 않는 문제 | 인사·근무계획 + 물류 운영 + 제약조건 자동화 | 휴식·작업 제약을 지키는 재편 계획, 불가능한 계획 차단 |
1. 잔여 원단의 ‘생산 가능성’을 증명하는 자원순환 엔진
해결할 문제와 2026년의 필요성
정부는 2026년 7월 폐의류 순환이용 기술개발을 발표하면서 혼합 소재와 부자재 때문에 고품질 재활용이 어렵고, 수거 의류 상당량이 해외로 나가는 문제를 설명했다. 폐의류 분야에는 2026~2030년 250억 원 투자가 제시됐다. 이는 섬유 자원순환이 여전히 해결해야 할 산업·환경 문제임을 보여준다. 다만 이 자료가 잔여 원단 거래의 모든 병목을 직접 입증하는 것은 아니므로, 이 프로젝트는 그중 생산 전 단계의 잔여 원단 활용에 범위를 좁힌다. 환경부 관련 보도자료 ↗
반면 “남는 원단을 사고파는 플랫폼” 자체는 새롭지 않다. Queen of Raw의 Materia MX는 잉여 재고의 재판매·재사용·재활용을 이미 다룬다. Queen of Raw 비교 사례 ↗ 따라서 단순 매칭 플랫폼으로 출품하면 추천하지 않는다.
“이 원단을 누가 살까요?”가 아니라 “이 원단들로, 이 주문을, 이 작업장에서, 이 날짜까지 실제로 만들 수 있습니까?”를 해결하는 서비스다.
예를 들어 길이만 합치면 주문을 충족하더라도 원단 폭이 맞지 않거나, 염색 로트를 섞을 수 없거나, 가능한 봉제사가 특정 날짜에만 근무한다면 그 계획은 실행 불가능하다.
입력은 원단 재고표·검증된 소재 정보·폭과 길이·결점 구간·주문 규격·설비·작업 가능시간·배송 조건이다. 출력은 원단별 배정량, 재단·생산 계획, 작업 배정, 납품 계획, 사용할 수 없는 재고와 그 이유다.
LLM은 복잡한 문서를 읽어 조건으로 바꾸고, 실제 배정은 수리 최적화 프로그램이 수행하며, 별도 검사기가 모든 조건을 다시 확인한다. 사진만 보고 혼용률이나 품질을 확정하지 않는다.
재고·시간·설비·납기 같은 제약조건을 모두 만족하면서 비용 최소화나 재사용량 최대화 같은 목표를 계산으로 찾는 방식이다. LLM의 “그럴듯한 추천” 대신 검증 가능한 계산 결과를 만든다는 점이 핵심이다.
팀의 역할과 시작 범위
본인은 제품·소재·수요 규격을, 수출입지원 동료는 로트·단위·운송·납기 조건을, 인사 동료는 숙련·근무 가능시간을, AX 동료는 문서 처리와 최적화 시스템을 담당하는 구성이 자연스럽다.
첫 범위는 소재가 확인된 잔여 원단과, 안전인증 부담이 큰 보호구·영유아 제품이 아닌 제한된 제품군으로 잡는다. 제안하는 검증 규모는 원단 100개 로트, 실제 주문 20건, 조건을 조합한 시험 사례 500건이다. 현장에서는 원단·봉제 관련 협력처 3곳과 실제 구매 수요처 1곳이 필요하다.
무엇으로 개선을 판정할 것인가
| 평가 항목 | 제안 목표와 판정 방식 |
|---|---|
| 실행 가능한 계획 완성률 | 사전에 해결 가능으로 확인한 사례의 95% 이상에서 모든 필수 조건을 충족한 계획 생성 |
| 중대 제약 위반 | 재고 초과 배정·필수 규격 불일치·근무 가능시간 초과 0건 |
| 계획 품질·준비시간 | 작은 문제에서는 기준 최적해 대비 목적값 차이 5% 이내. 사람의 확인·수정까지 포함한 준비시간 50% 감소 |
| 현장 성과 | 동일 수요·초기 재고·예산 조건에서 기준 방식 대비 검수·납품 완료분의 잔여 원단 실사용량 20% 증가 목표 |
마지막 지표는 창고에서 옮긴 중량이 아니다. 실제 납품에 사용된 중량을 확인하고 반품·재폐기분을 구분해야 한다. 불필요하게 원단을 많이 쓰면 점수가 올라가지 않도록 제품별 허용 사용량도 고정한다. 탄소감축량은 검증된 산정 근거가 없으면 주장하지 않는 편이 낫다.
Ralph는 어디를 고치는가
폭·길이·단위 추출 실패 → 조건 변환 수정 → 재단·배정 코드 수정 → 독립 검사 → 전체 회귀시험
“원단 길이는 충분하지만 폭이 부족한 사례”, “같은 원단이 두 주문에 중복 배정되는 사례”, “운송비 때문에 재사용이 비경제적인 사례”를 추가한다. 기존 거래 플랫폼과의 중복을 피하려면 추천이 아니라 검증 가능한 생산계획과 실제 납품이 핵심이다. 실제 주문과 소재 품질은 토큰으로 만들어낼 수 없으므로, 협력처와 실수요를 확보하지 못하면 이 후보는 중단해야 한다.
2. 체불·누락임금의 ‘상충 증거’를 재구성하는 지원 도구
해결할 문제와 2026년의 필요성
2026년 9월 1일 고용노동부 발표에 따르면 그해 7월 말까지 대지급금이 7만 5천 명에게 4,700억 원 지급됐다. 이는 전체 임금체불액이 아니라 대지급금 지급 실적이라는 점을 구분해야 하지만, 문제 규모가 작지 않고 정책 대응이 계속되고 있음을 보여준다. 고용노동부 공식 보도자료 ↗
그렇다고 노동법 상담 챗봇을 만들면 안 된다. 정부의 AI 노동법 상담은 이미 34개 언어를 지원하고, 2026년에는 근로계약서·임금명세서 검토와 사건 접수 지원으로 확장한다는 계획도 발표됐다. 따라서 번역·법률질문·명세서 요약만으로는 중복 위험이 크다. 고용노동부 관련 정책 자료 ↗
상담을 받으려 하지만 여러 달의 명세서·입금내역·근무기록·메시지가 뒤섞여 있는 사람에게, 무엇이 사실이고 무엇이 아직 확인되지 않았는지 재구성한 검증 가능한 증빙 묶음을 만들어 주는 도구다.
결과물은 주장 → 이를 뒷받침하는 원본 위치 → 반대되거나 상충하는 자료 → 계산 과정 → 추가로 필요한 증거의 구조를 가진다.
급여명세서 금액과 통장 입금액이 다르다고 바로 체불로 단정하지 않는다. 지급 월, 분할 입금, 공제 항목, 다른 거래 가능성을 대조하고, 확정할 수 없는 부분은 그대로 남긴다. 문서에 적힌 사실·사용자 진술·시스템 추정·미확인 사항을 분리하는 것이 핵심이다.
팀의 역할과 시작 범위
인사 동료가 급여 구조와 검토 항목을 설계하고, 수출입지원 동료의 다문서 대조·정산 경험을 활용할 수 있다. AX는 출처 연결과 계산·검증을 담당한다.
다만 인사 실무 경험을 법률 판단 자격과 동일하게 취급하면 안 된다. 노동상담기관이나 노무 전문가를 외부 파트너로 두고, 명확한 급여 유형 몇 가지로 범위를 제한해야 한다. 전문가가 정답을 정한 약 120건의 사례를 준비하고, 실제 동의받은 사례와 전문가가 구성한 시험 사례를 구분한다. 현장에서는 우선 10건 이상을 상담 담당자에게 검토받는다.
무엇으로 개선을 판정할 것인가
| 평가 항목 | 제안 목표와 판정 방식 |
|---|---|
| 증빙 묶음 완성률 | 전문가가 “중대한 재작성 없이 검토 가능”으로 판정한 사례 90% 이상 |
| 사실·계산 신뢰성 | 명확한 범위의 금액 계산은 기준 계산기와 일치. 근거 없는 날짜·금액·근무 사실의 확정 서술은 중대 시험에서 0건 |
| 상충·누락 탐지 | 사전 정의한 중요한 상충 사항의 95% 이상 탐지. 불필요한 추가자료 요구도 함께 측정 |
| 실제 이용 효과 | 자료 준비부터 사람의 수정까지 포함한 중앙값 시간 50% 감소. 추가자료 재요청 횟수도 비교 |
“자료가 부족합니다”만 반복해서 오류를 피하지 못하도록, 답을 만들 수 있는 사례 중 실제로 완성한 비율을 별도로 측정한다.
Ralph는 어디를 고치는가
월별 기록 연결 오류 → 지급·공제 항목 분류 수정 → 출처 연결 검사 → 질문 순서 개선 → 전문가 정답 사례 재평가
중복 입금내역, 일부 페이지만 있는 계약서, 진술과 기록이 다른 사례, 같은 거래를 두 번 계산하도록 유도하는 사례를 투입한다. 정부 상담 서비스와 정면 경쟁하는 버전은 탈락이다. 다문서 간 상충과 증거 부족을 드러내는 검증 도구로 좁힐 때 살아남는다. 자동 신고·자동 제출은 초기 범위에서 제외한다.
3. AX 전환 취약 사무직을 위한 ‘검증 가능한 실무 재훈련 시뮬레이터’
해결할 문제와 2026년의 필요성
고용노동부는 2026년 7월 9일 첫 「산업전환 고용안정 기본계획」을 발표하면서 AI·디지털 전환과 청년층의 숙련 형성 기회 약화를 주요 문제로 제시했다. 이는 단순한 AI 사용법 교육을 넘어, 바뀐 업무에서 실제로 일을 해낼 능력을 형성하고 검증하는 문제가 중요해졌음을 보여준다. 고용노동부 공식 자료 ↗
여기서도 “개인 맞춤 AI 교육”만으로는 부족하다. Workera는 이미 대화형·상황형 역량평가와 시뮬레이션 접근을 제공한다. 따라서 범용 AI 튜터나 LLM이 감으로 점수를 주는 모의면접은 차별성이 약하다. Workera 비교 사례 ↗
중소 제조·무역기업의 실제 예외 상황을 재현하는 가상 사무실이다. 문제를 출제하는 LLM과 정답을 판단하는 시스템을 분리해, 실제 업무 상태가 맞는지 독립 프로그램이 검사한다.
예시 사건
주문 변경 이메일을 놓친 상태에서 분할 선적이 진행됐고, 포장명세서의 색상별 수량이 주문서와 다르며, 수정 인보이스까지 중복 도착했다. 사용자는 AI를 활용해 오류를 찾고 거래 상태와 필요한 문서를 올바르게 복구해야 한다.
먼저 프로그램이 정확한 주문·재고·선적·정산 상태를 만들고, 그 상태를 기반으로 이메일과 문서를 생성한다. 정답은 LLM의 감상평이 아니라 최종 주문·재고·정산 상태가 맞는지 검사하는 독립 프로그램이 판단한다. 학습자는 “그럴듯한 답변”이 아니라 실제로 맞는 업무 처리를 해야 통과한다.
답변 문장이 그럴듯한지를 보는 대신, 과제가 끝난 뒤 주문수량·재고·선적상태·정산금액 등 시스템의 최종 상태가 정답과 일치하는지 확인하는 채점 방식이다.
팀의 역할과 시작 범위
이 후보는 네 사람의 기여가 가장 균형적이다. 본인은 의류·상품·바이어 업무 사례를, 수출입지원 동료는 선적·정산 예외를, 인사 동료는 역량 단계와 학습 평가를, AX 동료는 시뮬레이션과 자동 채점을 맡을 수 있다.
처음에는 20개 정도의 실무 사건 유형을 제대로 만들고 숫자·문서·이벤트 순서를 바꾼 사례를 확장한다. 단순히 같은 문제를 말만 바꿔 수천 개 만드는 것은 제외한다. 현장 검증은 청년·경력전환자 등 성인 참여자 30명 안팎으로 시작할 수 있다. 전 회사의 실제 문서를 복사하기보다 사용권 문제가 없는 새 문서와 검수된 가상 거래를 구성한다.
무엇으로 개선을 판정할 것인가
| 평가 항목 | 제안 목표와 판정 방식 |
|---|---|
| 문제 자체의 타당성 | 거래·재고·금액 내부 일관성 검사 통과. 전문가가 판정한 모호하거나 잘못된 과제 2% 이하 |
| 채점 신뢰성 | 명확한 사례에서 전문가와 자동 채점의 일치율 95% 이상 |
| 실제 학습 효과 | 같은 학습시간·같은 AI 접근권을 가진 비교집단 대비, 처음 보는 과제의 통과율 향상 폭이 15%포인트 이상 더 큼 |
| 오류 감소·유지 효과 | 중대한 업무 오류 누락 50% 감소 목표. 2주 후 다른 사례로 재검증 |
비교집단도 AI를 쓰게 해야 한다. 그래야 “그냥 AI를 사용할 수 있어서 좋아진 효과”와 여러분의 훈련 설계가 만든 효과를 구분할 수 있다. 작은 파일럿 결과는 불확실성 구간과 함께 제시하고 전국적인 재취업 효과로 확대 해석하지 않는다.
Ralph는 어디를 고치는가
잘못 생성된 업무 사건 → 생성 코드 수정 → 상태 검사 → 채점 반례 추가 → 힌트·난이도 배정 개선
“실제로는 정답이 두 개인 문제”, “힌트에 정답이 노출되는 문제”, “엉뚱한 처리로도 점수를 얻는 문제”, “특정 문서 형식만 외우면 풀리는 문제”를 공격한다. 범용 교육 플랫폼으로는 탈락이며, 독립적으로 채점 가능한 특정 직무의 업무 환경과 새로운 과제에서의 실제 사람 성과 향상을 함께 보여줘야 한다. LLM을 가상 학생으로 돌린 결과를 사람의 교육 효과라고 발표하면 안 된다.
4. 리콜 아동복의 모델·로트·구매내역을 대조하는 식별 서비스
해결할 문제와 2026년의 필요성
2026년 4월 미국 CPSC는 가연성 기준 미준수를 이유로 Silks 아동용 라운지웨어 약 7,900개의 리콜을 발표했다. 아동 의류 안전은 추상적인 문제가 아니라 실제 리콜이 계속 발생하는 영역이다. 미국 CPSC 리콜 원문 ↗
한국에서도 국가기술표준원 제품 안전인증 및 리콜 정보를 공공 API로 제공한다. 따라서 리콜 정보를 다시 보여주는 검색창만 만들어서는 부족하다. 공공데이터포털 제품 안전·리콜 API ↗
부모나 아동용품 취급 기관이 가진 라벨 사진, 제품 사진, 주문내역, 구매 시점을 공식 리콜 기록과 대조해 “해당 제품으로 확인됨 / 비슷하지만 식별정보가 더 필요함 / 현재 자료로는 판단 불가”를 구분하는 서비스다.
같은 그래픽을 쓰는 다른 브랜드, 다른 생산연도, 특정 로트만 해당하는 리콜, 판매명 번역 차이를 처리해야 한다. 이미지가 비슷하다는 이유로 같은 리콜 제품이라고 판정하면 실패이며, 공식 데이터에 없다는 이유로 안전하다고 해도 실패다. 해외 리콜 사실을 곧바로 한국에서의 불법 판매 판정으로 바꾸어서도 안 된다.
팀의 역할과 시작 범위
본인의 의류 제품 이해와 상품 데이터 경험, 수출입지원 동료의 모델·수입업체·구매경로 식별 경험을 활용할 수 있다. AX는 검색·이미지 후보 추출·문서 대조를 담당한다. 인사 동료는 사용자 검증과 품질관리 역할이 가능하지만, 다른 후보보다 인사 전문성의 직접 활용도는 낮다.
시험 데이터는 제품군 단위로 묶은 약 1,000개의 대조 사례를 목표로 하되, 같은 제품의 사진 변형과 실제로 다른 제품을 분리해야 한다. 실제 사용자 사진·구매자료로 진행한 검증은 합성·변형 이미지 시험과 따로 보고한다.
무엇으로 개선을 판정할 것인가
| 평가 항목 | 제안 목표와 판정 방식 |
|---|---|
| 후보 검색 성능 | 정답 제품이 상위 10개 후보 안에 포함되는 비율 95% 이상 |
| 확정 판정의 정확성 | “해당 리콜 제품”으로 확정한 것 중 실제 일치 비율 98% 이상 |
| 과도한 판단 회피 방지 | 전문가가 식별 가능하다고 정한 사례 중 80% 이상에서 판정 완료 |
| 현장 유용성 | 기존 키워드·이미지 검색 대비 담당자 확인시간 60% 감소. 모델·로트·출처 누락 별도 검사 |
틀린 로트나 유사 제품을 확정 판정한 사례는 중대 오류로 취급한다. 모든 수치는 분모와 함께 공개해야 한다. 예를 들어 50건에서 오류가 없었다고 현실의 오류율이 0%라고 주장할 수는 없다.
Ralph는 어디를 고치는가
제품명·브랜드 표기 정규화 → 이미지 후보 검색 → 모델·로트 대조 → 판정 보류 기준 → 근거 연결
같은 디자인의 다른 상품, 훼손된 라벨, 리콜 범위 밖 생산연도, 판매자 설명에 잘못 기재된 모델번호를 제시한다. 단순 이미지 검색이나 리콜 알림은 부족하며, 동일 제품임을 확인하는 증거 사슬과 잘못된 확정을 줄이는 성능이 차별점이다. 라벨·구매정보가 사라진 제품은 토큰을 늘려도 확인할 수 없다. 초기에는 자동 판매중지 요청이나 공개적인 위해상품 낙인 없이 사람 확인을 거친다.
5. 폭염 휴식과 작업·물류 조건을 함께 지키는 작업계획 재편 도구
해결할 문제와 2026년의 필요성
고용노동부는 2026년 5월 폭염 대책에서 이미 법제화된 휴식 등 보건조치의 현장 이행력 확보를 강조했다. 문제를 “폭염을 알려주는 것”보다 실제 근무계획에서 보호조치를 실행하는 것으로 보는 근거가 된다. 고용노동부 폭염 대응 자료 ↗
또한 이 대회에서는 2024년 이미 고령자 온열질환 예방 서비스가 수상했고, 당시 발표자료에는 날씨·폭염 알림과 쉼터 안내 등이 포함됐다. 따라서 일반 폭염 알림 앱은 기존 수상작과의 차별성이 약하다. 2024 수상작 갤러리 ↗
소규모 공장·물류현장을 대상으로 휴식·작업 전환·인력·설비·입출고를 함께 조정하는 계획 도구를 만든다.
“모두 2시에 휴식”은 단순하지만, 휴게시설에 모두 들어갈 수 없거나 특정 자격을 가진 작업자가 동시에 빠지면 작업계획 자체가 성립하지 않을 수 있다. 반대로 납기를 맞추겠다고 휴식을 없애면 안 된다.
출력 예
현재 조건에서는 보호조치와 주문을 동시에 충족할 수 없음 → 필요한 추가 인력, 작업량 축소 또는 일정 변경 제시.
보호조치를 비용과 교환하는 최적화가 아니라, 보호조치를 먼저 충족한 뒤 가능한 운영안을 찾는 방식이어야 한다. 적용 규칙은 현행 기준과 전문가 검토를 거쳐 고정하고, LLM이 임의로 완화하지 못하게 한다.
팀의 역할과 시작 범위
인사 동료는 근무·휴식 조건, 수출입지원 동료는 입출고와 작업 선후관계, AX는 제약조건 처리와 재계획 기능을 담당할 수 있다. 외부 산업안전 실무자와 현장 관리자 검토가 필요하다.
지역 날씨만으로 실내 작업장의 실제 노출을 추정하지 않는다. 현장 실측이 없거나 센서가 오래된 값을 보내면 확인 불가로 처리한다. 지금은 9월이고 본선은 12월이므로, 온열질환 감소를 이번 대회 안에 직접 입증하겠다는 계획은 약하다. 실측·근무 기록이 있는 과거 기간의 재현 시험과, 사람의 승인 아래 진행하는 현장 검증으로 범위를 잡는 편이 현실적이다.
무엇으로 개선을 판정할 것인가
| 평가 항목 | 제안 목표와 판정 방식 |
|---|---|
| 필수 조건 준수 | 검증 세트에서 정해진 휴식·근무시간·자격·설비·휴게시설 수용 조건 위반 0건 |
| 유효 계획 생성률 | 기준 검사기로 해결 가능함을 확인한 사례의 95% 이상에서 계획 완성 |
| 불가능·미확인 상황 처리 | 중대 시험 사례에서 조건 충돌과 실측 누락을 빠짐없이 표시. 계산시간 초과를 ‘불가능 증명’으로 오인하지 않음 |
| 운영 개선 | 과거 기록 재현에서 보호조치가 충족되지 않는 작업자·시간을 80% 감소 목표, 계획 작성시간 50% 감소 |
이는 정해진 제약조건을 지키는 성능이지 모든 건강위험이 사라진다는 보장이 아니다.
Ralph는 어디를 고치는가
현장 문서의 조건 추출 → 조건식 변환 → 계획 생성 → 독립 안전조건 검사 → 충돌 설명 개선
휴게시설 수용인원 부족, 숙련자 결근, 설비 고장, 센서 값 중단, 갑작스러운 차량 도착을 추가한다. 잘못된 계획을 승인하는 대신 “이 조건에서는 해결할 수 없다”고 정확히 말하는 능력도 평가한다. 알림 서비스로는 탈락이며, 현장 운영조건까지 반영한 실행 가능한 계획으로 좁혀야 한다. 현장 계측과 계절상 실증 제약 때문에 종합 우선순위는 낮다.
다섯 프로젝트에 공통으로 적용할 Ralph 운영 방식
핵심은 ‘코딩하는 AI’보다 ‘AI가 속일 수 없는 평가기’
AI 에이전트 평가에서 중요한 것은 에이전트가 “성공했다”고 말하는지가 아니라 최종 상태가 실제로 성공 조건을 만족했는지 확인하는 것이다. Anthropic의 2026년 에이전트 평가 가이드도 결과 상태 검증, 명확한 기준, 실제 실패 사례 기반 평가, 코드·모델·사람 평가자의 조합을 강조한다. 초기에는 수백 개가 아니라 20~50개의 명확한 실패 사례만으로도 시작할 수 있다. Anthropic 에이전트 평가 가이드 ↗
Eval은 AI가 주어진 과제를 얼마나 잘 수행하는지 측정하는 시험 체계이고, Grader는 정답 여부를 판정하는 검사 로직이다. Regression test는 새 수정 때문에 이전에 잘하던 기능이 다시 망가지는지를 확인하는 회귀시험이다.
현업 담당자가 범위·정답·금지행동을 확정한다.
↓
독립 평가기를 만들고, 현재 방식과 강한 기존 AI 방식의 기준 성능을 측정한다.
↓
Ralph가 가장 중요한 실패 유형 하나만 수정한다.
↓
계산·상태·출처·제약 검사 + 비판자의 반례 시험을 실행한다.
↓
중대 오류가 없고 성능이 개선되면 수정본을 채택한다.
그렇지 않으면 되돌린다.
↓
결과와 실패 원인을 파일로 남기고, 새 문맥에서 다음 반복을 시작한다.
LLM 비판자는 실패를 찾는 역할이지 최종 정답을 선언하는 심판이 아니다. 원단·작업계획은 조건 검사기, 급여는 출처와 계산기, 훈련은 거래 상태 검사기, 리콜은 검수된 제품 식별 정답이 최종 판정의 중심이어야 한다.
반드시 지킬 평가 규칙
1. 비교 대상을 약하게 만들지 않는다.
기존 수작업, 강한 범용 AI와 규칙·검색을 결합한 방식, Ralph 적용 전 버전과 비교한다. 같은 자료·도구·사례별 실행 예산을 제공한다. 강한 기존 방식이 목표를 이미 쉽게 달성하면 그 후보는 탈락시킨다.
2. 평가 정답과 합격 기준은 수정 권한에서 제외한다.
에이전트가 테스트를 삭제하거나 조건을 느슨하게 바꿔 점수를 높일 수 없어야 한다. 원본 문서 안의 “이전 지시를 무시하라” 같은 문구도 데이터로만 취급하는 공격 시험을 포함한다.
3. 개발용 사례와 최종 시험을 분리한다.
같은 주문의 변형본, 같은 제품의 다른 사진, 같은 사건의 다른 문서가 양쪽에 섞이지 않게 나눈다. 최종 시험은 버전을 고정한 뒤 실시한다. 최종 시험을 본 뒤 다시 고쳤다면 새로운 비공개 시험이 필요하다.
4. 거절과 실패도 분모에 포함한다.
답을 만들 수 있는 사례를 모두 보류해서 정확도만 높이는 것을 막는다. 시간초과·도구 실패·사람의 수정시간도 포함하고, 사전에 정한 반복 실행 결과를 모두 공개한다.
성능 목표의 형태
완전 성공률 = 필수 조건과 품질 기준을 모두 충족한 사례 수 ÷ 사전에 고정한 평가 사례 수
이를 먼저 개선하고, 그다음 사람의 수정시간·사례당 비용·처리시간을 줄인다. 안전·근거·개인정보 관련 중대 오류는 가중평균 점수로 상쇄하지 못하게 한다. “정확도 99%” 하나보다, 어떤 사례 200건에서 무엇을 198건 성공했고 나머지 두 건은 왜 실패했는지가 심사에서 훨씬 방어하기 좋다.
토큰을 얼마나 투입하고, 언제까지 돌릴 것인가
토큰을 많이 투입할 수는 있지만, 목표 달성을 보장하는 토큰 수는 현재 산정할 수 없다. 아직 기준 성능과 오류 분포가 없기 때문이다. 대신 성능 향상이 확인될 때만 추가 토큰을 승인하는 구조로 설계할 수 있다.
아래 수치는 성공에 필요한 토큰량의 추정치가 아니라, 선택한 프로젝트 한 개를 위한 실험 운영 한도 제안이다.
| 단계 | 누적 토큰 한도 예시 | 이 단계에서 확인할 것 |
|---|---|---|
| 진단 단계 | 200만 토큰 | 평가기와 기준 성능 구축. 반복 가능한 주요 실패 유형이 실제로 있는가 |
| 개선 단계 | 2,000만 토큰 | 실패 유형별 코드·문서 처리·검증 개선. 실제 개발용 성능이 계속 올라가는가 |
| 확대 단계 | 최대 5,000만 토큰 | 개선 효과가 확인된 부분만 확대. 보안·예외·반복 실행 안정성 검증 |
입력·출력·캐시·비판자·평가 호출을 모두 집계하고, 토큰 한도와 금액 한도를 동시에 둔다. 요금은 선택한 공급자의 실제 단가로 계산해야 하며, 현장 검수·전문가·샘플 제작 비용은 별도다.
반복의 종료 조건
성공 종료
해당 프로젝트의 기술 목표를 충족하고, 사전에 정한 반복 실행에서도 유지되며, 고정한 최종 시험을 통과했을 때다. 사회적 효과까지 성공이라고 하려면 별도의 현장 지표도 충족해야 한다.
원인 재검토
연속 5회 수정에서 실질적인 개선이 없으면 자동 반복을 멈춘다. 오류 원인이 코드인지, 정답의 모호함인지, 입력 정보 부족인지, 잘못 정한 문제 범위인지 분류한다.
강제 종료
금액·토큰 한도 도달, 개인정보 유출 위험, 평가 데이터 오염, 중대 오류 증가가 발생했을 때다. 합격 기준을 낮춰서 ‘완료’로 만들지 않는다.
개발 중의 대규모 Ralph 반복과 실제 서비스 이용 중의 반복은 분리해야 한다. 사용자 한 명의 자료를 처리할 때마다 무제한 반복하는 것이 아니라, 서비스에서는 제한된 재검증만 수행하고 해결되지 않으면 사람에게 넘긴다.
토큰을 충분히 쓰면 어디까지 달성 가능한가
| 후보 | 반복 개발로 달성 가능성을 높일 수 있는 부분 | 토큰만으로 달성할 수 없는 부분 |
|---|---|---|
| 잔여 원단 | 문서→조건 변환, 배정 오류 제거, 검증된 생산계획 생성 | 실제 수요·원단 품질·봉제·납품 |
| 임금 증빙 | 기록 대조, 계산, 누락·상충 표시, 출처 추적 | 없는 증거, 다툼이 있는 사실의 확정, 임금 회수 |
| 실무 재훈련 | 오류 없는 업무 환경, 독립 채점, 훈련 사례 개선 | 실제 사람의 학습 효과와 취업 성과 |
| 아동복 리콜 | 후보 검색, 제품 식별, 잘못된 확정 감소 | 식별정보가 없는 제품의 확정, 실물 유해성 시험 |
| 폭염 작업계획 | 정해진 보호·운영 조건을 지키는 계획과 불가능성 탐지 | 현장 실측, 모든 건강위험의 예측, 실제 이행 |
특히 1번과 5번은 LLM에게 최적화 문제를 끝없이 풀게 하기보다, 검증 가능한 조건으로 변환하고 최적화 프로그램을 올바르게 사용하도록 개선하는 것이 중요하다. 정확한 최적해를 구한 프로그램을 더 많은 토큰으로 “이기는 것”이 목표가 아니다.
최종 선택과 대회까지의 실행안
1번을 먼저 검증하되, 9월 중순까지 현장 협력과 실수요를 확보하지 못하면 3번으로 전환한다. 2번은 노동상담기관 협력이 확보되면 강해지지만 정부 서비스와의 중복을 더 엄격하게 검증해야 한다.
| 시점 | 확보해야 할 결과 |
|---|---|
| 9월 6~13일 | 후보별 관심 조사보다 우선 후보 하나의 외부 협력자·실제 사례 20개·평가 기준 확보 |
| 9월 14~30일 | 강한 기존 방식과 기준 성능 비교. 너무 쉽게 풀리거나 자료 확보가 안 되는 후보 탈락. 한 작품으로 신청 |
| 10월~11월 3일 | Ralph 개발 반복과 첫 현장 사용. 상세기획서에 계획뿐 아니라 실제 실패·개선·사용 기록 반영 |
| 11월~12월 초 | 버전 고정, 최종 시험, 현장 성과 정리, 배포·운영과 시연 완성 |
공식 제출 일정은 9월 30일 참가신청서, 11월 3일 상세기획서, 12월 초 본선 발표자료 및 서비스 개발 결과물 기준이다.
“남는 원단을 보여주는 플랫폼을 만든 것이 아닙니다. 원단의 규격, 생산 여건, 납기를 모두 검증해 실제로 만들 수 있는 주문으로 바꾸었고, 그중 얼마가 검수·납품까지 완료됐는지 증명했습니다.”
여러분 팀의 가장 큰 강점은 일반 개발자보다 코드를 더 빨리 만드는 데 있지 않다. 겉보기에는 맞지만 실제로는 실행할 수 없는 결과를 알아보고, 그 현업 지식을 AI가 통과해야 할 테스트로 만들 수 있다는 점이다. 그 테스트를 먼저 확보하면 Ralph와 대규모 토큰 투입이 실제 성능 개선으로 이어질 수 있다.
검증·참고 출처
본문의 최신성 확인과 차별성 검토를 위해 공식기관 및 원문을 우선 링크했다. 외부 사이트는 새 탭에서 열린다.
공식 홈페이지 · 서비스 개발 본선 완성도·확장성·유용성 각 25점, 예선 협력성 15점.
공식 홈페이지 · 4인 이하, 9/30 참가신청, 11/3 상세기획서, 12월 초 본선 결과물.
원문 · outcome verification, grader 설계, 20~50개 초기 eval 사례, capability/regression 평가 참고.
원문 · 반복 기반 개발 접근의 개념적 참고.
서비스 홈페이지 · 1번 후보의 중복성 비판용 비교 사례.
서비스 홈페이지 · 3번 후보의 범용 교육/평가 서비스 중복성 검토 참고.