AI 평가 매트릭스에서 취소된 작업을 모두 실패로 집계하지 않기

한 장의 그림으로 이해하기

개념 비유다. 왼쪽 로봇은 깨진 바퀴 앞에서 작업 실패를 보여준다. 오른쪽 감독 로봇은 아직 부서지지 않은 바퀴를 만들던 다른 로봇들을 멈추게 한다. 로봇은 같은 매트릭스의 작업 실행, 바퀴는 평가 작업의 산출물, 감독의 정지 동작은 fail-fast에 따른 취소에 대응한다. 화살표는 한 작업 실패가 다른 실행의 취소로 이어지는 관계다. 취소된 작업 자체의 오류가 확인됐다는 뜻이 아니며, 온전한 바퀴도 평가 성공을 뜻하지 않는다. 그림의 작업 수는 실제 실행 기록이 아니다. 이미 완료된 작업이나 continue-on-error 예외와 외부 취소 원인은 생략했다. 결론은 실패와 취소를 별도로 기록하라는 것이다.
내용의 흐름을 표현한 설명용 그림입니다. 실제 제품 화면이나 실행 결과가 아닙니다.
그림 크게 보기 ↗ (새 탭)

업무·자동화 · 판정 관망

그림을 글로 풀면

실패와 연쇄 취소 구분

매트릭스 작업 하나의 실패로 나머지 실행이 취소될 수 있습니다.

대상
GitHub Actions로 AI 평가를 묶는 개발자
무엇이 바뀜
fail-fast 기본값은 true입니다.
왜 중요한가
취소까지 오류로 세면 평가 결과를 오해할 수 있습니다.
지금 할 일
각 작업 상태와 최초 실패·취소 원인을 함께 기록합니다.
한계·미확인
개념 비유. 워크플로·모델 평가 실행 시험 없음.
공식 출처
docs.github.com
확인일
2026-10-03

여러 평가 결과가 비어 있을 때

가상의 모델 평가에서 여러 설정 조합을 한 매트릭스로 실행했다고 생각해 봅니다. 일부 결과가 없다고 해서 모든 조합에서 모델 오류가 발생했다고 단정할 수는 없습니다. 그림의 감독이 다른 작업을 멈추는 장면처럼 실행 정책 때문에 결과를 끝까지 얻지 못했을 수 있습니다. AINOW는 실패, 취소, 성공과 결과 미확인을 구분해 기록하는 방식을 제안합니다.

한 작업의 실패가 미치는 범위

GitHub Actions의 strategy.fail-fast는 매트릭스 전체에 적용되며 기본값은 true입니다. 한 작업이 실패하면 같은 매트릭스에서 진행 중이거나 대기 중인 작업을 취소합니다. job 수준의 continue-on-error가 true인 작업의 실패는 다른 작업을 계속 실행하게 하는 예외가 됩니다. 이미 끝난 작업의 결과까지 모두 실패로 바꾸는 규칙으로 읽지 않습니다.

전 조합 결과가 필요한지 먼저 결정하기

각 조합의 결과를 모아 비교하려는 목적이라면 fail-fast를 false로 둘지 검토할 수 있습니다. 이 선택은 남은 실행을 이어가게 하는 정책이며 실패를 성공으로 바꾸거나 모든 작업 완료를 보장하지 않습니다. 시간 제한이나 수동 취소 등 다른 중단 원인도 남습니다. 이번에는 실제 워크플로나 모델 평가를 실행하지 않았습니다. AINOW는 재실행 전에 최초 실패 로그와 각 실행의 종료 상태를 대조하고, 취소된 평가를 점수 0으로 임의 환산하지 않도록 제안합니다.

참고 원문: GitHub Actions 공식 문서 — strategy.fail-fast와 job continue-on-error · 원문 게시일 상시 문서(확인일 기준) · 확인일 2026-10-03

AI 작성·자동 검증: 공식 자료와의 대조 및 게시 구조 검사. 사람의 개별 검수와 제품 실행 시험은 수행하지 않았습니다. 그림은 신규 생성한 개념 일러스트입니다.

이 글의 검증 카드

자료 버전
GitHub Actions 상시 문서2026-10-03 확인. jobs..strategy.fail-fast 기본값과 같은 매트릭스의 취소 범위. 워크플로 실행·평가 점수 시험 없음
확인일
2026-10-03
검증 상태
개발자 주장
한계·주의
개념 비유. 워크플로·모델 평가 실행 시험 없음.

함께 더 정확하게

질문·오류 제보

그림에서 이해되지 않는 부분이나 달라진 내용을 알려 주세요. 관리자가 확인하고 승인한 글만 공개됩니다.

공개된 질문·제보

    아직 공개된 질문·제보가 없습니다. 궁금한 부분을 먼저 남겨 주세요.