강사 AI 퀴즈 출제, 정답이 둘로 갈릴 때 보기보다 판단 조건을 고쳐라

정답표를 가리고 문항부터 풀어 본다

강사가 AI 퀴즈 출제로 직무교육의 이해도를 확인하려 할 때, 문항 수가 늘었다고 평가 준비가 끝난 것은 아니다. 정답이 둘로 갈릴 때 해설을 더 길게 붙이면 출제자의 의도는 설명할 수 있어도 학습자가 처음 본 질문의 모호함은 남는다. 교육담당자는 정답 번호를 먼저 확인하기보다 질문에 주어진 정보만으로 선택을 좁힐 수 있는지 살펴야 한다.

첫 검토에서는 정답표와 해설을 가린다. 강사 두 사람이 같은 문항을 읽고 자신이 추가로 가정한 조건을 따로 적는다. 한 사람은 평상시 절차를, 다른 사람은 긴급 상황을 떠올렸다면 지식 차이보다 문제의 상황 설명을 점검할 이유가 생긴다. 다수의 선택을 정답으로 삼지 않고 각 판단이 문항 안의 어느 단서에 기대었는지 비교한다.

2026년 11월 10일 확인한 워털루대학교 교수학습센터의 객관식 문항 설계 안내는 질문 부분에 문제를 충분히 제시하고, 하나의 최선 답이 있도록 만들 것을 권한다. 이는 문항 설계의 참고 자료이며 특정 국내 시험의 심사 규정은 아니다. 여기서는 정답 해설에만 있는 조건을 질문으로 옮겨야 하는지 검토하는 출발점으로 활용한다.

빠진 조건을 넣되 정답을 암시하지 않는다

가상의 장비 대여 교육에서 반납된 장비에 이상 표시가 발견됐다고 하자. 다음 행동의 보기에는 점검 담당자에게 전달하기와 대여 목록의 상태를 바꾸기가 함께 있다. 둘 다 필요한 일이라면 단순히 가장 적절한 것을 고르라는 말로는 우선순위가 정해지지 않는다. 실제 기관의 절차나 사고가 아닌 교육용 가상 설정이다.

이 문항은 규칙을 기억하는지, 위험한 장비의 재대여를 막는 판단을 하는지부터 정해야 한다. 후자를 묻는다면 가상 절차 자료에 이상 표시 장비는 점검 전에 재대여되지 않도록 상태를 먼저 전환한다는 조건을 명시한다. 질문에는 현재 상태와 판단할 시점을 제시한다. 근거 자료에도 없는 순서를 정답 해설에서 새로 만들지는 않는다.

판단 조건 문항지에는 학습 목표, 제공할 절차 자료, 상황, 질문, 선택지를 한 묶음으로 둔다. 문항이 묻는 행동의 시점과 범위가 보이게 하되 정답 보기의 표현을 질문에 반복해 답을 암시하지 않는다. 현장에서 여러 행동을 동시에 해야 하는데 하나만 고르게 만들었다면, 단계별 판단으로 나누거나 다른 응답 방식으로 바꾸는 편이 맞을 수 있다.

선택지별 근거표는 정답 설명만 쓰는 표가 아니다. 보기마다 어떤 조건에서 타당한지, 현재 문항에서는 왜 채택하거나 제외하는지를 적는다. 두 보기에 같은 근거가 붙으면 표현 하나를 억지로 틀리게 만들기 전에 질문이 둘을 구별하는 정보를 주었는지 본다. 선택지의 길이와 문체만 고쳐서는 판단 조건 누락을 해결할 수 없다.

수정한 문항은 해설 없이 다시 검토한다

AI에는 검토할 목표와 허용한 절차 자료를 제공하고, 각 보기를 정답이라고 주장할 수 있는 조건을 찾아 보도록 요청할 수 있다. 이때 새 규정을 만들거나 실제 조직의 관행을 추정하지 않도록 범위를 제한한다. 생성된 반론은 오류의 확정 판정이 아니라 사람이 자료와 대조할 검토 후보로 다룬다. AI가 자기 문항에 동의했다는 사실도 검수 통과의 증거가 아니다.

동료 검토 수정 기록에는 최초 선택, 가정한 조건, 발견한 모호함, 고친 위치, 다시 읽은 결과를 남긴다. 앞의 가상 장비 문항이라면 재대여를 막는 시점을 분명히 한 수정인지, 두 행동 중 하나를 불필요하게 보이게 바꾼 것인지 구분한다. 정답을 지키려고 업무 원리를 왜곡하면 퀴즈는 맞히기 쉬워져도 학습 목표에서는 멀어진다.

수정 후에는 해설을 보지 않은 검토자가 문항을 다시 푼다. 선택한 이유가 추가한 상황 조건에서 나오는지, 특정 보기만 유난히 상세해서 눈에 띄는 것은 아닌지 확인한다. 검토자가 다른 답을 골랐다면 틀렸다고 바로 처리하지 않는다. 제공 자료의 어느 부분을 근거로 삼았는지 먼저 듣고 문항 수정과 내용 설명 중 필요한 조치를 나눈다.

입문 워크숍은 학습 확인용 문항을 다룬다. 실제 자격시험의 비공개 문제, 응시자 답안과 성적, 다른 출제자의 고유 사례는 사용하지 않는다. 실제 선발·인증에 쓸 평가라면 이 실습만으로 타당성이나 공정성이 확보됐다고 선언하지 않고 해당 평가의 전문 검토 절차를 따른다. AI가 문항을 만들었다는 이유로 저작권과 비밀유지 검토가 사라지는 것도 아니다.

실행 제안은 문항을 많이 만드는 대신 한 문항의 정답표를 가리고 서로 다른 선택의 이유를 수집하는 것이다. 판단 조건 문항지를 고친 뒤 선택지별 근거표와 동료 검토 수정 기록을 함께 남긴다. 다른 선택이 사라졌다는 결과만 보지 말고 무엇을 추가하거나 덜어 내어 판단이 달라졌는지 설명한다. 교육의 산출물은 문제 묶음보다 한 문항을 공개할 수 있다고 판단한 근거에 두어야 한다.