교육담당자 AI 설문 분석, 무응답과 부정 응답이 섞일 때 빈칸의 뜻부터 분리하라

빈 응답에도 서로 다른 사정이 들어 있다

교육담당자가 AI 설문 분석으로 교육 결과를 정리할 때 요약문부터 요청하면 원래 표의 빈칸이 사라질 수 있다. 의견이 없었다는 뜻으로 묶이거나 낮은 점수로 바뀌면 답하지 않은 사람에게 평가를 부여하게 된다. 무응답과 부정 응답이 섞일 때 필요한 첫 작업은 감정 분류가 아니라 각 문항에 누가 어떤 방식으로 답하도록 설계했는지 확인하는 일이다.

설문 전체에 참여하지 않은 경우와 참여했지만 특정 문항을 비운 경우는 다르다. 실습을 하지 않은 사람에게 실습 난도를 묻지 않도록 건너뛰게 했을 수도 있다. 반대로 질문을 보았지만 답하지 않았을 수도 있다. 원본 설문지와 문항 이동 조건을 확인하기 전에는 표의 빈칸만으로 두 상태를 구별할 수 없다. 이유를 모르는 빈칸에는 이유 미확인이라는 상태를 남긴다.

2026년 11월 7일 확인한 영국 통계청 ONS의 노동력조사 품질 보고서는 특정 문항에 답하지 않은 항목 무응답과 조사에 참여하지 않은 단위 무응답을 구분한다. 이는 노동력조사의 정의이며 교육 설문의 점수를 정하는 규정은 아니다. 여기서는 응답 부재를 한 종류의 평가로 합치지 않도록 살피는 참고 기준으로 사용한다.

집계 전에 답의 상태와 계산할 범위를 고정한다

응답 상태 분류표에는 문항 이름, 원래 선택지, 답변 대상, 입력된 값, 빈칸 처리 원칙을 적는다. 부정 응답은 실제로 선택한 낮은 평가나 부정 의견일 때만 해당 범주로 다룬다. 중립 선택지, 해당 없음, 미응답은 별도 상태로 둔다. AI가 편의를 위해 임의의 점수를 붙이거나 주변 답변으로 빈칸을 채우지 않도록 요청하고 사람이 원본과 대조한다.

가상의 사내 AI 교육에서 설명 만족도는 모든 참가자가 답하고, 실습 난도는 실습 참여자만 답하게 했다고 가정해 보자. 실제 교육 자료나 성과가 아닌 연습용 설정이다. 실습 난도 칸이 비어 있는 행을 모두 어려웠다는 의견으로 읽으면 참여하지 않은 사람까지 평가에 포함된다. 실습 참여 여부를 확인할 수 없는 행은 임의로 제외하거나 부정으로 넣지 않고 확인 대기 상태로 남긴다.

문항별 집계 검수표에는 해당 질문에 답할 대상 수, 실제 답변 수, 미응답 수, 해당 없음 수와 계산에 포함한 범위를 기록한다. 비율을 쓴다면 무엇을 분자로, 무엇을 분모로 삼았는지 같은 줄에 설명한다. 모든 문항에 설문 제출자 수를 똑같이 붙이지 않는다. 복수응답 문항에서는 선택 건수와 답한 사람 수가 다른 단위라는 점도 확인한다.

문항별 응답 수 차이가 크다면 비율만 나란히 놓고 선호 순위를 만들지 않는다. 어떤 질문은 일부 참가자에게만 보였는지, 뒤쪽 질문에서 입력이 누락됐는지 원자료로 확인한다. 확인하지 못한 원인을 참여 의지나 교육 만족도의 차이로 단정하지 않는다. 설문 설정이 달라진 회차를 비교할 때도 질문 문구와 선택지, 응답 대상이 같은지 먼저 확인해야 한다.

해석 메모에는 말하지 못할 결론도 남긴다

AI에는 분류표와 집계 검수표를 함께 주고 확인된 응답의 요지, 서로 다른 의견, 판단을 보류할 부분을 나누어 정리하게 한다. 자유 의견이 비어 있다는 이유로 불만이 없다고 쓰지 않으며, 짧은 칭찬만으로 업무 적용이 확인됐다고 설명하지 않는다. 교육의 인상에 대한 답과 실제 수행 기록은 서로 다른 자료다. 설문만으로 확인할 수 없는 변화는 별도 확인 과제로 둔다.

해석 범위 메모는 이 결과가 누구의 어떤 답을 설명하는지 밝히는 문서다. 앞의 가상 교육에서는 실습 난도에 실제 답한 사람의 의견을 정리할 수 있지만 모든 참가자의 난도 인식을 확정할 수는 없다. 응답하지 않은 이유도 추가 자료 없이는 알 수 없다. 낮은 응답 수를 숨기지 않고 다음 조사에서 안내와 문항 구성을 어떻게 확인할지 적는다.

실습에는 이름과 연락처가 없는 가상 응답을 사용한다. 실제 자유 의견은 부서나 사건 설명만으로 작성자를 알아볼 수 있으므로 이름만 지웠다고 외부 도구에 넣지 않는다. 소수 집단의 응답을 그대로 공개하거나 개인의 성향과 역량을 추정하는 분석도 피한다. 원래 응답은 보존하고 분류 과정에서 바꾼 값과 이유를 별도로 기록해 사람이 되짚을 수 있게 한다.

실행 제안은 가상 설문 한 문항을 골라 빈칸과 중립, 해당 없음, 부정 응답을 구분하는 연습이다. 응답 상태 분류표를 만든 뒤 문항별 집계 검수표의 포함 범위를 확인하고 해석 범위 메모를 쓴다. 다른 담당자가 같은 자료로 어떤 행을 세었는지 따라갈 수 있어야 검수가 끝난다. AI 활용 교육의 산출물은 매끄러운 만족도 보고서보다 어떤 답을 근거로 어디까지 설명했는지 확인할 수 있는 기록이어야 한다.