인공지능 시대 ‘일잘러’의 기준 달라질까
대기업 IT 개발직 응시 426명 분석‘복붙형’ 낙제점· ‘검증형’ 고득점
짧고 굵은 핵심형 질문도 고평가
‘얼마나’보다 ‘어떻게’ 쓸지 방점
“인공지능(AI)에게 많이 묻는다고 결과가 좋은 건 아닙니다. ‘얼마나 많이’가 아니라 ‘어떻게’ AI를 썼는지가 당락에 영향을 준 거죠.”
기업 채용에서 소위 ‘AI 활용 능력’ 평가가 확대되는 가운데 소프트웨어 개발·교육·평가 플랫폼 기업 구름 관계자는 19일 고득점자의 특징을 이렇게 설명했다. AI 답변을 ‘복붙’(복사해 붙인)한 경우는 점수가 낮고, AI를 정확성 검증 및 오류 파악에 활용한 ‘검증형’ 점수는 높았다는 것이다. AI라는 전대미문의 도구가 출현했음에도 구직자 스스로의 생각과 판단이 여전히 핵심 역량이었다는 의미다.
지난여름 실시한 한 대기업의 개발직군 채용 평가 응시자 426명을 구름이 분석한 결과, AI 질문 횟수가 전체 응시자의 상위 25% 집단(1330토큰 이상 사용자)에서 35명은 50점 미만을, 69명은 90점 이상을 받았다. 질문을 많이 했다고 모두 고득점을 받은 것은 아니다. 고득점자들은 AI에 풀이 검토, 반례·테스트 케이스를 요청하는 등 AI 결과물의 정확성을 확인하는 데 적극적이었다. 이러한 경향을 보인 이들은 고득점자의 70%였고, 저득점자의 43%였다. 저득점자들은 완성된 정답 코드를 통째로 요청하는 경향이 강했다. 고득점·저득점 집단 모두 문제 수행 평균 시간은 39.8분, 45.6분으로 엇비슷했고 질문 횟수 평균도 6.5건으로 같았다.
‘AI 사용 효율성’도 당락에 영향을 줬다. AI를 적게 쓰면서 고득점을 올린 응시자도 적지 않았기 때문이다. AI 질문 횟수가 하위 25%에 속하면서도 90점 이상을 받은 건 49명이었고 이들은 주로 개념이나 문제 접근법을 짧게 확인하는 데 AI를 활용했다.
이들은 상위 25%에 해당하도록 AI에 많이 물으며 90점 이상을 받은 응시자 69명과 평균 점수가 비슷했다.
이번 평가 대상자는 개발직군 지원자 526명 중 답안을 제출한 426명이다. 이들은 채용 평가에서 AI를 활용해 알고리즘 문제를 풀었고 문제당 AI 질문은 최대 8회, 입력 토큰은 약 2000개로 제한했다. AI에 입력할 수 있는 글의 분량을 제한한 것이다. 구름의 이번 분석은 AI 사용 경험이나 빈도가 아니라 문제 해결 능력과 결과물의 질을 분석했다는 점에서 이례적이다. 다만 구름 관계자는 “이미 풀이를 상당 부분 완성한 응시자가 검증을 더 많이 요청했을 가능성도 있다”고 말했다.
기업들은 AI 도입기를 넘어 ‘업무 생산성과 비용 문제’를 고민하는 시점이어서 구직자에게 AI 활용능력은 물론 가성비도 측정할 수밖에 없다는 입장이다. 대부분 생성형 AI는 질문과 답변을 주고받을수록 비용이 발생한다. 불필요하게 긴 질문을 반복하면 생산성은 저하되고 비용만 높아진다.
대기업 관계자는 “일 잘하는 직원이 AI도 더 잘 쓴다”며 “사안의 핵심이 무엇인지 알고 정확하게 질문하는 직원과 AI가 내놓은 답변을 그대로 가져오는 직원 사이에는 차이가 크다”고 말했다. 다른 관계자는 “필요한 지시를 구체적으로 내리며 결과물의 오류까지 검증할 수 있는 인재가 필요하다”고 했다. AI 시대에 기존의 자기소개서나 에세이 등으로 변별력을 두는 것은 매우 힘들어졌다는 것이다. 이런 결과물과 실제 역량 사이에 괴리가 있는 경우도 적지 않은 상황이다.
다만 취업준비생 입장에서는 단순한 ‘정답 맞히기’에서 AI의 답변에 대한 오류를 찾아내고 타당성을 검증하는 과정까지 평가받는 데다, AI 의존도가 어디까지 허용되는지도 판단해야 해서 취업 준비 과정이 더욱 힘들어졌다.
1년간 전산·행정 분야에서 취업을 준비하는 김모(24)씨는 “실제 채용시험을 쳐 보니 대기업의 경우 자체 거대언어모델(LLM)로 테스트해서 정보량이 한정돼 있었다”며 “질문을 구체적으로 핵심만 해야 제대로 된 답을 얻을 수 있다고 느꼈다”고 말했다. 상경계열에서 구직 중인 이모(26)씨는 “AI로 쓴 자기소개서를 취준생들끼리 면접 연습 과정에서 물어보면 제대로 대답 못 하는 경우가 많았다”면서 “면접에서는 자소서에서 파생된 질문도 나오기 때문에 내용을 완전히 이해하고 관련 지식까지 갖춰야 했다”고 말했다.
송수연·곽소영 기자
세줄 요약
- AI 복붙형 응시자, 낮은 점수 기록
- 검증형 응시자, 반례·오류 확인으로 고득점
- 질문 수보다 질문 방식이 당락 좌우
2026-10-20 1면
Copyright ⓒ 서울신문 All rights reserved. 무단 전재-재배포, AI 학습 및 활용 금지
[ 내안의 AI 본성 분석 :
UNMASK ]
기사 읽는 습관에 숨겨진 당신의 MBTI는?
![THE NEXT : AI 운명 알고리즘 지금, 당신의 운명을 확인하세요 [운세 확인하기]](https://imgmo.seoul.co.kr/img/n24/banner/ban_ai_fortune_v2.png)
