폰테크 홈페이지 “박사급이라면서 왜 이렇게 답답하죠?”···AI 성능 측정, 이젠 ‘일머리’도 따진다 [경제밥도둑] > 갤러리

폰테크 홈페이지 “박사급이라면서 왜 이렇게 답답하죠?”···AI 성능 측정, 이젠 ‘일머리’도 따진다 [경제밥도둑]

페이지 정보

작성자 행복이 댓글 0건 조회 1회 작성일 26-05-27 10:34

본문

폰테크 홈페이지 “현실 업무를 위한 새로운 유형의 지능.”
오픈AI는 지난달 새로운 프론티어 모델인 GPT-5.5를 공개하며 이렇게 소개했다. GPT-5.5는 경쟁사인 앤트로픽의 오퍼스 4.7보다 복잡한 에이전트 코딩·전문 업무·컴퓨터 조작 등에서 더 높은 점수를 기록했다. 다만 초고난도 지식 해결, 과학 추론 등에서는 오퍼스 4.7의 점수가 더 높았다.
오픈AI는 “지금까지 나온 자사 모델 중 가장 똑똑하고 직관적으로 쓸 수 있는 모델”이라며 “사용자가 하려는 일을 더 빨리 이해하고 더 많은 작업을 스스로 해낼 수 있다”고 말했다.
구글도 지난 19일 새 경량 모델인 제미나이 3.5 플래시를 내놓으면서 “(기존 프론티어 모델인) 제미나이 3.1 프로보다 주요 코딩·에이전트 벤치마크에서 앞섰다”면서 “속도 면에서는 타사 프론티어 모델보다 4배 빠르다”고 내세웠다.
생성형AI 새 모델이 나올 때마다 AI의 사고·추론 성능 못지 않게 이 능력을 계량적으로 평가하는 ‘벤치마크’ 점수에 눈길이 쏠린다. 회사의 이전 모델은 물론 경쟁사의 벤치마크 점수를 뛰어넘느냐가 사용자들의 평가 기준이 되기 때문이다.
1~2년새 AI의 평가 점수는 크게 개선됐지만 이를 평가하는 벤치마크에 대한 회의론도 덩달아 커지고 있다. 시험 문제 맞히기식 평가가 AI의 실제 업무수행 능력을 보여주지 못한다는 것이다. 최근에는 엔지니어링 도면을 그리거나, 법률문서를 작성하는 등 단순한 ‘문제 풀기’를 넘어 실제 AI의 ‘일머리’를 측정하는 방법론이 주목받고 있다.
26일 IT업계에 따르면 현재 AI의 성능을 측정하는 벤치마크 수는 400개가 넘는다. 상당수는 AI가 답이 있는 문제에서 답을 맞히는지 측정하는 ‘시험 풀이형’이다. 직접 짠 컴퓨터 코드를 평가하는 등 특정 영역에 특화된 벤치마크도 여럿 생겼다.
벤치마크 결과만 놓고 보면, AI의 성능 향상 속도는 눈부실 정도다. AI의 코딩 능력을 측정하는 대표 벤치마크인 SWE-벤치 베리파이드(SWE-bench Verified)의 문제해결률은 주요 생성형AI의 경우 2024년 8월 30%대 수준에서 최근 80%대로 뛰었다. 전문지식 수준을 평가하는 GPQA 다이아몬드 점수는 현재 94% 수준을 기록하고 있다. GPQA 다이아몬드는 생물학·물리학 등 과학 분야의 박사급 전문가가 만든 객관식 문제로 구성된 시험이다.
광범위한 분야의 전문지식을 측정하는 인류의 마지막 시험(Humanity’s Last Exam)은 지난해 초까지만 해도 정답률이 한 자릿수대에 머물렀으나 현재는 46.9%(클로드 오퍼스 4.7)로 상승했다.
문제는 이런 AI 성능 향상이 실제 이용자의 체감과는 다소 괴리가 있다는 점이다. 사용자의 의도를 이해하지 못하고 엉뚱한 답변을 내놓거나, ‘그럴듯한’ 답변이 실제로는 오류가 있어 오히려 검토에 시간이 더 들어갔다는 불만도 나온다.
20대 직장인 A씨는 “지난해 말부터 몇 번 주요 AI를 썼는데 정리를 잘해주는 듯하다가도 중간에 확인하면 잘못된 내용들이 들어가 있다”면서 “몇 번 그러다 보니 오히려 확인하는 데 시간을 더 쓰게 되는 경우가 적지 않아 업무에는 제한적으로만 쓰고 있다”고 말했다.
미국 소프트웨어 기업 하네스가 이달 공개한 개발자 대상 설문조사에 따르면 응답자들은 AI 덕분에 코드 생성 속도는 빨라졌지만 코드 검토와 같은 ‘보이지 않는’ 업무량도 크게 늘었다고 답했다. 이들은 업무시간의 31%를 코드 정확성을 검토하거나, 버그를 수정하는 데 쓰는 것으로 조사됐다. 수치로 나타나는 AI의 성능 향상과 달리, AI로 인한 생산성 향상 효과가 생각보다 크지 않을 수 있다는 뜻이다.
올해 들어서는 AI의 기초적인 실수를 희화화하는 테스트도 유행했다. AI 성능비교업체 더 포커스AI는 지난 2월 세차를 위해 50m 떨어진 세차장에 갈 때 걸어갈지, 차를 타고 갈지 물었을 때 131개 AI 모델 중 31개 모델만 정답인 ‘차를 타고 가라’고 답했다고 밝혔다. 박사급 문제도 푸는 AI 모델이 정작 상식적인 문제는 해결하지 못한 셈이다.
‘알파고의 아버지’로 불리는 데미스 허사비스 구글 딥마인드 최고경영자(CEO)도 지난 2월 인도 AI서밋에서 “(현재 AI 시스템은) 과제 간 일관성이 부족하다”면서 “수학 올림피아드 금메달급 성과를 내면서도 초등 수학에서 실수할 수 있다”고 말했다.
이렇다 보니 기존 벤치마크의 실효성에 의문을 품는 이들도 늘고 있다. 객관식 문항 맞추기에 초점이 맞춰진 벤치마크 특성상 일상생활의 업무 수행 능력을 제대로 평가하기 어렵다는 것이다.
무엇을 측정하는지 모호한 벤치마크가 난립하고 있다는 점도 문제로 꼽힌다. 벤치마크가 측정하는 추론능력·안전성·문제 해결능력 등의 정의가 불분명하다는 것이다. 옥스퍼드대 인터넷 연구소 등에 따르면 시중의 445개의 AI 벤치마크 중 통계적 검증 등을 거친 측정 방식을 사용한 벤치마크는 16%에 그쳤다.
이 때문에 최근에는 시험문제 풀이가 아닌 실제 업무 수행 능력을 보는 ‘실전형’ 벤치마크가 확대되는 추세다. 처음보는 문제에 적응하는지, 여러 단계에 걸쳐 있는 복잡한 작업을 인간 개입없이 끝까지 해내는지 등을 측정하는 것이다. 오픈AI가 공개한 자체 벤치마크인 GDPval은 법률 문서나 엔지니어링 도면 같은 실제 업무 산출물을 얼마나 잘 만드는지를 점수로 매긴다. AI가 실제로 경제적 가치를 창출할 수 있는지를 본다는 취지다.
실제 프리랜서 소프트웨어 개발 과제 수행을 평가하는 경우(SWE-Lancer), 여러 앱을 오가며 주요 직군별 업무과제를 수행하는 능력을 평가하는 경우(윈도우즈월드)도 있다.
이병권 경희대 빅데이터응용학과 교수는 “벤치마크 점수가 높다고 성능이 좋다고 볼 수는 없다. 일정 수준 이상이 되면 점수와 소비자 만족도 간 연관성도 낮아진다”면서 “단순히 시험 문제 풀이가 아니라 이용자의 실제 사용 패턴에 얼마나 적합하게 반응하느냐가 (AI 성능의) 척도가 될 것”이라고 말했다.
카카오 노조가 사측과 임금 체계개편 등을 두고 ‘막판’ 협상을 벌인다. 조정이 결렬되면 카카오 본사가 첫 파업 수순을 밟을 것으로 보인다. 성과급 규모 및 보상 체계가 주요 쟁점이지만, 이면에는 과거부터 누적된 불투명한 성과 체계·고용 불안 등이 자리 잡고 있다는 분석이 나온다.
카카오 본사 노사는 27일 오후 3시 경기지방노동위원회에서 2차 조정회의를 진행할 예정이다. 카카오노조는 지난 20일 결의대회에서 파업 투표를 찬성 가결해 조정 결렬 시 창사 이래 첫 본사 파업 수순을 밟을 가능성이 크다. 지난해 6월 카카오모빌리티 노조가 임금 및 단체협약 교섭 결렬로 부분 파업을 진행한 적은 있지만, 카카오 본사 차원에서 단행한 파업은 아직까지 없었다.
이번 협상의 주요 쟁점은 성과급 보상 구조다. 노조는 영업이익의 13~15% 수준의 성과급 지급을 요구한 것으로 알려졌으나, 노조는 “교섭에서 검토된 안 중 하나일 뿐”이라고 선을 그었다. 500만원 상당의 양도제한조건부주식(RSU)을 성과급에 포함하는 것을 두고도 양측의 입장이 엇갈린 것으로 전해졌다.
파업 직전까지 간 데에는 카카오의 고강도 구조조정과 불투명한 성과 분배가 있다는 분석도 나온다. 2024년 정신아 대표 취임 후 계열사 정리·매각이 이어지면서 노사 간 갈등의 골이 깊어졌고, 이후 성과체계에 대한 불만이 쌓이면서 파업 직전까지 오게 됐다는 것이다.
실제 2023년 147개에 달하던 카카오 계열사는 지난해 말 기준 94개 수준으로 줄었다. 약 2년 만에 3분의 1 이상 계열사 수가 감소했다. 특히 포털 ‘다음’ 운영사인 AXZ는 지난해 5월 분사한 지 8개월 만에 매각 협상이 공식화됐다. 매각에 관여한 양주일 AXZ 대표는 매각 결정 이후 일주일 만에 돌연 사퇴했다. 카카오 노조는 당시 양주일 AXZ 대표를 겨냥해 “회사의 미래를 믿고 헌신한 직원들을 사지로 몰아넣고 홀로 탈출하는 모습”이라고 비판했다.
회사 측은 구조조정이 경영상 불가피한 선택이었다는 입장이지만 직원의 불안을 잠재우지 못했다. 특히 지난해에는 카카오모빌리티·카카오엔터테인먼트·카카오헬스케어 등 계열사도 잠재 매각 대상으로 거론되며 직원들의 불안감도 커졌다. 업계 관계자는 “카카오노조가 계열사를 챙기려는 의지가 강한 편”이라며 “고용 안정에 대한 계열사들의 요구를 노사 간 의제로 띄우려 할 수 있다”고 말했다.
구조조정의 영향으로 실적이 역대최고치를 기록했음에도 직원 보상은 박하다는 인식도 작용했다. 카카오는 지난해 매출 8조991억원, 영업이익 7320억원을 기록했다. 영업이익은 1년 전보다 48% 증가해 역대 최고치다.
그러나 지난 2월 지급된 직원 성과급이 연봉의 3~9% 수준에 그치면서 직원들의 반감도 커졌다. 성과급 지급 기준이 따로 공개돼 있지 않은 것도 갈등을 키우는 요인이 됐다. 그간 사측 재량으로 정해진 성과급이 올해 처음 임금협약 의제가 되면서 양측의 줄다리기가 이어졌다.
박성의 카카오지회 부지회장은 지난 20일 결의대회에서 “회사는 위기라며 직원들의 복지를 줄이고 고용을 위협하는 와중에도 실패한 경영진은 수십억 원의 스톡옵션과 퇴직금을 챙겨 나가는 게 현실”이라고 말했다.
회사 커뮤니케이션에 대한 불신도 사태에 기름을 부었다. 정신아 대표는 지난해 3월 주주총회 이후 “다음을 매각할 계획이 없다”고 말했다가 1년도 지나지 않아 매각을 결정한 것이 계기가 됐다. 카카오노조는 지난해 말부터 여러 차례 교섭을 벌였음에도 사측이 교섭 대표만 3번 교체하며 불성실하게 임했다고 주장했다. 사측은 인사상 대표 교체가 불가피했다는 입장이다.
이번 카카오 협상은 향후 IT기업 고용·임금 구조에도 영향을 줄 것으로 보인다. 그간 전면 파업이 드물었던 IT업계에 새로운 관행을 만들 수 있을지도 주목된다.
카카오 관계자는 “성과급·임금 등 주요 의제에서 원만한 합의를 이르도록 내일 협상에 최선을 다할 것”이라고 말했다.
이재명 대통령은 26일 “동남권을 세계적 해양 경제권으로 도약시키기 위해 오래전부터 검토됐던 다른 공공기관이나 기업의 추가 이전도 신속하게 추진해야 되겠다”고 말했다.
이 대통령은 이날 청와대에서 주재한 국무회의에서 “앞으로 동북아 해양 주도권 경쟁이 치열해지는 과정에서 동남권의 지정학적 가치는 더욱더 빛을 발할 것이며, 이를 위해서 동남권에 대한 전략적인 투자를 꾸준하게 이어 나가야 되겠다”면서 이같이 밝혔다.
이 대통령은 “해양수산부에 이어서 HMM도 (부산으로) 이전이 확정됐다”면서 “동남권투자공사 신설, 항만·항공 인프라 확충, 해양 산업 기반 강화 같은 과제도 완수해야 한다”고 말했다.
이 대통령은 “동남권이 남부 해양 수도권의 중심으로 거듭나 국토균형발전과 해양 강국의 미래를 개척하는 쇄빙선이 될 수 있도록 최선을 다하겠다”고 말했다.

이전글인스타 팔로워 멕시코 “이란 축구 대표팀 ‘월드컵 베이스캠프’ 수용키로” 26.05.27
다음글출장용접 출장용접 이혼전문변호사 26.05.27

댓글목록

등록된 댓글이 없습니다.

회원로그인

오늘 본 상품