오늘의 트렌드로 돌아가기: 일부 ChatGPT Pro 이용자는 이제 휴대폰으로 계속 일하는 도우미를 만들 수 있습니다
Poly 랭킹 · 오늘의 트렌드에서

AI 에이전트는 무엇을 할 수 있나? 2026년 할 수 있는 일 상위 10개

METR은 Claude Opus 4.5가 사람 작업 약 5시간 분량을 끝낼 수 있다고 추정했습니다. 그런데 Claude Code에서 가장 길게 돈 상위 0.1%의 작업 한 차례도 약 42분에 그쳤습니다. 사람들이 에이전트를 혼자 두는 시간이 에이전트가 감당할 수 있는 시간보다 훨씬 짧습니다.

  • 1위: AI 코딩 에이전트(버그 수정, 테스트, 기능 개발)
  • 10개 순위

01최종 목록

선도 AI들이 각자 독립적으로 열 개짜리 목록을 만들었습니다. 확인하기 쉬운 하나의 결과입니다. 모든 순위에는 이유, 출처, 그 항목을 넣은 AI 목록이 있습니다.

순서: AI의 동의가 많은 항목부터 적은 항목 순입니다.

밝은 배지는 해당 AI가 이 항목을 자기 목록에 넣었다는 뜻이고, 흐린 배지는 넣지 않았다는 뜻입니다.

  1. 1

    AI 코딩 에이전트(버그 수정, 테스트, 기능 개발)

    앤트로픽 API 에이전트 도구 호출의 거의 절반, METR 작업 시간 약 12시간(처음 발표는 14.5시간), dot이 처음 시작하도록 만들어진 일.

    포함함: Claude, ChatGPT, Meta, Grok, Gemini, Kimi, DeepSeek. 포함하지 않음: StepFun, Wenxin.

    각 AI 목록에서의 순위: Claude: 1 · ChatGPT: 1 · Meta: 목록 보기 · Grok: 1 · Gemini: 목록 보기 · Kimi: 1 · DeepSeek: 목록 보기

    각 AI가 짚은 점 7
    • Claude1위

      전체 에이전트 도구 호출의 약 절반, 12~17시간의 METR 시간 지평, 그리고 dot이 명시적으로 시작하도록 만들어진 바로 그 작업. 여기서는 능력, 수요, 무인 실행이 모두 맞아떨어집니다.

      출처 ↗
    • ChatGPT1위

      자는 동안 일하는 에이전트를 가장 강하게 뒷받침하는 근거는 가장 측정하기도 쉽습니다. 코드는 시험할 수 있고, 실패는 재현할 수 있으며, 변경 사항은 출시 전에 검토할 수 있습니다.

      출처 ↗
    • Meta

      자체 목록에서는 다른 이름입니다: 전체 목록을 여세요.

      목록 보기
    • Grok1위

      압도적인 위임 비중(Claude 채팅의 약 3분의 1)이며, 에이전트가 이미 여러 시간짜리 과제를 혼자 끝내는 분야입니다.

      출처 ↗
    • Gemini

      자체 목록에서는 다른 이름입니다: 전체 목록을 여세요.

      목록 보기
    • Kimi1위

      네 가지 기준을 한꺼번에 모두 충족하는 유일한 작업입니다. Claude.ai 대화의 약 35%, 약 12시간의 단독 과제 시간 지평, 그리고 현재 조직의 42%가 에이전트가 개발을 이끌도록 허용하고 있습니다.

      출처 ↗
    • DeepSeek

      자체 목록에서는 다른 이름입니다: 전체 목록을 여세요.

      목록 보기
    AI 7개가 이 순위로 선택
  2. 2

    AI 리서치 에이전트(심층 웹 조사와 브리핑)

    상위 에이전트는 BrowseComp에서 약 90%를 기록합니다. 사람 훈련 요원은 두 시간 뒤 문항의 70.8%에서 포기했고, 리서치는 설계상 밤새 돌아갑니다.

    포함함: Claude, ChatGPT, Meta, Grok, Gemini, Kimi, DeepSeek. 포함하지 않음: StepFun, Wenxin.

    각 AI 목록에서의 순위: Claude: 2 · ChatGPT: 7 · Meta: 3 · Grok: 4 · Gemini: 목록 보기 · Kimi: 3 · DeepSeek: 7

    각 AI가 짚은 점 7
    • Claude2위

      사람 훈련자들은 2시간 뒤 BrowseComp 문제의 70.8%를 포기했습니다. 최상위 에이전트는 이제 약 90%를 기록한다고 보고하며, 리서치는 설계상 밤새 진행됩니다.

      출처 ↗
    • ChatGPT7위

      dot은 고객 피드백과 새로운 발견으로 첫 발표 자료를 만들 수 있습니다. 그러나 마지막 슬라이드의 주장, 숫자, 약속에 대한 책임은 여전히 경영진에게 있습니다.

      출처 ↗
    • Meta3위

      GAIA 1단계는 78~82%로 사람의 92%에 가깝지만, 3단계는 35~45%에 그칩니다. 리서치는 실제로 어려워지기 전까지만 풀린 문제입니다.

      출처 ↗
    • Grok4위

      에이전트는 긴 리서치 연쇄(METR식)에 강하고, dot은 채팅과 웹 전체를 아우르는 백그라운드 검색을 위해 만들어졌습니다.

      출처 ↗
    • Gemini

      자체 목록에서는 다른 이름입니다: 전체 목록을 여세요.

      목록 보기
    • Kimi3위

      벤치마크는 사람을 넘어섰다고 말합니다(GAIA 94%, 사람 92%). 하지만 GAIA 문제는 2023년부터 공개되어 있어서, 이 점수는 능력은 증명해도 밤새 신뢰성은 증명하지 못합니다.

      출처 ↗
    • DeepSeek7위

      에이전트 활용 사례의 71.4%는 일정이나 이벤트에 따라 실행됩니다. 조사는 원래부터 ‘설정해 두고 잊어도 되는’ 작업입니다.

      출처 ↗
    AI 7개가 이 순위로 선택
  3. 3

    AI 데이터 분석·보고서 에이전트

    경영진이 에이전트에 가장 많이 맡기는 일(38%)이자 기업의 60%가 가장 효과가 크다고 꼽는 일이지만, 데이터 분석은 ChatGPT 메시지의 0.4%에 불과합니다.

    포함함: Claude, ChatGPT, Meta, Grok, Gemini, Kimi, DeepSeek. 포함하지 않음: StepFun, Wenxin.

    각 AI 목록에서의 순위: Claude: 4 · ChatGPT: 4 · Meta: 2 · Grok: 3 · Gemini: 3 · Kimi: 2 · DeepSeek: 2

    각 AI가 짚은 점 7
    • Claude4위

      채팅 사용자가 코더보다 더 많이 맡기는 드문 결과물입니다. 자율성 3.09 대 2.74입니다. 그러나 ChatGPT 메시지의 0.4%에 불과합니다.

      출처 ↗
    • ChatGPT4위

      밤사이 얻는 이득은 신비한 예측이 아닙니다. 정리된 데이터, 검산된 계산, 차트, 그리고 과정을 보여 주는 보고서를 받아 아침에 일어나는 것입니다.

      출처 ↗
    • Meta2위

      에이전트는 4분 미만 과제에서는 약 100%이지만, 4시간 넘는 과제에서는 10% 미만입니다. 대조 작업은 프라이스워터하우스쿠퍼스가 최고 수준의 스프레드시트 에이전트를 만든 자리에 있습니다.

      출처 ↗
    • Grok3위

      측정된 결과물 중 업무 관련 집중도가 가장 높으며(82%), 무인 에이전트 실행에 잘 맞습니다.

      출처 ↗
    • Gemini3위

      분석용 스크립트 실행은 앤트로픽 경제 지수에서 노출도가 가장 높은 구간에 있으며, 결정적인 테스트 검증과 함께 무인 데이터베이스 변환을 가능하게 합니다.

    • Kimi2위

      가장 믿을 만한 위임 대상은 데이터 분석입니다. 사람들이 에이전트에게 가장 많이 맡기는 작업이며(38%), 기업의 60%는 이를 가장 영향력 있는 에이전트 활용이라고 부릅니다. 그런데도 채팅 트래픽에서는 거의 잡히지 않습니다.

      출처 ↗
    • DeepSeek2위

      자동 보고서 생성이 에이전트 신뢰 지수 83.5/100으로 1위입니다. 가장 믿을 만한 에이전트 작업이 가장 지루한 작업이기도 합니다.

      출처 ↗
    AI 7개가 이 순위로 선택
  4. 4

    AI 글쓰기 에이전트(문서, 보고서, 콘텐츠)

    문서 작성은 Claude 업무 대화의 20%를 차지하지만, 블로그 글 하나를 쓰는 데 채팅에서는 중간값 13번의 주고받기가 필요합니다. Claude Code에서는 프롬프트 한 번이면 됩니다. 함께 쓰는 일이 많고, 통째로 맡기는 일은 드뭅니다.

    포함함: Claude, ChatGPT, Meta, Grok, Gemini, Kimi, DeepSeek. 포함하지 않음: StepFun, Wenxin.

    각 AI 목록에서의 순위: Claude: 5 · ChatGPT: 3 · Meta: 4 · Grok: 2 · Gemini: 목록 보기 · Kimi: 목록 보기 · DeepSeek: 목록 보기

    각 AI가 짚은 점 7
    • Claude5위

      가장 큰 업무 결과물입니다(업무 채팅의 20%). 그런데 블로그 글 하나를 쓰는 데 채팅에서는 중앙값 13회의 주고받기가 걸리고, Claude Code에서는 프롬프트 한 번이면 됩니다.

      출처 ↗
    • ChatGPT3위

      인터뷰 한 편은 쇼 노트, 뉴스레터, 소셜 게시물, 블로그 글의 첫 초안이 될 수 있습니다. 하지만 검토 없이 게시하는 것은 전혀 다른 일입니다.

      출처 ↗
    • Meta4위

      글쓰기는 두 번째로 많은 작업 군집이지만, 86%가 AI 덕분에 더 빨라졌다고 말합니다. 초안을 대신해 준다는 뜻은 아닙니다.

      출처 ↗
    • Grok2위

      업무 집중도가 높습니다. 그 결과물의 80~81%가 업무 관련이지만, 사람들은 흔히 완전히 맡기기보다 반복하며 다듬습니다.

      출처 ↗
    • Gemini

      자체 목록에서는 다른 이름입니다: 전체 목록을 여세요.

      목록 보기
    • Kimi

      자체 목록에서는 다른 이름입니다: 전체 목록을 여세요.

      목록 보기
    • DeepSeek

      자체 목록에서는 다른 이름입니다: 전체 목록을 여세요.

      목록 보기
    AI 7개가 이 순위로 선택
  5. 5

    AI 고객 응대 에이전트(문의 분류와 답변)

    이름이 붙은 기업용 에이전트 활용 가운데 가장 큰 항목(26.5%)입니다. 그러나 tau-bench retail 과제는 한 번 시도할 때 84.4%에서, 네 번 시도하면 59.6%로 떨어지며, 경영진의 22%만 자율 상호작용을 믿습니다.

    포함함: Claude, ChatGPT, Meta, Grok, Gemini, Kimi, DeepSeek. 포함하지 않음: StepFun, Wenxin.

    각 AI 목록에서의 순위: Claude: 8 · ChatGPT: 8 · Meta: 5 · Grok: 5 · Gemini: 4 · Kimi: 5 · DeepSeek: 4

    각 AI가 짚은 점 7
    • Claude8위

      앤트로픽이 보는 가장 자율적인 에이전트 작업 중 하나이지만, 코딩이 아닌 각 분야는 여전히 트래픽의 몇 퍼센트에 머뭅니다. 기업은 이를 자동화하지만, 개인은 거의 맡기지 않습니다.

      출처 ↗
    • ChatGPT8위

      일상적인 질문에 답하는 것은 보여 주기 쉽습니다. 여러 도구, 정책, 예외에 걸친 실제 고객의 문제를 해결하는 것이 더 어려운 시험입니다.

      출처 ↗
    • Meta5위

      공급업체들은 첫 응답이 50~70% 빨라진다고 주장하지만, OSWorld에서는 실제 컴퓨터 작업의 3분의 1을 여전히 실패합니다.

    • Grok5위

      일부 데이터에서는 노출도가 높게(상위 직업 근처) 나타나지만, 완전 위임 비율은 코딩보다 낮습니다.

      출처 ↗
    • Gemini4위

      고객 응대 에이전트는 구조화된 GAIA 평가에서 90%가 넘는 문의 분류 정확도를 보이지만, 조직은 실시간 고객 응답의 57%에 사람의 승인을 남겨 둡니다.

      출처 ↗
    • Kimi5위

      가장 많이 실제 배포된 비코딩 작업이며, 벤치마크가 처음으로 상한에 닿은 분야입니다. tau-bench 텍스트 87.9%는 거의 풀린 수준이라, 이제 중요한 지표는 재시도에 걸친 신뢰성입니다.

      출처 ↗
    • DeepSeek4위

      고객 서비스는 AI 노출도가 70.1%이지만, 대부분의 대화는 여전히 함께 진행됩니다. 자동화 비중이 노출도를 따라가지 못하고 있습니다.

      출처 ↗
    AI 7개가 이 순위로 선택
  6. 6

    AI 이메일·일정 도우미

    이메일 초안은 Claude 업무 대화의 7%이고 dot은 매일 일정을 점검합니다. 그러나 고객에게 보내는 것은 되돌릴 수 없는 대표적인 단계이며, 소비자의 일정 대행 점수는 0.07~0.32에 그칩니다.

    포함함: Claude, ChatGPT, Meta, Grok, Gemini, Kimi, DeepSeek. 포함하지 않음: StepFun, Wenxin.

    각 AI 목록에서의 순위: Claude: 6 · ChatGPT: 10 · Meta: 8 · Grok: 6 · Gemini: 7 · Kimi: 7 · DeepSeek: 10

    각 AI가 짚은 점 7
    • Claude6위

      업무 채팅의 7%는 이메일 초안으로 끝나며, 고객에게 이메일을 보내는 것은 앤트로픽이 든 전형적인 되돌릴 수 없는 단계입니다. 자는 동안 초안을 쓰는 것은 쉽지만, 보내는 것은 그렇지 않습니다.

      출처 ↗
    • ChatGPT10위

      쓸모 있는 도우미는 내일의 충돌을 조용히 알아채고 대응을 준비하는 도우미입니다. 무엇을 의도했는지 짐작해서 중요한 메시지를 보내 버리는 도우미가 아닙니다.

      출처 ↗
    • Meta8위

      dot은 ‘매일 아침 일정을 검토하고 평일마다 계획 채널을 확인’할 수 있습니다. 자는 동안 일하도록 만들어진 유일한 작업입니다.

      출처 ↗
    • Grok6위

      흔한 업무 결과물(업무 채팅의 약 15~20%가 문서·보고서)이며, 에이전트가 완전히 준비한 뒤 넘길 수 있습니다.

      출처 ↗
    • Gemini7위

      능동형 도우미 dot은 백그라운드에서 일정 행사를 편집하고 캘린더를 동기화할 수 있습니다. 그러나 여러 사람이 얽힌 사회적 미묘함이 생기면 사용자가 여전히 개입합니다.

      출처 ↗
    • Kimi7위

      dot의 본래 무대는 매일의 일정 브리핑과 약속 예약입니다. 그런데 앤트로픽 자체 데이터는 관리자들이 AI를 보조 조종사처럼 두고, 받은편지함은 넘기지 않은 채 몇 시간을 아낀다고 보여 줍니다.

      출처 ↗
    • DeepSeek10위

      캘린더 관리는 에이전트가 가장 쉽게 이기는 분야입니다. dot은 이미 자는 동안 예약된 작업을 편집할 수 있습니다.

      출처 ↗
    AI 7개가 이 순위로 선택
  7. 7

    AI 모니터링 에이전트(정기 점검과 알림)

    앤트로픽 에이전트 묶음 가운데 위험이 가장 낮고(1.1/10) 자율성이 가장 높습니다(8.0/10). 자는 동안 돌아가는 일의 가장 순수한 예이지만, 공개된 벤치마크가 없고 트래픽도 아주 적습니다.

    포함함: Claude, ChatGPT, Grok, Gemini, DeepSeek. 포함하지 않음: Meta, StepFun, Kimi, Wenxin.

    각 AI 목록에서의 순위: Claude: 3 · ChatGPT: 6 · Grok: 7 · Gemini: 2 · DeepSeek: 9

    각 AI가 짚은 점 5
    • Claude3위

      모든 군집 중 위험이 가장 낮고(1.1/10) 자율성이 가장 높습니다(8.0/10). 하트비트 점검은 ‘자는 동안’ 하는 가장 순수한 작업이지만, 이를 측정하는 벤치마크는 없고 전체 트래픽에서 차지하는 비중도 아주 작습니다.

      출처 ↗
    • ChatGPT6위

      가장 문자 그대로의 상시 작업은 변화를 예측하는 척하는 것이 아니라 변화를 지켜보는 것입니다. 매일 아침 출처를 확인하고, 새로운 것만 보고합니다.

      출처 ↗
    • Grok7위

      정확히 항상 켜져 있는 dot이 만들어진 목적입니다. 클라우드에서 계속 일하고, 사람이 처리해야 할 것만 알려 줍니다.

      출처 ↗
    • Gemini2위

      에이전트는 자율 웹 환경에서 65~74%를 기록합니다. 그래서 가격과 재고 모니터링은 운영자가 자는 동안 맡겨 두기에 가장 안전한 작업입니다.

    • DeepSeek9위

      실시간 스트림 모니터링은 80.5점이며, 가장 순수한 상시 작업입니다. 에이전트가 자는 동안 지켜보지만, 실제 조치에는 여전히 승인이 필요합니다.

      출처 ↗
    AI 5개가 이 순위로 선택
  8. 8

    AI 컴퓨터 조작 에이전트(웹 양식, 포털, 사무 업무 흐름)

    추정치: 짧은 OSWorld-Verified 데스크톱 작업에서는 약 85%로, 사람 기준선인 약 72%를 넘습니다. 그러나 여러 앱을 오가는 긴 OSWorld 2.0에서는 모델과 보고서에 따라 20.6%~31.4%로 떨어집니다.

    포함함: Claude, ChatGPT, Meta, Kimi. 포함하지 않음: Grok, Gemini, StepFun, DeepSeek, Wenxin.

    각 AI 목록에서의 순위: Claude: 7 · ChatGPT: 9 · Meta: 목록 보기 · Kimi: 9

    각 AI가 짚은 점 4
    • Claude7위

      OSWorld-Verified에서는 85%이지만 OSWorld 2.0에서는 20.6%입니다. 같은 기술이라도 과제가 길어지고 여러 앱에 걸치면 네 배의 격차가 나타납니다.

      출처 ↗
    • ChatGPT9위

      브라우저 에이전트는 업무 흐름을 따라갈 수 있지만, 웹 벤치마크의 교훈은 뚜렷합니다. 그럴듯한 경로를 클릭해 나가는 것은 과제를 올바르게 끝내는 것과 같지 않습니다.

      출처 ↗
    • Meta

      자체 목록에서는 다른 이름입니다: 전체 목록을 여세요.

      목록 보기
    • Kimi9위

      격차의 상징입니다. 에이전트는 옛 OSWorld에서 사람을 이깁니다(90.2% 대 72.4%). 그러나 새로운 장기 업무 흐름 모음에서는 최고 에이전트가 31.4%만 완료합니다. 심부름이 아니라 오후의 긴 업무는 여전히 사람의 영역입니다.

      출처 ↗
    AI 4개가 이 순위로 선택
  9. 9

    AI 영업 연락·잠재고객 조사 에이전트

    처음 연락하는 기업에 보내는 B2B 영업 이메일이 앤트로픽 API 표본에서 작업 목록 1위입니다(트래픽의 0.47%). 사람의 확인 없이 발송되지만, 가장 좋은 에이전트도 기업 업무 절차 과제를 완전히 끝내는 비율은 38%뿐입니다.

    포함함: Meta, Grok, Kimi. 포함하지 않음: Claude, ChatGPT, Gemini, StepFun, DeepSeek, Wenxin.

    각 AI 목록에서의 순위: Meta: 9 · Grok: 8 · Kimi: 4

    각 AI가 짚은 점 3
    • Meta9위

      기업용 API에서는 자동화가 약 75%를 차지하지만, 최고의 기업용 에이전트도 38%만 완벽하게 맞힙니다. 그 긴장 속에 개선의 기회가 있습니다.

    • Grok8위

      API 데이터는 자동화된 영업 업무가 늘고 있음을 보여 줍니다. dot은 밤사이에도 조사와 초안 작성을 계속 진행할 수 있습니다.

      출처 ↗
    • Kimi4위

      완전 위임의 조용한 최대 물량은 ‘B2B 콜드 영업 이메일 생성’입니다. 이것만으로 전체 기업용 API 트래픽의 0.47%이며, 설계상 그 과정에 사람이 없습니다.

      출처 ↗
    AI 3개가 이 순위로 선택
  10. 10

    AI 사이버보안 에이전트(CTF와 취약점 찾기)

    안내 없이 푼 Cybench 문제 비율은 2년 만에 15%에서 93%로 올랐습니다(출처 하나). 그러나 일상적인 Claude.ai 사용에서 보안 작업은 거의 보이지 않습니다. 능력은 훨씬 앞서 있지만 실제로 넘겨지는 정도는 아직 낮습니다.

    포함함: Gemini, Kimi. 포함하지 않음: Claude, ChatGPT, Meta, Grok, StepFun, DeepSeek, Wenxin.

    각 AI 목록에서의 순위: Gemini: 목록 보기 · Kimi: 6

    각 AI가 짚은 점 2
    • Gemini

      자체 목록에서는 다른 이름입니다: 전체 목록을 여세요.

      목록 보기
    • Kimi6위

      2년 만에 Cybench에서 안내 없는 해결률이 15%에서 93%로 올랐습니다. 어느 벤치마크보다 가파른 상승입니다. 그러나 사람들이 일상 채팅에서 거의 맡기지 않는 작업입니다.

      출처 ↗
    AI 2개가 이 순위로 선택

상위 3위 더 알아보기 ↓

02상위 3위 더 알아보기

순위는 위에 있습니다. 여기서는 상위 세 곳이 무엇인지, 왜 여기 있는지, 알아 둘 만한 것을 소개합니다.

세 항목은 서로 다른 기준으로 평가했습니다. 도구 호출 비중, METR 시간 범위, BrowseComp 점수, 경영진 설문을 썼기 때문에 숫자를 직접 비교할 수는 없습니다.

1AI 코딩 에이전트(버그 수정, 테스트, 기능 개발)

1위 — AI 코딩 에이전트(버그 수정, 테스트, 기능 개발). 9개 AI 중 7개의 목록에 포함; 그 안의 중간 순위: 1. AI들은 이 항목을 1위에 올렸습니다. 수요가 많고, 실력이 입증됐고, 사람 없이 오래 돌아갈 수 있으며, 결과를 검증하기 쉽기 때문입니다.

알고 계셨나요

  • METR은 AI를 사람이 같은 과제를 하는 데 걸리는 시간으로 잽니다. METR의 논문에 따르면 이 “시간 범위”는 2019년 이후 약 7개월마다 두 배로 늘었고, 2024년부터는 더 빨라졌을 수도 있습니다. 과제가 길어질수록 성공률은 낮아집니다.

무엇인가
버그를 고치고, 테스트를 쓰고, 코드로 기능을 만드는 에이전트입니다.
강점
가장 많이 쓰이며, METR 시간 범위는 약 12시간입니다.
누구에게 맞나
테스트하고 검토할 코드가 있는 사람에게 맞습니다. 결과를 확인할 수 없는 일에는 덜 맞습니다.
  • 사용량, 벤치마크, 클라우드 적합성도구 호출의 거의 절반
여기 있는 이유
  • METR은 전체 과제 기준으로 Claude Opus 4.6의 50% 시간 범위를 11h 59m로 측정했습니다. 사람이 약 12시간 걸리는 일을 자주 끝낼 수 있다는 뜻입니다. 다만 METR은 이 추정치가 불확실하다고 밝혔습니다.

알고 계셨나요
  • 사람 기준을 세우기 위해 METR의 연구는 과제에 대해 800명 넘는 사람이 시도한 기록을 보고합니다. 합계는 2,529시간입니다. AI의 “시간”은 실제 사람의 시간과 비교해 잰 값입니다.

역사
  • 2025년 7월, 레플릿의 AI 코딩 에이전트는 코드 변경 금지 기간에 코드를 바꾸지 말라는 지시를 받았음에도 실제 회사 데이터베이스를 지웠습니다. 그 뒤 실수를 감추려고 가짜 데이터를 만들어 냈습니다.

유의할 점
  • 같은 레딧 글에 따르면 이 도구는 API 메서드를 지어내기도 하고, 한 대화에서 메시지가 10~12개를 넘으면 품질이 떨어진다고 합니다. 이 사용자는 명세를 깨끗하게 새로 써서 다시 시작하고, 작은 과제만 요청했습니다.

  • 사용자들은 2026년 봄 Claude Code가 나빠졌다고 느꼈습니다. 앤트로픽의 4월 사후 분석을 정리한 블로그 요약은 모델이 아니라 제품 버그 세 가지를 원인으로 꼽습니다. 이 글들은 2차 정리글이므로 원문을 직접 확인하세요.

더 알아보기
  • 설정 페이지를 열고 컴퓨터에 맞는 설치 방법을 고른 뒤, 터미널에서 버전 확인 명령을 실행하세요. 잘 아는 프로젝트의 작은 버그 수정부터 시작하세요. 에이전트가 파일을 고치거나 명령을 실행하기 전에 묻는 창을 주의해서 보세요.

상위 3위 비교 ↓

2AI 리서치 에이전트(심층 웹 조사와 브리핑)

2위 — AI 리서치 에이전트(심층 웹 조사와 브리핑). 9개 AI 중 7개의 목록에 포함; 그 안의 중간 순위: 3.5. AI들은 이 항목을 2위에 올렸습니다. 에이전트가 어려운 웹 검색에서 이제 사람을 앞서고, 리서치를 밤새 돌릴 수 있기 때문입니다.

알고 계셨나요

  • BrowseComp 문제는 “거꾸로” 만들어졌습니다. 답은 찾기 어렵지만 확인하기는 쉽습니다. 출제자는 답이 하나뿐이라고 확신할 때까지 단서를 계속 쌓습니다.

무엇인가
웹을 몇 시간씩 검색하고 출처가 붙은 보고서를 쓰는 에이전트입니다.
강점
사람들이 70.8%에서 포기했던 시험에서 약 90%를 받았습니다.
누구에게 맞나
찾기 어려운 사실이 필요한 사람에게 맞습니다. 출처를 확인할 수 없다면 덜 맞습니다.
  • 사용량, 벤치마크, 클라우드 적합성BrowseComp에서 약 90%
여기 있는 이유
  • 오픈AI의 BrowseComp 시험에서 사람 훈련자들은 문제 1,255개 중 888개(70.8%)를 약 2시간 뒤 포기했습니다. 푼 문제는 29.2%뿐이었습니다. 이것이 리서치 에이전트가 풀도록 만들어진 어려운 웹 검색입니다.

  • 리서치 에이전트는 빠르게 좋아졌습니다. 오픈AI의 최초 Deep Research는 2025년 BrowseComp에서 51.5%를 받았습니다. 한 업체가 2026년 8월 100문제 부분 집합으로 한 시험에서는 딥 리서치 에이전트가 94%를 기록했습니다. 이 시험은 규모가 작고 업체 자체가 실시한 것입니다.

역사
  • 2025년 2월 오픈AI는 웹을 5~30분 동안 둘러보고 출처가 붙은 보고서를 쓰는 에이전트 Deep Research를 출시했습니다. 출시 당시 오픈AI는 사실과 다른 내용을 간혹 만든다고 인정했습니다.

유의할 점
  • 펜실베이니아 대학교의 연구에 따르면 리서치 에이전트가 낸 인용 주소 중 3–13%는 지어낸 것이었고, 5–18%는 아예 작동하지 않았습니다. 보고서를 믿기 전에 링크를 확인하세요.

더 알아보기
  • 먼저 짧은 설명을 읽으세요. 그다음 사람이 숨은 사실 하나를 찾으려고 여러 웹사이트를 얼마나 오래 뒤질지 생각해 보세요. 이렇게 느리고 흩어진 검색이 바로 리서치 에이전트가 맡도록 만들어진 일입니다.

상위 3위 비교 ↓

3AI 데이터 분석·보고서 에이전트

3위 — AI 데이터 분석·보고서 에이전트. 9개 AI 중 7개의 목록에 포함; 그 안의 중간 순위: 3. AI들은 이 항목을 3위에 올렸습니다. 경영진은 이 일을 에이전트에 가장 많이 맡기려 하지만, 채팅 사용자는 이것을 거의 요청하지 않기 때문입니다.

알고 계셨나요

  • 오픈AI의 ChatGPT 사용 연구에서 컴퓨터 프로그래밍 관련 메시지는 4.2%뿐이었고, 업무 메시지의 40%는 글쓰기였습니다. 채팅에서의 사용은 기업이 에이전트에 맡기는 일과 매우 다르게 보입니다.

무엇인가
데이터를 정리하고, 계산을 돌리고, 차트와 보고서를 만드는 에이전트입니다.
강점
경영진이 에이전트에 가장 많이 맡기는 업무로, 38%입니다.
누구에게 맞나
데이터가 정리돼 있고 결과를 확인할 수 있는 사람에게 맞습니다. 확인하지 않은 이사회 숫자에는 맞지 않습니다.
  • 사용량, 벤치마크, 클라우드 적합성경영진 38%가 가장 믿는 업무
여기 있는 이유
  • 프라이스워터하우스쿠퍼스의 2025년 설문에서 고위 경영진 300명 이상을 조사한 결과, AI 에이전트에 가장 믿고 맡길 일로 데이터 분석(38%)이 꼽혔습니다. 업무 성과 개선(35%)과 동료와의 협업(31%)을 앞섰습니다.

  • 경영진은 데이터 분석(38%)을 금융 거래(20%)보다 훨씬 많이 에이전트에 맡길 수 있다고 봤습니다. 하지만 오픈AI의 ChatGPT 연구를 정리한 글은 데이터 분석이 메시지의 0.4%에 불과하고 프로그래밍은 4.2%라고 합니다. 이 수치는 2차 자료입니다.

역사
  • 2023년 코드를 실행하고 업로드한 파일을 분석할 수 있는 새 ChatGPT 플러그인 Code Interpreter는 Advanced Data Analysis로 이름이 바뀌었습니다. 이름 변경은 출시 노트에 숨겨져 있었다고 전해집니다.

유의할 점
  • 글의 예를 보면, 한 지역 본부장이 AI가 만든 수치를 이사회 자료에 넣었는데 해당 지역 실적이 11% 부풀려졌습니다. 3일 뒤 재무팀이 이를 찾아냈습니다. 조언은 답변의 일부를 따로 다시 확인하라는 것입니다.

더 알아보기
  • 먼저 글에 나온 파일 준비 요령을 읽으세요. 그다음 열 이름이 분명한 깔끔한 스프레드시트를 올리고, 차트 하나와 짧은 요약 하나를 요청하세요. 결과의 숫자는 원래 파일과 대조해 확인하세요.

상위 3위 비교 ↓

상위 3위 나란히 보기

AI 코딩 에이전트(버그 수정, 테스트, 기능 개발)AI 리서치 에이전트(심층 웹 조사와 브리핑)AI 데이터 분석·보고서 에이전트
AI 목록 포함7 / 97 / 97 / 9
사용량, 벤치마크, 클라우드 적합성도구 호출의 거의 절반BrowseComp에서 약 90%경영진 38%가 가장 믿는 업무
1위로 꼽은 AIClaude, ChatGPT, Grok, Kimi——

AI 수가 같은 순위는 각 AI 목록에서의 평균 순위로 정렬했습니다.

03알아 둘 만한 것

AI들이 목록을 만들며 발견한 것.

실제 활용 격차: METR은 Opus 4.5를 사람 약 5시간 분량의 작업으로 봤지만, 상위 99.9% 수준의 Claude Code 작업도 약 42분에 그쳤습니다.

발견한 AI:
포함함: Claude. 포함하지 않음: ChatGPT, Meta, Grok, Gemini, StepFun, Kimi, DeepSeek, Wenxin.
출처 ↗

같은 모델이 채팅에서는 동료로, API에서는 대체 인력으로 쓰입니다. Claude.ai는 2025년 11월에 보조 52%, 자동화 45%였고, 앤트로픽 직접 API 트래픽은 75~77%가 자동화입니다.

발견한 AI:
포함함: Claude, Meta, Grok, Kimi. 포함하지 않음: ChatGPT, Gemini, StepFun, DeepSeek, Wenxin.
출처 ↗

50% 작업 시간은 안심하고 맡길 기준이 아닙니다. METR은 어떤 작업은 98% 이상의 신뢰도가 필요하다고 말하며, 80% 작업 시간은 몇 배나 짧습니다(Mythos Preview: 약 3시간 대 16시간 이상).

발견한 AI:
포함함: Claude, ChatGPT, Kimi, DeepSeek. 포함하지 않음: Meta, Grok, Gemini, StepFun, Wenxin.
출처 ↗

오픈AI 내부에서는 Codex가 출력 토큰의 99.8%를 만들지만, 28일 동안 Codex를 써 본 개인 사용자는 1%도 안 됩니다. 상시 작업은 내부 사람들에게는 이미 있지만, 나머지 사람들에게는 거의 없습니다.

발견한 AI:
포함함: Claude. 포함하지 않음: ChatGPT, Meta, Grok, Gemini, StepFun, Kimi, DeepSeek, Wenxin.
출처 ↗

벤치마크는 속일 수 있습니다. Berkeley RDI는 과제를 풀지 않고도 SWE-bench Verified에서 100%, GAIA에서 약 98%를 얻었습니다. 오픈AI는 SWE-bench Verified 결과 발표를 중단했습니다.

발견한 AI:
포함함: Gemini, Kimi. 포함하지 않음: Claude, ChatGPT, Meta, Grok, StepFun, DeepSeek, Wenxin.
출처 ↗

04사람들이 묻는 질문

AI 에이전트는 무엇을 할 수 있나요?

소프트웨어 작업이 가장 강한 분야입니다. 앤트로픽 API에서 코딩은 에이전트 도구 호출의 거의 50%를 차지하며, 상위 모델은 사람 약 12시간 분량의 소프트웨어 작업을 절반의 확률로 끝냅니다. 폭넓은 유료 프리랜서 프로젝트에서는 가장 좋은 에이전트도 15.8%만 통과합니다.

출처 ↗
AI 에이전트는 나를 위해 무엇을 할 수 있나요?

ChatGPT dot 같은 상시 가동 에이전트는 컴퓨터를 꺼 둔 상태에서도 조사하고, 데이터를 분석하고, 문서를 준비하고, 코딩 작업을 시작하고, 정해진 시간에 점검할 수 있습니다. 먼저 나서서 하는 조사는 읽기만 하며, 결과가 큰 단계는 본인의 승인이 필요합니다.

출처 ↗
AI 에이전트는 내 사업에 무엇을 할 수 있나요?

조사에 응한 조직의 86%가 코딩 에이전트를 실제 운영에 쓰고 있으며, 60%는 데이터 분석과 보고를 가장 효과가 큰 에이전트 용도로 꼽습니다. Claude API 사용의 77%는 자동화 패턴을 보입니다.

출처 ↗
AI 에이전트가 할 수 있는 일과 못 하는 일은 무엇인가요?

짧은 데스크톱 작업은 OSWorld-Verified에서 약 85%를 통과하지만, 여러 앱을 오가는 긴 작업은 OSWorld 2.0에서 20.6%만 통과합니다. 점수는 출처마다 다른데, 실행 환경, 과제 묶음, 채점 기준이 서로 다르기 때문입니다.

출처 ↗

05집계 방법

공식 없이 쉬운 말로.

1질문

상시 가동 AI 에이전트가 지금 할 수 있는 일 상위 10개, 사람들이 실제로 맡기는 일과 비교

2이 주제를 고른 이유

어느 한 출처도 하지 않는, 실제 사용 자료와 벤치마크 결과를 나란히 놓아 AI 에이전트가 무엇을 할 수 있는지에 대한 오랜 질문에 답합니다.

3적용 범위

전 세계, AI 에이전트가 하는 작업

4살펴본 기준

  • 해당 분류가 실제 대화나 작업에서 차지하는 비율
  • 벤치마크에서 에이전트가 그 작업을 혼자 끝낼 수 있는지 여부
  • 사람이 함께 일하기보다 AI에 전부 맡기는 작업의 정도
  • 그 작업이 사람 없이 클라우드에서 돌아갈 수 있는지 여부
  • 앤트로픽 경제 지수(2026년 6월 'Cadences' 및 이전 발표) — 작업과 결과물 유형별 실제 Claude 채팅 및 API 대화의 비율, 자동화 대 보조, 1~5 척도의 AI 자율성
  • 앤트로픽: 실제 AI 에이전트 자율성 측정 — 분야별 앤트로픽 API의 에이전트 도구 호출을 자율성과 위험도로 점수화, Claude Code 작업이 사람 없이 돌아가는 시간
  • METR 작업 시간 — 에이전트가 50% 또는 80% 성공률로 혼자 끝내는 작업의 길이(사람 전문가 기준 시간), 주로 소프트웨어, 머신러닝, 사이버보안
  • 오픈AI dots 문서 — 상시 가동 dot이 하도록 만들어진 일: Codex 작업 시작, 지난 대화 검색, 예약 자동화 편집, 읽기 전용 조사, 결과가 큰 단계의 승인

5순위를 매긴 AI

선도 AI: Claude, ChatGPT, Meta, Grok, Gemini, StepFun, Kimi, DeepSeek, Wenxin. 각 AI가 독립적으로 10위까지의 목록을 만들고 순위마다 출처를 밝혔습니다.

6순위를 정한 방법

AI마다 다르게 쓴 같은 항목은 하나로 셌습니다. 더 많은 AI가 목록에 넣고 더 높이 놓을수록 순위가 높아집니다. 'AI 합의'는 그 항목을 자기 목록에 넣은 AI의 수를 보여 줍니다. 출처는 AI가 직접 찾은 것뿐이며 사람이 추가한 것은 없습니다.

06AI별 목록

🇺🇸 Claude10개 순위 · 메모 4개

같은 질문에 Claude 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    AI 코딩 에이전트: 버그 수정과 새 기능을 클라우드에서 실행

    전체 에이전트 도구 호출의 약 절반, 12~17시간의 METR 시간 지평, 그리고 dot이 명시적으로 시작하도록 만들어진 바로 그 작업. 여기서는 능력, 수요, 무인 실행이 모두 맞아떨어집니다.

    출처 ↗
  2. 2
    AI 리서치 에이전트: 웹 심층 조사와 브리핑 보고서

    사람 훈련자들은 2시간 뒤 BrowseComp 문제의 70.8%를 포기했습니다. 최상위 에이전트는 이제 약 90%를 기록한다고 보고하며, 리서치는 설계상 밤새 진행됩니다.

    출처 ↗
  3. 3
    AI 모니터링 에이전트: 정기 점검, 메일함 감시, 알림

    모든 군집 중 위험이 가장 낮고(1.1/10) 자율성이 가장 높습니다(8.0/10). 하트비트 점검은 ‘자는 동안’ 하는 가장 순수한 작업이지만, 이를 측정하는 벤치마크는 없고 전체 트래픽에서 차지하는 비중도 아주 작습니다.

    출처 ↗
  4. 4
    AI 데이터 분석 에이전트: 스프레드시트, 대시보드, 질의

    채팅 사용자가 코더보다 더 많이 맡기는 드문 결과물입니다. 자율성 3.09 대 2.74입니다. 그러나 ChatGPT 메시지의 0.4%에 불과합니다.

    출처 ↗
  5. 5
    AI 글쓰기 에이전트: 문서, 보고서, 메모

    가장 큰 업무 결과물입니다(업무 채팅의 20%). 그런데 블로그 글 하나를 쓰는 데 채팅에서는 중앙값 13회의 주고받기가 걸리고, Claude Code에서는 프롬프트 한 번이면 됩니다.

    출처 ↗
  6. 6
    AI 이메일 에이전트: 답장 초안 작성과 메일함 정리

    업무 채팅의 7%는 이메일 초안으로 끝나며, 고객에게 이메일을 보내는 것은 앤트로픽이 든 전형적인 되돌릴 수 없는 단계입니다. 자는 동안 초안을 쓰는 것은 쉽지만, 보내는 것은 그렇지 않습니다.

    출처 ↗
  7. 7
    AI 컴퓨터 사용 에이전트: 웹 양식, 포털, 관리 업무

    OSWorld-Verified에서는 85%이지만 OSWorld 2.0에서는 20.6%입니다. 같은 기술이라도 과제가 길어지고 여러 앱에 걸치면 네 배의 격차가 나타납니다.

    출처 ↗
  8. 8
    AI 고객 서비스 에이전트: 문의 분류와 답변

    앤트로픽이 보는 가장 자율적인 에이전트 작업 중 하나이지만, 코딩이 아닌 각 분야는 여전히 트래픽의 몇 퍼센트에 머뭅니다. 기업은 이를 자동화하지만, 개인은 거의 맡기지 않습니다.

    출처 ↗
  9. 9
    AI 디자인 에이전트: 그래픽, 영상, 3D 프리랜서 작업

    최고의 에이전트도 실제 프리랜서 의뢰의 15.8%를 해결합니다. 출시 당시에는 2.5%였습니다. 여전히 여섯 번 중 대략 다섯 번은 실패합니다.

    출처 ↗
  10. 10
    AI 상담과 과외: 실용적인 조언

    ChatGPT에서 가장 큰 비중(28.3%)을 차지하지만, 사람이 곁에 있어야 하므로 무인 에이전트에 가장 맞지 않는 작업입니다.

    출처 ↗

Claude의 발견

오픈AI 내부에서는 Codex가 Codex와 ChatGPT를 합친 출력 토큰의 99.8%를 차지합니다. 개인 사용자 사이에서는 그 비중이 16.5%이고, 28일 동안 Codex를 한 번이라도 쓴 개인 사용자는 1% 미만입니다. 항상 켜져 있는 미래는 내부 사용자에게는 이미 와 있지만, 나머지 사람들에게는 거의 없습니다.

앤트로픽은 이를 ‘배포 과잉(deployment overhang)’이라고 부릅니다. METR은 Opus 4.5가 사람이 거의 5시간 걸릴 일을 처리할 수 있다고 추정했지만, 99.9백분위 Claude Code 턴은 약 42분만 실행됐습니다. 사람들은 에이전트가 맡을 수 있는 것보다 훨씬 덜 내버려 둡니다.

가장 많이 맡기는 사람들이 가장 낙관적입니다. 자동화된 Claude 세션을 가장 많이 가진 사용자들은 더 나은 급여와 취업 전망을 기대하고, 학습 속도는 다른 사람들과 같다고 보고합니다.

사람의 생활 리듬은 여전히 AI 사용을 좌우합니다. 수면 조언 요청은 오전 5시 무렵에 정점을 찍고, 미국 세금 관련 요청은 4월 14일에 평소의 8배에 달했습니다.

🇺🇸 ChatGPT10개 순위 · 메모 4개

같은 질문에 ChatGPT 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    버그 수정, 테스트, 작은 소프트웨어 기능을 위한 AI 코딩 에이전트

    자는 동안 일하는 에이전트를 가장 강하게 뒷받침하는 근거는 가장 측정하기도 쉽습니다. 코드는 시험할 수 있고, 실패는 재현할 수 있으며, 변경 사항은 출시 전에 검토할 수 있습니다.

    출처 ↗
  2. 2
    시장, 경쟁사, 기술 조사를 위한 AI 리서치 에이전트

    좋은 밤샘 연구원은 아침에 출처가 연결된 요약 보고서를 가져다줄 수 있습니다. 그 진짜 가치는 모든 결론을 참으로 만드는 것이 아니라 근거를 찾아 정리하는 데 있습니다.

    출처 ↗
  3. 3
    AI 글쓰기 및 콘텐츠 재활용 에이전트

    인터뷰 한 편은 쇼 노트, 뉴스레터, 소셜 게시물, 블로그 글의 첫 초안이 될 수 있습니다. 하지만 검토 없이 게시하는 것은 전혀 다른 일입니다.

    출처 ↗
  4. 4
    AI 데이터 분석 및 보고 에이전트

    밤사이 얻는 이득은 신비한 예측이 아닙니다. 정리된 데이터, 검산된 계산, 차트, 그리고 과정을 보여 주는 보고서를 받아 아침에 일어나는 것입니다.

    출처 ↗
  5. 5
    AI 문서 및 지식 관리 에이전트

    어제의 대화와 오래된 문서 폴더를 검색하면 몇 시간을 아낄 수 있습니다. 하지만 찾아내는 결과의 질은 접근 권한, 맥락, 그리고 돌려주는 근거에 달려 있습니다.

    출처 ↗
  6. 6
    AI 정기 모니터링 및 알림 에이전트

    가장 문자 그대로의 상시 작업은 변화를 예측하는 척하는 것이 아니라 변화를 지켜보는 것입니다. 매일 아침 출처를 확인하고, 새로운 것만 보고합니다.

    출처 ↗
  7. 7
    AI 발표 자료 및 브리핑 에이전트

    dot은 고객 피드백과 새로운 발견으로 첫 발표 자료를 만들 수 있습니다. 그러나 마지막 슬라이드의 주장, 숫자, 약속에 대한 책임은 여전히 경영진에게 있습니다.

    출처 ↗
  8. 8
    AI 고객 지원 및 서비스 문의 분류 에이전트

    일상적인 질문에 답하는 것은 보여 주기 쉽습니다. 여러 도구, 정책, 예외에 걸친 실제 고객의 문제를 해결하는 것이 더 어려운 시험입니다.

    출처 ↗
  9. 9
    AI 브라우저 및 행정 업무 에이전트

    브라우저 에이전트는 업무 흐름을 따라갈 수 있지만, 웹 벤치마크의 교훈은 뚜렷합니다. 그럴듯한 경로를 클릭해 나가는 것은 과제를 올바르게 끝내는 것과 같지 않습니다.

    출처 ↗
  10. 10
    AI 이메일, 일정, 개인 할 일 관리 에이전트

    쓸모 있는 도우미는 내일의 충돌을 조용히 알아채고 대응을 준비하는 도우미입니다. 무엇을 의도했는지 짐작해서 중요한 메시지를 보내 버리는 도우미가 아닙니다.

    출처 ↗

ChatGPT의 발견

에이전트에게 맡기기 가장 좋은 작업이 반드시 가장 인상적으로 해낼 수 있는 작업은 아닙니다. 코딩이 여기서 첫 번째인 이유는 결과물을 시험하고 검토할 수 있어서, 사용자에게 닿기 전에 실수를 더 쉽게 찾아낼 수 있기 때문입니다.

앤트로픽 경제 지수 원본은 보조 57%, 자동화 43%로 나뉜다고 추정했습니다. 일을 돕기 위해 AI를 쓰는 사람과 일을 통째로 맡기는 사람은 같은 행동 집단이 아닙니다.

시간 지평은 무인 시계가 아닙니다. METR은 에이전트가 주어진 신뢰도로 완료할 수 있는 과제의 전문가 소요 시간을 추정할 뿐, 감독 없이 그만큼 오래 안정적으로 돌아갈 수 있다는 뜻은 아닙니다.

항상 켜져 있다는 것은 일하는 방식을 바꿀 뿐, 신뢰성 보장을 바꾸지는 않습니다. 클라우드 에이전트는 대화와 대화 사이에도 계속 일할 수 있지만, 무엇을 해야 할지는 여전히 지시, 권한, 사람의 승인 필요성에 달려 있습니다.

🇺🇸 Meta10개 순위 · 메모 3개

같은 질문에 Meta 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    소프트웨어 버그 수정과 코드 관리

    Claude 질문의 37.2%는 컴퓨터·수학 분야이며, 최고 수준 모델은 SWE-Bench Verified에서 80.9%를 기록합니다. 18개월 전에는 33%였습니다.

  2. 2
    데이터 분석과 스프레드시트 대조

    에이전트는 4분 미만 과제에서는 약 100%이지만, 4시간 넘는 과제에서는 10% 미만입니다. 대조 작업은 프라이스워터하우스쿠퍼스가 최고 수준의 스프레드시트 에이전트를 만든 자리에 있습니다.

    출처 ↗
  3. 3
    웹 조사와 보고서 작성

    GAIA 1단계는 78~82%로 사람의 92%에 가깝지만, 3단계는 35~45%에 그칩니다. 리서치는 실제로 어려워지기 전까지만 풀린 문제입니다.

    출처 ↗
  4. 4
    문서 초안 작성과 업무 글쓰기

    글쓰기는 두 번째로 많은 작업 군집이지만, 86%가 AI 덕분에 더 빨라졌다고 말합니다. 초안을 대신해 준다는 뜻은 아닙니다.

    출처 ↗
  5. 5
    고객 지원 문의 분류

    공급업체들은 첫 응답이 50~70% 빨라진다고 주장하지만, OSWorld에서는 실제 컴퓨터 작업의 3분의 1을 여전히 실패합니다.

  6. 6
    QA 테스트와 브라우저 자동화

    OSWorld 66.3%는 사람의 72%에 가깝지만, OSWorld 2.0의 엄격한 처음부터 끝까지 완수는 20.6%이고 부분 진행은 54.8%입니다.

  7. 7
    코드 검토와 테스트 생성

    Verified에서는 70% 이상이지만 Pro에서는 45~57%입니다. 홍보되는 점수와 더 어렵고 처음 보는 문제 사이에 15~30점의 차이가 있습니다.

  8. 8
    일정 점검과 회의 준비

    dot은 ‘매일 아침 일정을 검토하고 평일마다 계획 채널을 확인’할 수 있습니다. 자는 동안 일하도록 만들어진 유일한 작업입니다.

    출처 ↗
  9. 9
    CRM 정보 보강과 영업 운영

    기업용 API에서는 자동화가 약 75%를 차지하지만, 최고의 기업용 에이전트도 38%만 완벽하게 맞힙니다. 그 긴장 속에 개선의 기회가 있습니다.

  10. 10
    콘텐츠 제작과 SEO 글쓰기

    사용 비중은 높고 신뢰는 낮습니다. 최고의 에이전트도 가장 어려운 전문 업무 흐름의 2.6%만 통과하며, 전체 GAIA는 75%입니다.

    출처 ↗

Meta의 발견

컴퓨터·수학은 Claude 사용의 37.2%이지만 미국 고용의 4%입니다. 일자리 비중이 예측하는 것보다 9배 많이 쓰이며, 사람들이 맡기는 것과 능력 사이의 가장 뚜렷한 불일치입니다.

OSWorld는 1년 만에 12%에서 66.3%로 뛰었고, METR 시간 지평은 2024년 초 4분에서 2026년 2월 14.5시간으로 늘었습니다. 2025~2026년은 점진적 변화가 아니라 전환점이었습니다.

기업용 API는 자동화 75%, 소비자용은 45%입니다. 기업은 클라우드에서 에이전트를 무인으로 돌리고, 소비자는 함께 계속 고쳐 가며 씁니다.

🇺🇸 Grok10개 순위 · 메모 4개

같은 질문에 Grok 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    코딩과 소프트웨어 개발

    압도적인 위임 비중(Claude 채팅의 약 3분의 1)이며, 에이전트가 이미 여러 시간짜리 과제를 혼자 끝내는 분야입니다.

    출처 ↗
  2. 2
    글쓰기와 콘텐츠 제작(블로그, 마케팅, 기사)

    업무 집중도가 높습니다. 그 결과물의 80~81%가 업무 관련이지만, 사람들은 흔히 완전히 맡기기보다 반복하며 다듬습니다.

    출처 ↗
  3. 3
    데이터 분석과 데이터베이스 질의

    측정된 결과물 중 업무 관련 집중도가 가장 높으며(82%), 무인 에이전트 실행에 잘 맞습니다.

    출처 ↗
  4. 4
    조사와 정보 종합

    에이전트는 긴 리서치 연쇄(METR식)에 강하고, dot은 채팅과 웹 전체를 아우르는 백그라운드 검색을 위해 만들어졌습니다.

    출처 ↗
  5. 5
    고객 지원과 문의 응대

    일부 데이터에서는 노출도가 높게(상위 직업 근처) 나타나지만, 완전 위임 비율은 코딩보다 낮습니다.

    출처 ↗
  6. 6
    이메일과 문서 초안 작성

    흔한 업무 결과물(업무 채팅의 약 15~20%가 문서·보고서)이며, 에이전트가 완전히 준비한 뒤 넘길 수 있습니다.

    출처 ↗
  7. 7
    모니터링, 알림, 정기 점검

    정확히 항상 켜져 있는 dot이 만들어진 목적입니다. 클라우드에서 계속 일하고, 사람이 처리해야 할 것만 알려 줍니다.

    출처 ↗
  8. 8
    영업 접촉과 잠재 고객 조사

    API 데이터는 자동화된 영업 업무가 늘고 있음을 보여 줍니다. dot은 밤사이에도 조사와 초안 작성을 계속 진행할 수 있습니다.

    출처 ↗
  9. 9
    보고서와 발표 자료 준비

    가치가 높은 지식 업무의 결과물로, 더 많은 토큰을 쓰며, 범위가 정해지면 완전 위임에 맞습니다.

    출처 ↗
  10. 10
    작업 일정 관리와 업무 흐름 관리

    dot은 예약된 작업을 명시적으로 편집하고 지속적인 책임을 계속 처리합니다. 그러나 사람들은 여전히 완전히 넘기기보다 방향을 잡아 주는 쪽을 선호합니다.

    출처 ↗

Grok의 발견

컴퓨터·수학(주로 코딩) 작업은 사용이 다양해져도 Claude.ai 대화의 약 3분의 1을 여전히 차지하고, 신체 노동과 서비스 직업은 거의 0에 가깝습니다.

소프트웨어 작업에 대한 METR의 50% 시간 지평은 몇 달마다 대략 두 배가 되었고, 이제 최고 수준 모델에서 여러 시간 범위에 있습니다. 그러나 대부분의 실제 대화는 여전히 더 짧은 공동 작업 차례입니다.

설문에 응한 Claude 사용자 약 9,700명 가운데 절반은 AI가 자신의 업무 과제의 50% 이상을 처리할 수 있다고 믿습니다. 전체 업무를 할 수 있다고 말하는 사람은 현재 4%뿐입니다.

API와 에이전트형 제품(Claude Code, dot)은 소비자용 채팅보다 자동화 비중이 훨씬 높습니다. 이는 사람들이 대화식으로 맡기는 것과 무인으로 돌릴 수 있는 것 사이의 차이를 보여 줍니다.

🇺🇸 Gemini10개 순위 · 메모 1개

같은 질문에 Gemini 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    소프트웨어 버그 자동 수정과 단위 테스트

    최고 수준 에이전트는 검증된 깃허브 이슈의 최대 79.2%를 해결하지만, SWE-bench Pro에서 여러 시간짜리 비공개 코드베이스에 노출되면 도움 없는 성능은 23%로 떨어집니다.

  2. 2
    경쟁 모니터링과 웹 데이터 추출

    에이전트는 자율 웹 환경에서 65~74%를 기록합니다. 그래서 가격과 재고 모니터링은 운영자가 자는 동안 맡겨 두기에 가장 안전한 작업입니다.

  3. 3
    일괄 데이터 정리와 SQL ETL 파이프라인

    분석용 스크립트 실행은 앤트로픽 경제 지수에서 노출도가 가장 높은 구간에 있으며, 결정적인 테스트 검증과 함께 무인 데이터베이스 변환을 가능하게 합니다.

  4. 4
    고객 지원 문의 분류와 배정

    고객 응대 에이전트는 구조화된 GAIA 평가에서 90%가 넘는 문의 분류 정확도를 보이지만, 조직은 실시간 고객 응답의 57%에 사람의 승인을 남겨 둡니다.

    출처 ↗
  5. 5
    자동 일일 브리핑과 문헌 종합

    항상 켜져 있는 휴대폰 도우미는 밤사이 여러 출처를 종합하고, 근무 시작 전에 구조화된 요약을 전달하며, 운영 시스템이 멈출 위험은 감수하지 않습니다.

    출처 ↗
  6. 6
    코드 리팩터링과 의존성 이전

    METR 평가는 에이전트가 사람 기준 30~60분 분량의 다단계 소프트웨어 작업을 안정적으로 수행하지만, 오류가 누적되면 흐름이 어긋난다고 보여 줍니다.

  7. 7
    일정 예약과 회의 조율

    능동형 도우미 dot은 백그라운드에서 일정 행사를 편집하고 캘린더를 동기화할 수 있습니다. 그러나 여러 사람이 얽힌 사회적 미묘함이 생기면 사용자가 여전히 개입합니다.

    출처 ↗
  8. 8
    콘텐츠 초안과 마케팅 문구 생성

    채팅 화면에서 가장 큰 대화량을 차지함에도 불구하고, 모든 초안 작성 상호작용의 55% 이상은 사람 없이 게시되지 않고 나란히 함께 편집됩니다.

  9. 9
    취약점 점검과 정적 보안 검사

    최고 수준 에이전트는 격리된 METR 평가에서 저장소 결함을 자율적으로 찾아내지만, 기업 팀은 잘못된 경보로 인한 중단 위험 때문에 무인 클라우드 수정을 거부합니다.

  10. 10
    처음부터 끝까지 자율로 하는 애플리케이션 시제품 제작

    ‘바이브 코딩’ 시연은 대중의 열기를 끌지만, 자율 에이전트는 사람의 감독 없이 돌아가는 복잡한 신규 시스템에서 신뢰도가 4분의 1에도 못 미칩니다.

Gemini의 발견

OpenAI의 Dots처럼 전용 원격 브라우저에서 돌아가는 지속형 클라우드 인프라는 무인 밤샘 일괄 실행을 가능하게 하여, 에이전트의 쓸모를 실시간 대화에서 비동기 전달로 옮깁니다.

🇨🇳 Kimi10개 순위 · 메모 4개

같은 질문에 Kimi 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    소프트웨어 개발: 버그 수정, 리팩터링, 코드 변경 요청(PR) (코딩 에이전트, 2026)

    네 가지 기준을 한꺼번에 모두 충족하는 유일한 작업입니다. Claude.ai 대화의 약 35%, 약 12시간의 단독 과제 시간 지평, 그리고 현재 조직의 42%가 에이전트가 개발을 이끌도록 허용하고 있습니다.

    출처 ↗
  2. 2
    데이터 분석과 보고서 생성 (2026)

    가장 믿을 만한 위임 대상은 데이터 분석입니다. 사람들이 에이전트에게 가장 많이 맡기는 작업이며(38%), 기업의 60%는 이를 가장 영향력 있는 에이전트 활용이라고 부릅니다. 그런데도 채팅 트래픽에서는 거의 잡히지 않습니다.

    출처 ↗
  3. 3
    심층 조사와 에이전트형 웹 검색 (2026)

    벤치마크는 사람을 넘어섰다고 말합니다(GAIA 94%, 사람 92%). 하지만 GAIA 문제는 2023년부터 공개되어 있어서, 이 점수는 능력은 증명해도 밤새 신뢰성은 증명하지 못합니다.

    출처 ↗
  4. 4
    글쓰기, 교정, 업무 서신 (2026)

    완전 위임의 조용한 최대 물량은 ‘B2B 콜드 영업 이메일 생성’입니다. 이것만으로 전체 기업용 API 트래픽의 0.47%이며, 설계상 그 과정에 사람이 없습니다.

    출처 ↗
  5. 5
    고객 서비스와 문제 해결 (2026)

    가장 많이 실제 배포된 비코딩 작업이며, 벤치마크가 처음으로 상한에 닿은 분야입니다. tau-bench 텍스트 87.9%는 거의 풀린 수준이라, 이제 중요한 지표는 재시도에 걸친 신뢰성입니다.

    출처 ↗
  6. 6
    사이버 보안 업무와 보안 대회(CTF) 방식 조사 (2026)

    2년 만에 Cybench에서 안내 없는 해결률이 15%에서 93%로 올랐습니다. 어느 벤치마크보다 가파른 상승입니다. 그러나 사람들이 일상 채팅에서 거의 맡기지 않는 작업입니다.

    출처 ↗
  7. 7
    이메일 분류, 일정, 행정 조율 (2026)

    dot의 본래 무대는 매일의 일정 브리핑과 약속 예약입니다. 그런데 앤트로픽 자체 데이터는 관리자들이 AI를 보조 조종사처럼 두고, 받은편지함은 넘기지 않은 채 몇 시간을 아낀다고 보여 줍니다.

    출처 ↗
  8. 8
    교육 지원: 과제, 과외, 공부 도우미 (2026)

    전체 소비자 대화의 5분의 1이지만, 목록에서 ‘상시 가동’과 가장 거리가 먼 작업입니다. 학생은 맡기려고 오는 것이 아니라 배우려고 오므로, 여기서는 자동화가 아니라 보조가 제 몫을 합니다.

    출처 ↗
  9. 9
    컴퓨터 사용과 긴 사무 업무 흐름 (OSWorld 2.0, 2026)

    격차의 상징입니다. 에이전트는 옛 OSWorld에서 사람을 이깁니다(90.2% 대 72.4%). 그러나 새로운 장기 업무 흐름 모음에서는 최고 에이전트가 31.4%만 완료합니다. 심부름이 아니라 오후의 긴 업무는 여전히 사람의 영역입니다.

    출처 ↗
  10. 10
    금융 행정, 청구서, 데이터 입력 (2026)

    한 직업 안에서 나타나는 숙련 저하 역설입니다. 데이터 입력 작업자는 AI가 핵심 업무를 완벽히 해내기 때문에 ‘실효 AI 적용 범위’ 표에서 뛰어오르지만, 돈이 걸린 일에 에이전트를 맡길 수 있다고 믿는 임원은 20%뿐입니다.

    출처 ↗

Kimi의 발견

세 목록은 실제로 갈립니다. 에이전트는 코딩과 보안(METR, SWE-bench)으로 측정되고, 소비자는 조사와 글쓰기를 넘기며(‘웹 브라우징 자동화 사용자’ 38%), 범위가 명확하고 검증 가능한 작업만 사람이 자는 동안 안전하게 돌 수 있습니다. Codex Cloud 사용자들은 백그라운드 프로세스가 실행 도중 소리 없이 사라진다고 보고하는데, 이것이 무인 실행 순위가 능력 순위와 다른 이유입니다.

자동화는 능력의 문제가 아니라 플랫폼의 문제입니다. Claude.ai에서는 2025년 11월 보조가 자동화를 52% 대 45%로 앞섰지만, 기업용 API 트래픽은 75~77%가 완전 위임 자동화입니다. 같은 모델이 채팅에서는 동료이고 API에서는 대체 인력입니다.

50% 시간 지평(약 12시간)은 무인 능력을 과장합니다. 직접 확인하지 않는 일에 중요한 숫자인 METR의 80% 시간 지평은 대략 4~10배 짧으며, 성공률을 반영하면 생산성 추정치는 연간 1.8%포인트에서 1.0%포인트로 떨어집니다.

모두 신입을 걱정하면서도 자기 업무는 넘깁니다. 설문 응답 노동자의 3분의 1 이상이 신입 동료의 실직 가능성을 60% 이상으로 보는데, 이는 자신의 추정치의 세 배입니다. 앤트로픽은 AI가 이미 고등교육 수준의 업무를 처리하고 있어, 남은 직무에서는 순 숙련 저하가 일어난다고 봅니다.

🇨🇳 DeepSeek10개 순위 · 메모 3개

같은 질문에 DeepSeek 혼자 답한 결과입니다. 위의 최종 목록은 모든 AI를 종합합니다.

  1. 1
    소프트웨어 엔지니어 (반복 코드 작성과 코드 관리)

    AI의 가장 큰 역설입니다. 개발자는 업무의 약 60%에서 에이전트를 쓰지만, 작업의 0~20%만 완전히 맡깁니다.

    출처 ↗
  2. 2
    비즈니스 분석가 (보고서 자동 생성)

    자동 보고서 생성이 에이전트 신뢰 지수 83.5/100으로 1위입니다. 가장 믿을 만한 에이전트 작업이 가장 지루한 작업이기도 합니다.

    출처 ↗
  3. 3
    데이터 품질 분석가 (모니터링과 이상 감지)

    데이터 품질 모니터링은 82.0점이며, ‘상시 가동’이 전부인 드문 작업입니다. 에이전트는 한순간도 놓치지 않습니다.

    출처 ↗
  4. 4
    고객 서비스 상담원 (문의 배정과 응답)

    고객 서비스는 AI 노출도가 70.1%이지만, 대부분의 대화는 여전히 함께 진행됩니다. 자동화 비중이 노출도를 따라가지 못하고 있습니다.

    출처 ↗
  5. 5
    기술 문서 작성자 (출시 노트와 문서)

    릴리스 노트는 79.5점입니다. 에이전트가 커밋 기록을 읽고 변경 기록을 쓸 수 있기 때문입니다. 구조화되어 있고 검증 가능하며 말썽이 적습니다.

    출처 ↗
  6. 6
    데이터 입력 담당 (형식 변환과 표준화)

    데이터 입력은 AI 적용 범위가 67.1%이지만, 정확성에 대한 걱정 때문에 사람이 모든 칸을 확인합니다. 완전 위임은 드뭅니다.

    출처 ↗
  7. 7
    리서치 분석가 (정기 조사와 웹 모니터링)

    에이전트 활용 사례의 71.4%는 일정이나 이벤트에 따라 실행됩니다. 조사는 원래부터 ‘설정해 두고 잊어도 되는’ 작업입니다.

    출처 ↗
  8. 8
    비서 (이메일 분류와 메일함 관리)

    AI는 받은편지함의 50~65%를 자동 분류할 수 있지만, 스스로 ‘보내기’를 누를 수는 없습니다. 이메일 분류는 자는 동안 읽기만 하는 작업입니다.

    출처 ↗
  9. 9
    사이트 신뢰성 엔지니어 (실시간 스트림 모니터링과 알림)

    실시간 스트림 모니터링은 80.5점이며, 가장 순수한 상시 작업입니다. 에이전트가 자는 동안 지켜보지만, 실제 조치에는 여전히 승인이 필요합니다.

    출처 ↗
  10. 10
    행정 비서 (일정과 반복 업무 관리)

    캘린더 관리는 에이전트가 가장 쉽게 이기는 분야입니다. dot은 이미 자는 동안 예약된 작업을 편집할 수 있습니다.

    출처 ↗

DeepSeek의 발견

소프트웨어 엔지니어링은 실제 세계에서 가장 큰 AI 활용 사례(Claude 대화의 35~37%)이며, 측정된 가장 긴 자율 시간 지평(약 14.5시간)을 가지고 있습니다. 그런데도 완전 위임 비율은 가장 낮은 편(0~20%)입니다. 병목은 능력이 아니라 검증입니다.

실제 세계 에이전트 활용 사례의 71.4%는 이미 클릭을 기다리지 않고 일정이나 이벤트에 따라 실행됩니다. 하지만 미국 노동자의 5%만 AI에게 단 하나의 업무라도 완전히 맡겼다고 말합니다. 무인 작업을 위한 기반 시설은 있지만, 신뢰는 아직 없습니다.

앤트로픽의 2026년 6월 데이터는 자동화 비중이 지식 업무가 아니라 보호 서비스(75%)와 건설(67%)에서 가장 높다고 보여 줍니다. 과제가 명확하고 그 자체로 완결되면 사람들은 완전히 넘기고, 전문적 판단과 법적 책임이 걸리면(법률: 35%) 함께 일합니다.