AI 프로젝트 6개월, 시간 감각이 이상해졌습니다

돌이켜보니 회사에서 AI프로젝트를 시작한 게 지난 4월이었습니다. 이제 6개월 밖에 지나지 않았다는 사실이 비현실적으로 느껴졌는데요, 2년 간의 AI 관련 타임라인을 살펴보니 왜 요즘 저의 시간 개념이 이상해졌는지 이해가 갑니다.

아울러 AI능력의 향상 수준에 대한 현실적인 평가가 돋보이는 글도 있어 공유해봅니다. → Measuring AI Ability to Complete Long Tasks (METR)

아래는 제미나이가 요약해준 내용입니다.

AI의 장기 작업 수행 능력 측정 (Measuring AI Ability to Complete Long Tasks)

1. 문제 제기: 왜 AI는 시험은 잘 보는데 일은 못 할까?

현재 최신 AI 모델들은 변호사 시험이나 코딩 테스트 같은 단발성 시험에서는 인간보다 뛰어난 점수를 받습니다. 하지만 실제 업무 현장(예: 원격 비서 업무, 복잡한 프로젝트 관리)에서는 여전히 사람만큼 유능하지 못합니다. METR은 그 이유를 **"작업의 길이(Length of Tasks)"**에서 찾았습니다. AI는 짧은 질문에 답하는 건 잘하지만, 여러 단계를 거쳐야 하고 시간이 오래 걸리는 '장기 프로젝트'를 수행할 때 문맥을 놓치거나 실수를 누적하여 실패하는 경향이 있습니다.

2. 새로운 측정 기준: '시간'으로 능력을 평가하다

METR은 AI의 지능을 단순히 점수로 매기는 대신, **"인간 전문가가 수행했을 때 얼마나 걸리는 작업인가?"**를 기준으로 삼았습니다.

• 방식: 인간 전문가가 10분, 1시간, 4시간, 1일 등 특정 시간을 들여야 하는 작업들을 AI에게 시켜봅니다.
• 발견: 인간이 4분 이내에 끝내는 작업에서 AI는 거의 100% 성공하지만, 인간이 4시간 이상 걸리는 작업에서는 AI의 성공률이 10% 미만으로 급격히 떨어졌습니다.

3. 주요 연구 결과

METR은 지난 6년간의 AI 발전 데이터를 분석하여 놀라운 사실을 발견했습니다.

• 7개월마다 2배 성장: AI가 수행 가능한 작업의 길이(시간 범위)는 약 7개월마다 2배씩 늘어나고 있습니다. 이는 기하급수적인 성장세입니다.
• 현재 수준 (2025년 3월 기준): Claude 3.7 Sonnet과 같은 최신 모델은 인간이 약 1시간 정도 걸리는 작업을 50%의 확률로 성공적으로 수행할 수 있는 수준에 도달했습니다.

4. 미래 예측

이 추세가 앞으로 2~4년만 더 지속된다면, AI는 인간이 일주일(Week-long) 꼬박 걸려서 해야 하는 복잡한 프로젝트도 자율적으로 수행할 수 있게 될 것입니다. 더 나아가 10년 이내에 한 달(Month-long) 짜리 프로젝트를 수행하는 AI가 등장할 것으로 예측됩니다.

5. 결론 및 시사점

이 연구는 AI의 능력을 더 현실적으로 파악할 수 있는 지표를 제시했다는 점에서 의미가 큽니다.

• 긍정적 측면: AI가 단순 보조를 넘어, 며칠이 걸리는 업무를 맡길 수 있는 진정한 '자율 에이전트'로 발전하고 있습니다.
• 위험 관리: AI가 긴 호흡의 작업을 스스로 계획하고 실행할 수 있게 되면, 그 파급력과 잠재적 위험(통제 불가능 등)도 커지므로 이에 대한 대비가 필요합니다.

---

이 글은 LinkedIn에 처음 공개한 글입니다. (원문에 2년 AI 타임라인 이미지 포함)