AI의 성능을 몸의 감각으로 익히는 사람들

제가 활동하고 있는 개발자 채팅방에서는 AI를 주제로 여러 가지 토론과 이야기가 오갑니다. Claude Code, Codex, Gemini CLI, 하네스, 루프, 토큰, 모델 성능 같은 주제가 거의 매일 등장합니다.

그런데 최근 이 대화들을 보다가 재미있는 지점을 발견했습니다. 사람들이 AI 모델의 성능을 점수나 벤치마크만으로 이야기하지 않는다는 점입니다. 오히려 훨씬 몸에 가까운 언어로 말하고 있었습니다.

"토큰이 너무 빨리 녹습니다."

"오늘은 모델이 좀 느려진 것 같습니다."

"속도는 빠른데 믿고 맡기기 불안합니다."

"성능은 좋은데 손이 많이 갑니다."

"이번 모델은 방향을 잘 잡습니다."

"저만 그렇게 느끼나요?"

이런 표현들을 보면서 문득 '제품의 성능을 몸의 감각으로 이야기하는 시대가 왔다'는 생각이 들었습니다.

AI 공부는 운전이나 요리 같은 느낌에 가까운 것 같습니다. 설명서만 읽는다고 운전을 잘할 수 없고, 레시피만 외운다고 요리를 잘할 수 없습니다. 어느 순간부터는 몸으로 체감하며 익혀야 합니다. 브레이크가 얼마나 밀리는지, 핸들이 얼마나 예민한지, 불이 너무 센지 약한지, 재료가 어느 순간 익는지 직접 느껴야 합니다.

AI도 점점 그렇게 익히는 대상이 되어가고 있습니다.

궁금해져서 채팅방 대화 내보내기로 클로드와 대화 30,987건을 살펴보니 실제로 '체감'이라는 단어는 81번 등장했습니다. 느낌, 느껴, 기분 같은 표현은 AI 맥락에서 171건 나왔고, 토큰 소모/소비는 82건, 토큰이 녹는다/닳는다/먹는다는 73건, 빠르다/빨라졌다는 88건 등장했습니다.

이 표현들은 엄밀한 벤치마크가 아닙니다. MMLU 점수도 아니고, SWE-bench 수치도 아닙니다. 그런데 실제로 AI를 매일 한계까지 밀어붙이며 쓰는 사람들에게는 이런 말들이 훨씬 정확하게 들릴 때가 있습니다.

F1 드라이버가 차를 설명하는 방식

마치 F1 드라이버가 차를 설명하는 방식과 비슷합니다.

F1에서 엔진을 만드는 사람들은 차의 핵심 동력을 설계합니다. 출력, 효율, 내구성, 냉각, 에너지 회수 시스템 같은 것들을 극한까지 밀어붙입니다. 하지만 그 엔진이 실제 트랙에서 어떻게 느껴지는지는 드라이버가 몸으로 압니다.

브레이크가 밀리는지.

코너 진입 때 앞이 안 도는지.

리어가 불안한지.

타이어가 너무 빨리 죽는지.

직선은 빠른데 믿고 던질 수 없는 차인지.

AI도 비슷한 국면에 들어온 것 같습니다.

AI 모델을 만드는 사람들은 F1의 엔진 엔지니어에 가깝습니다. 모델 아키텍처, 학습 데이터, 추론 능력, 컨텍스트 윈도우, 속도, 비용 구조를 설계합니다. 더 강한 엔진을 만드는 사람들입니다.

반면 최첨단에서 Claude Code, Codex, Gemini CLI, 하네스, 루프, 멀티에이전트를 굴리며 AI를 한계까지 밀어붙이는 사람들은 드라이버에 가깝습니다. 이들은 모델을 단순히 평가하지 않습니다. 실제 자기 업무라는 트랙 위에서 모델을 직접 몰아봅니다.

브레이크가 안 듣는 모델이 있습니다. 멈춰야 할 때 멈추지 않고, 필요 없는 파일까지 건드리거나, 과하게 추론하다가 작업을 망칩니다.

핸들링이 나쁜 모델이 있습니다. 프롬프트를 줘도 원하는 방향으로 잘 꺾이지 않습니다. 계속 보정해야 하고, 같은 말을 여러 번 해야 합니다.

그립이 약한 모델도 있습니다. 컨텍스트를 붙잡지 못합니다. 앞에서 정한 설계, 프로젝트 구조, 의도를 자꾸 놓칩니다.

타이어가 빨리 녹는 모델도 있습니다. 성능은 좋은데 토큰과 한도가 너무 빨리 닳습니다. 몇 시간은 버틸 줄 알았는데 어느 순간 주행 가능 시간이 사라집니다.

반대로 최고속도는 엄청난데 믿고 밟을 수 없는 모델도 있습니다. 답은 화려하지만 허위 보고가 섞이고, 자신감 있게 틀립니다. 벤치마크는 좋은데 실전에서는 코너마다 불안합니다.

사용자는 드라이버이자 하네스 엔지니어

AI의 최전선 사용자들이 F1 드라이버와 조금 다른 점은 이들은 단지 차를 몰기만 하지 않는다는 점입니다.

AI 사용자는 선수이면서, 하네스를 만드는 엔지니어이기도 합니다. 모델이라는 엔진을 받아와서 자기 업무라는 트랙에 맞게 섀시를 짜고, 서스펜션을 맞추고, 기어비를 조정하고, 피트 전략을 세웁니다.

하네스와 루프는 차량 셋업에 가깝습니다. 같은 엔진을 얹어도 서킷에 따라 완전히 다른 차가 됩니다. 어떤 트랙에서는 다운포스가 중요하고, 어떤 트랙에서는 직선 속도가 중요합니다. 어떤 코너에서는 브레이크 밸런스를 바꿔야 하고, 어떤 날씨에서는 타이어 전략을 다시 짜야 합니다.

AI도 마찬가지입니다. 같은 모델도 어떤 하네스 안에 넣느냐에 따라 전혀 다르게 움직입니다. 컨텍스트를 어떻게 나눌지, 작업을 어떤 단계로 쪼갤지, 검증을 어디에 둘지, 언제 새 세션을 열지, 어떤 도구를 쥐어줄지에 따라 모델의 성능은 달라집니다.

좋은 하네스는 모델의 지능을 더 잘 노면에 전달합니다. 나쁜 하네스는 출력은 큰데 접지력을 잃게 만듭니다.

앞으로 AI를 잘 쓰는 사람은 단지 모델 이름을 많이 아는 사람이 아닐 것입니다. 모델의 주행감을 읽을 줄 아는 사람일 것입니다. 벤치마크를 참고하되, 자기 업무라는 트랙 위에서 직접 써보고, 루프를 셋업하고, 한계 근처에서 들려오는 미세한 감각을 느낄 줄 아는 사람입니다.

감각은 혼자 완성되지 않는다

그리고 그 감각은 혼자 완성되지 않습니다.

처음에는 혼자 "기분 탓인가?"에서 시작하지만 사람들에게 "저만 그런가요?"라고 묻습니다. 나 혼자만의 느낌은 다른 사람의 감각과 만나며 "아, 나만 그런 게 아니구나"가 됩니다.

그때부터 감각은 경험이 되고, 경험은 판단이 됩니다.

AI와 씨름하며 느끼는 외로움도 이러한 교감 속에서 조금 내려놓을 수 있게 되는 것 같습니다.

AI 모델을 만드는 사람들은 더 강한 엔진을 만들고 있습니다. 그리고 최전선의 사용자들은 그 엔진을 받아 자기 트랙에 맞는 차를 직접 만들고 있습니다.

엔진을 어떤 차에 얹고, 어디까지 밀어붙일 수 있는지, 감각이 중요해지는 요즘입니다.