면접관의 통찰 vs 면접평가표 - 무엇을 더 믿어야 할까

보르도 와인의 미래 가격을 예측하는 데 무엇이 가장 중요할까요?

와인을 직접 마셔 본 전문가의 섬세한 평가일까요?
샤토의 명성일까요?
오랜 경험에서 나오는 감각일까요?

《생각에 관한 생각》에 나오는 올리 아센펠터의 사례는 조금 다른 답을 보여 줍니다.

프린스턴대 경제학자였던 아센펠터는 보르도 와인의 미래 가격을 예측하기 위해 아주 단순한 공식을 만들었습니다. 핵심 변수는 대략 이런 것들이었습니다.

1. 겨울에 비가 얼마나 왔는가.
2. 포도가 자라는 계절의 평균 기온은 어땠는가.
3. 수확기에 비가 얼마나 왔는가.
4. 빈티지가 얼마나 오래되었는가.

와인의 풍미를 묘사하는 화려한 언어도 아니고, 유명 평론가의 직관도 아니었습니다. 날씨와 시간이라는 몇 가지 숫자였습니다.

그런데 이 단순한 공식이 보르도 와인의 장기 가격을 꽤 잘 설명했습니다. 아센펠터와 동료들의 연구는 성숙한 와인의 가격으로 판단한 빈티지 품질이, 포도가 자란 시기의 날씨 정보로 예측될 수 있다고 보았습니다. 어린 와인의 시장 가격은 이 정보를 충분히 반영하지 못하는 경우가 있었고, 시간이 지나면서 가격이 공식의 예측에 가까워지는 경향도 보였습니다.

흥미로운 지점은 여기입니다.

우리는 보통 복잡한 대상을 판단할수록 더 섬세하고 복잡한 판단이 필요하다고 생각합니다. 와인처럼 취향과 경험과 전문성이 중요해 보이는 영역이라면 더 그렇습니다.

그런데 어떤 영역에서는 잘 고른 몇 가지 기준을 일관되게 적용하는 단순한 공식이 전문가의 종합적 판단만큼, 때로는 그보다 더 좋은 예측을 만들기도 합니다.

이건 채용에도 적용됩니다.

채용을 하다 보면 늘 비슷한 고민을 하게 됩니다.

“좋은 사람을 어떻게 알아볼 수 있을까?”
“면접관의 직관은 얼마나 믿을 수 있을까?”
“면접평가표는 정말 필요한 걸까?”

저도 예전에는 면접평가표를 일종의 행정 문서처럼 생각한 적이 있습니다. 면접이 끝난 뒤 근거를 남기기 위해 작성하는 문서, 혹은 나중에 설명 책임을 다하기 위한 기록물에 가깝다고 본 것이죠.

그런데 폴 밀과 로빈 도스의 연구를 다시 읽어 보면, 면접평가표의 의미는 조금 달라집니다.

핵심은 이렇습니다.

복잡한 판단이 항상 더 정확한 것은 아닙니다.
오히려 적절한 평가 요소 몇 가지를 정하고, 각 요소를 따로 점수화한 뒤, 단순하게 합산하는 방식이 전문가의 종합적 직관보다 더 나은 판단을 만들 때가 많습니다.

책에는 채용과 거의 맞닿아 있는 사례도 나옵니다.

대니얼 카너먼은 이스라엘군에서 신병이 전투부대 임무에 적합한지를 예측하는 면접 방식을 개선하는 일을 맡았습니다. 당시 면접관들은 지원자의 성격과 정신적 역동성을 종합적으로 이해하려고 했습니다. 쉽게 말하면, 제한된 시간 안에 “이 사람이 군대에 잘 적응할 사람인가?”를 직관적으로 판단하려고 했던 것이죠.

카너먼은 이 방식을 바꿨습니다.

면접관에게 최종 판단을 맡기지 않고, 몇 가지 특성을 나누어 평가하게 했습니다. 책임감, 사회성 같은 항목을 정하고, 각 항목에 대해 입대 전 생활을 묻는 구체적 질문을 만들었습니다. 일을 얼마나 규칙적으로 했는지, 시간을 잘 지켰는지, 친구들과 얼마나 교류했는지 같은 질문이었습니다.

그리고 각 항목을 1점에서 5점으로 평가하게 했습니다. 최종 점수는 표준 공식으로 계산했습니다. 면접관에게는 “이 사람이 군대에 잘 적응할지”를 종합적으로 판단하지 말라고 했습니다.

어찌 보면 조금 이상한 방식입니다.

사람을 평가하는 일인데, 면접관의 통찰을 줄이고 단순한 평가표와 공식에 더 의존한 셈이니까요.

그런데 이 방식이 더 나은 예측을 만들었습니다.

여기서 면접평가표의 진짜 의미가 드러납니다.

면접평가표는 단순히 점수를 적는 양식이 아닙니다.
면접관의 직관을 없애기 위한 도구도 아닙니다.
오히려 직관이 제 역할을 하도록 판단의 순서를 정리해 주는 장치에 가깝습니다.

면접관은 보통 지원자를 “종합적으로” 평가하고 싶어 합니다.
말투, 인상, 경력, 답변의 논리, 태도, 조직 적합성, 성장 가능성 같은 여러 단서를 한 번에 조합해서 판단하려고 합니다.

문제는 사람이 그렇게 일관적이지 않다는 점입니다.

같은 지원자라도 첫인상이 좋으면 이후 답변을 더 좋게 해석할 수 있습니다.
앞 순서 지원자가 너무 강하면 다음 지원자가 상대적으로 약해 보일 수 있습니다.
면접관의 컨디션, 최근의 조직 이슈, 개인적 선호도 판단에 영향을 줄 수 있습니다.

그래서 좋은 면접평가표에는 적어도 세 가지 기능이 있어야 한다고 생각합니다.

1. 평가해야 할 요소를 미리 정해 줍니다.
   “좋은 사람인가?”가 아니라 “이 직무에서 중요한 역량을 실제로 보여 주었는가?”를 보게 만듭니다.

2. 각 요소를 분리해서 보게 합니다.
   커뮤니케이션이 좋은 사람을 문제 해결력까지 좋다고 평가하는 후광 효과를 줄여 줍니다.

3. 판단을 기록 가능한 형태로 바꿉니다.
   “느낌이 좋았다”가 아니라 “어떤 질문에서 어떤 행동 근거가 확인되었는가?”로 남게 합니다.

물론 평가표가 모든 문제를 해결해 주지는 않습니다.

평가 항목이 잘못 설계되어 있으면 점수는 오히려 더 정교한 착각이 될 수 있습니다.
면접관이 점수의 기준을 공유하지 않으면 사람마다 다른 척도를 쓰게 됩니다.
그리고 가끔은 공식으로 처리하면 안 되는 예외도 있습니다. 카너먼이 말한 “부러진 다리 규칙”처럼, 기존 판단 체계를 멈춰야 하는 결정적 정보도 있을 수 있습니다.

그럼에도 불구하고 채용에서 우리가 먼저 의심해야 할 것은 평가표가 아니라, 평가표 없이도 공정하고 정확하게 판단할 수 있다는 자신감일지도 모릅니다.