순위 매기기의 허점

우리 사회가 선진국을 쫓아 따라 온 덕분(?)인지 선진국에서 평가한 잣대에 크게 휘둘린다. 우리는 외국에서 어떤 분야나 기관, 나라를 평가한 후 순서를 매긴 결과를 가지고 우리끼리 비판과 비난을 일삼고 나서는 다음 번 평가결과가 나올 때까지 그냥 또 잊어버리곤 하는 일에 아주 익숙한 것 같다.

그 중 하나가 대학별 순위 매기기다. 전세계 대학을 대여섯가지 항목에 가중치를 두어 평가하는 것에 허점(虛點)이 있음을 지난 주 뉴욕타임스가 기사화했고 우리 신문이 이를 인용해서 보도했다. (외국에서 보도하기 전에 우리 신문은 왜 이런 정도의 기사를 못 쓰나 모르겠다.)


New York Times(11월 14일자) Questionable Science Behind Academic Rankings

조선일보(11월 15일자) NYT, 세계 대학순위 평가, 너무 믿지 마라


신문이 지적한 대로 The Times와 QS사에서 매년 발표하는 대학 순위는 가끔 일반적인 평판과 다른 결과가 나오기도 하고 매년 순위가 크게 뒤바뀌는 학교들도 많아 100% 신뢰하기에는 위험이 따른다. (우리 언론에서 매년 열심히 보도하는 중국교통대학 발표 순위는 더 엉터리다.) 평가기관이 몇 가지 항목을 계량화(計量化)한 것에 대해 자의적으로 가중치를 둔 후 단순 계산해 내기에 엉뚱한 결과가 섞이게 되는 것은 어쩔 수 없는 일인 것 같다.

신문 기사에서 인용한 아인슈타인의 멋진 표현대로 "계량화되는 것이라고 다 중요한 것은 아니며, 모든 중요한 것들이 계량화되는 것은 아닌데도(Not everything that can be counted counts, and not everything that counts can be counted)" 우리는 평가결과에 매우 민감하다.

그러나 이 평가결과보다 더 문제시해야 할 것은 외부에서 이를 비판의 잣대로 이용하는 사람들의 태도다. 평가 결과를 가지고 약점이 무엇이고 이를 보완하기 위해 어떤 노력을 해야할지 말지 판단해야 할 몫은 해당 기관이나 학교에 있지 언론이나 일반인 등 제3자가 가지는 게 아니다.

서울대학교가 100위권에 간신히 들었던 몇 년 전, 국민의 세금으로 운영되는 우리나라 최고 대학 서울대가 이 모양이냐며 일반 여론이 상당히 안 좋았다. 평가항목 하나 하나를 들여다 보면 서울대가 평가에서 단기간에 최상위권으로 치고 올라가기 상당히 힘든 구조라는 걸 금방 눈치챌 수 있는데도 이는 관심의 대상이 아니다.

순위를 올리려면 외국인 교수, 외국인 학생수의 비율을 높여야 하고, 많은 졸업생들이 국내기업보다는 가급적 외국 유수의 기업에 입사하여 좋은 평판도 쌓아야 한다. 학생수 대비 교수 비율을 높이려면 학교에 대한 지원도 국민의 세금으로 보다 과감하게 해야 하고, 논문 인용실적을 높이려면 학문적 성과와 별 무관해 보이는 일부 예능계 학과는 폐지해야 하는데, 비판하는 자 누가 또 이것을 쉽게 동의하고 해결해 낼 수 있겠는가?

올해 QS평가에서 학문적 평판도가 33위인 서울대는 다른 항목에서 평가가 안 좋았음에도 전체 순위에서 50위를 했다는 것 자체가 기적인 듯하다. (평가항목 중 외국인 교수/학생 비율의 순위는 281위다. 이는 아시아권 대학들이 공통적으로 가지는 약점이다.) 그럼에도 불구하고 비판자들이 올해 평가에서 주목할 만한 것은 작년 47위에서 세계단 하락한 것이리라.

어쨌든 만 7천여개나 된다고 하는 전 세계 대학 중 500위 안에만 들어도 상위 3% 이내인 점을 감안하면 서울대를 비롯 우리나라 유수의 대학들이 그리 나쁜 결과를 얻은 것도 아닌데 그 평가와 무관한 사람들이 여론 재판식으로 비난하는 것은 참 문제다. 그런 분들에게 조용히 묻고 싶은 말이 있다. "당신은 대체 전 세계 몇 위권이시길래?"