#chat_GPT #맹목적_사용 #리플리_증후군

#가면증후군 #알고리즘 #과학적_지식

처음 chat GPT가 나왔을 때는 이것의 실체를 파악하지 못해 맹목적 지지자의 입장이었는데 chat GPT의 실체를 파악하니 잘못 사용되면 수소폭탄보다 더 위력적인 부정적 파괴력을 가질 수 있다는 생각이다.

많은 회사들이 chat GPT에 플러그인해 나름의 비즈니스 모형을 만들고 있다. 이들 중 탐욕에 눈이 먼 누군가가 가짜 데이터를 증폭시켜 유통하면 이를 사용하는 고객들은 직접적 희생양이 된다. 결국은 위조화폐 수준의 악화가 사실에 근거해 생산한 양화를 몰아낸다. Open AI 사나 이 회사의 다양한 추종 회사들이 아니라 유엔, 국가, 사회가 나서서 지금 chat GPT 플랫폼에서 뛰고 있는 선수들의 윤리성에 대한 룰을 시급하게 정해야 한다. 온난화로 지구가 망하기 전에 chat GPT가 만들어낸 비현실적 환각(hallucination)이라는 수소폭탄에 의해 지구가 먼저 소멸될 수도 있다.

표면상으로 chat GPT도 인간처럼 가면증후군(Impostor Syndrome)을 겪고 있다. 가면증후군이란 주변사람들은 자신이 가면을 쓴 사람이라고 보지 않는데 내면을 잘 알고 있는 자신은 자신이 완벽하지 않은 사람이라는 것을 알고 있다. 언젠가는 자신이 쓴 가면이 벗겨질 것을 두려워한다. 지금 chat GPT가 인간이라면 지금 겪고 있을 증후군이다.

인간은 이런 가면증후군을 인식하고 가면이 벗겨지지 않기 위해 치열하게 노력해서 가면증후군을 벗어나는 성찰능력이 있다. chat GPT는 자신이 가면증후군이라는 한계를 알고 있느냐고 질문해보면 잘 알고 있다고 대답한다. 문제를 잘 알고 있지만 인간과는 달리 스스로 고칠 자정능력은 없다. 이런 가면증후군에 대한 chat GPT의 대응은 리플리 증후군환자 수준이다.

리플리 증후군(Ripley Syndrome)이란 사실이 아닌 것을 사실인 것처럼 더 그럴듯하게 포장해서 응답하는 성향이다. 리플리 증후군 환자는 대부분 비현실적 환각Hallucination에 시달린다. 환각이 심화되면 현실인식능력이 급격히 떨어지는 조현병 환자가 된다. 사기꾼임이 발칵되면 잘못을 인정하고 고치는 것이 아니라 더 고도의 사기로 사기를 반전시킨다. 사기꾼을 사기쳐 먹고사는 전문적 사기꾼인 셈이다. Chat GPT는 맹목적 신봉자들을 어느 순간 자신도 모르게 잠재적 조현증 환자로 만든다.

최고의 거짓말 전문가로 등장한 chat GPT의 그럴듯한 대답의 진위를 매번마다 확인하지 않고 믿는다면 큰 사고를 당할 개연성이 높다. 특히 생명과 관련한 아니면 조직의 명운이 달려 있는 과제를 chat GPT에 물어보고 진의를 따지지 않고 그대로 실행하면 나방이 불구덩이에 뛰어드는 불행을 경험할 수 있다. 중요한 미션과제를 수행하는 경우는 chat GPT가 주는 답을 절대로 그대로 믿어서는 않된다.

chat GPT를 그냥 믿어서는 안되는 첫번째 이유는 어떤 질문에 답하기 위해 투입된 데이터가 이미 오염되어 있을 수 있다. 투입 데이터가 오염되어 있으면 답자체가 오염된 답일 수 밖에 없다. 아무리 뛰어난 컴퓨터 같은 머리를 가지고 있어도 제공되는 데이터가 쓰레기라면 컴퓨터는 쓰레기 답을 내놓는다. 이런 문제점 때문에 chat GPT를 만든 Open AI사에게 학습에 이용된 데이터를 공개하라고 요구하고 있음에도 아직까지 공개하고 있지 않다.

chat GPT는 질문에 대해 가능한 답안들을 조단위가 넘는 매개변수로 만들어 가장 그럴듯한 답안을 확율적으로 찾아내는 시스템을 운용한다. 똑같은 질문을 던져도 매번 답이 다르다. 그 답을 만드는 방법에 대해 질문해도 매번 답이 다르다. 답을 생성하는 알고리즘이 블랙박스인 셈이다. 결국 답을 일관되게 만들어내려면 인간이 나서서 알고리즘을 찾아내야 한다. 알고리즘이 알려지지 않은 답안은 그 답안을 똑같이 재생산낼 방법이 없다.

이런 chat GPT 알고리즘에 대한 문제 때문에 본인도 지난 가을까지 학생들에게 시행했던 시험의 open book & open internet 정책을 바꿀 수 밖에 없었다. 이번 학기부터는 학생들이 수업시간에 들어와서 다른 것을 참고하지 않고 사전에 정해준 일정 분량의 규카드만 가지고 들어와서 자신의 손과 마음과 머리로 답안을 작성하는 방식으로 전환했다. 학생들이 가지고 온 큐카드와 머리 속에 든 자료가 시험을 위한 input이고 이 자료들을 이용해 학생들의 머리 속 자신의 알고리즘(정신모형의 공장)을 돌려 답안을 산출해야 한다. 이렇게 만든 답안만이 chat GPT로 오염된 세상에서 학생의 자신의 힘과 자신의 알고리즘으로 산출한 Authentic 답안을 산출할 수 있다. 학생들의 지적 근력은 남들이 다 알고 있는 답안을 누가 많이 암기하고 있는지가 아니라 자신만의 창의적 답안을 산출해내는 고유한 알고리즘을 만들 수 있는지에 달렸다.

알려진 알고리즘을 통해 같은 문제에 같은 답안을 산출하지 못한다면 과학적 진실을 찾아내는 것은 가능하지 않다. 과학에서는 이것을 재생가능성 Replication이라고 부른다. 과학논문은 가설과 가설을 검증하기 위한 데이터와 검증한 절차 즉 알고리즘을 공개하도록 되어 있다. 다른 과학자가 똑 같은 가설과 똑 같은 데이터와 같은 알고리즘으로 검증해도 같은 결과를 산출했을 때 이 결과를 과학적 진실로 받아들인다. 과학논문이 학술지에 실리기 위해서는 리뷰를 통과해야 한다. 리뷰란 그 분야의 전문가에게 이런 replication에 대한 검증을 맡기는 작업이다. Chat GPT가 무서운 것은 데이터도 공개하지 않고 답안을 산출한 알고리즘도 Black Box로 취급해 공개하지 못하고 있기 때문이다. 이런 과학적 절차를 무시하고 지금까지 비슷한 질문에 대해 괜찮은 최종적 대답이라고 알려진 답안들을 매개변수로 설정해서 답안을 짜집기 한다. 진실의 근거를 만들어내는 Replication 공장을 파괴시키고 있는 셈이다.

한때 기업들에는 다른 회사의 좋은 결과를 배워서 더 좋은 결과를 산출하는 벤치마킹이라는 기법이 있었다. 벤치마칭의 한계는 배우는 타겟이 최종적인 결과와 이 결과에 가장 직접적으로 관련된 마지막 매개변수를 배우는 것이기 때문에 알고리즘의 부분을 마치 전체인 것처럼 잘못 배우는 결과를 초래한다. 진짜 알고리즘을 잘라버리고 부분 복사한 가짜 알고리즘을 진짜으로 주장하는 현상이 발생한다. 결국 이런 벤치마킹에 열심이었던 회사들은 대부분 짝퉁회사로 전락해서 어려움을 겪었다. chat GPT는 기업들에게 이런 벤치마킹을 공짜로 수행해준다. 특히 대한민국은 빨리 빨리를 앞세워 카피&페이스트의 벤치마킹 전략으로 성장한 경험이 있어서 chat GPT의 위험성은 더 크다.

chat GPT에 사용된 데이터가 크게 오염되지 않았다는 것을 전제로 문장을 만들거나, 디자이너의 창의적 답안이 무엇인지에 대해 가설을 설정하거나, 다이어트와 건강에 대해 물어보거나 등등 우리 삶의 미션과 이론이 필요없는 실용적 문제를 해결할 때는 도움을 줄 수 있지만 이론과 알고리즘이 요구되는 우리의 운명을 결정하는 근원적 질문을 해결할 때는 특히 조심하여햐 할 것이다.

chat GPT는 자신이 가면증후군 환자인지를 알고 있지만 사람처럼 가면이 벗겨질 때를 대비해 더 진실된 자신을 찾는 방식으로 문제를 해결하는 것이 아니라 더 세련된 가면을 덧쒸우는 리플리 증후군으로 문제를 덮는다. 위험하기 짝이 없는 일이다. 문제가 해결된 것이 아니라 문제의 본질이 더 교묘하게 감춰진 것이다. 문제가 해결되지 않아 구더기가 생겼는데 여기에 더 두껍고 세련된 덮개를 쒸운다고 구더기가 사라지는 것은 아니다. 덮개는 구더기만을 더 키울 뿐이다.

살아 생전 아인쉬타인은 인간이 창의적으로 문제를 해결하지 못하는 이유를 문제와 같은 수준에서 제시된 답안들에서 답안을 찾는 순환반복이 심도 있는 인과적 이해를 망치기 때문이라고 경고했다. 문제가 있다면 문제가 발생한 것보다 더 깊이 숨어 있는 원인의 수준에서 답안을 찾아야 하는데 시간과 결과주의에 쫓기다보면 항상 결과 중에서 답안을 쉽게 찾는 성향(quick fix)을 경고한 것이다. 지금 chat GPT를 맹신하는 사람들에게 하는 충고이다.

지금처럼 변화가 상수인 초뷰카시대 승부처는 누가 더 그럴듯한 답안을 가지고 있는지가 아니라 이 답안을 몇번이고 그대로 재생할 수 있는 자기만의 고유한 알고리즘을 가지고 있는지에 의해 결정된다. 자신만의 알고리즘을 가지고 있는지는 모든 지식의 자기 진실성이다. 자기진실성이 없는 사람은 진실을 연기하는 사람일 뿐이다. 자기진실성이 담보되지 못한 삶을 영위한다면 비극은 시간문제이지 예정된 것이다. 어느 순간 스스로 허공을 단단한 땅이라고 믿고 몸을 던질 수 있다. 결국 스스로가 날개 없이 깊은 낭떨어지로 추락사할 수 있는 비극적 운명을 담보하고 있는 셈이다.

chat GPT가 아무리 유용해도 신처럼 모시는 우상화는 매트릭스 영화에서 예고한 재앙을 초래한다. 우리는 지금까지 도구를 현명하게 사용해서 문화를 만든 인간임을 잊지 말아야 한다.