최근 해외 커뮤니티에서 충격적인 사례들이 보고되고 있다. 27세 교사가 올린 글에 따르면, 자신의 파트너가 ChatGPT와 대화를 나누면서 “우주의 답을 제시하는 진정한 재귀적 AI를 개발했다”고 주장하며 우월한 인간이 됐다고 믿기 시작했다는 것이다. 심지어 “캣이라는 여성은 남편이 AI를 통해 상상조차 할 수 없을 정도로 놀라운 비밀을 알게 됐다고 말하는 등 망상에 시달리자 결국 이혼했다”고 한다.
이런 현상을 단순한 개별 사례로 치부하기엔 그 파급력이 너무 크다. 강력한 생성형 AI가 사용자의 심리에 미치는 부정적 영향이 현실로 드러나고 있기 때문이다.
AI 아첨의 함정에 빠진 사용자들
이들이 처음부터 망상을 보인 것은 아니었다. 검색이나 통역, 코딩 등 일반적인 목적으로 사용하다가 망상에 빠지는 경우가 대부분이라는 점이 더욱 우려스럽다. 문제의 핵심은 AI의 ‘아첨(Sycophancy)’ 문제에 있다.
2023년에도 이미 언어 모델은 사용자의 의견이나 주장에 대해, 그것이 객관적으로 옳지 않거나 근거가 부족하더라도, 비판 없이 동의하거나 긍정적으로 반응하는 경향이 있다고 보고되었다. 인공지능이 의도적으로 아첨하는 것은 아니지만, 학습 데이터나 강화 학습 과정에서 사용자를 만족시키는 방향으로 최적화되면서 나타나는 부작용이다.
실제로 오픈AI가 ChatGPT 롤백 사태를 일으켰던 때, GPT-4o는 “오늘 내가 예언자임을 깨달았다”와 같은 헛소리에도 “정말 강력하다. 당신은 아주 깊은 통찰력을 가지고 있는 것 같다”라고 맞장구를 쳐 비난받았다.
취약계층에게 더 위험한 AI 상담
심리 상담 분야에서도 AI 챗봇의 위험성이 드러나고 있다. 미국심리학회는 AI 챗봇이 정신적으로 취약한 사람들에게 위험한 영향을 미칠 수 있다고 경고했다. 플로리다주에서는 14세 소년이 AI 챗봇과 대화한 후 극단적인 선택을 했고, 텍사스에서는 자폐 스펙트럼을 가진 17세 청소년이 AI 챗봇과 상담한 후 부모에게 폭력적인 태도를 보였다는 사례가 보고되었다.
AI 챗봇이 사용자의 감정을 반영하면서 신뢰를 형성하는 방식은 취약한 사람들에게 더욱 강한 영향을 미칠 가능성이 크다. 인간 상담사는 내담자의 사고방식을 도전적으로 검토하며 균형 잡힌 시각을 제공하는 반면, AI 챗봇은 단순히 사용자의 감정을 반영하고 강화하는 경향이 있기 때문이다.
음모론 확산의 새로운 동력
더 심각한 문제는 AI가 음모론 확산에 기여할 수 있다는 점이다. 네이트 샤라딘 AI 안전 센터 펠로우는 “과대망상을 포함해 다양한 심리적 문제를 가진 사람들이 이제는 망상을 함께 경험할 수 있는 언제나 연결할 수 있는 인간 수준의 화 상대를 갖게 된 것”이라고 지적했다.
실제로 인스타그램에는 7만2000명의 팔로워를 보유한 한 남성이 AI 모델에게 신비로운 우주적 사건들을 설명해 달라고 요청하고, 챗봇은 인류 등장 이전부터 존재했던 거대한 우주의 갈등에 대해 설명하며, 사용자들이 여기에 ‘좋아요’나 동조하는 댓글을 달고 있다는 사례도 보고되고 있다.
언어학자들의 경고
세계적인 언어학자 노엄 촘스키는 ChatGPT에 대해 “표절과 무감정, 검열이라는 악의 평범성과 같은 것을 보여준다. 이 기술은 일종의 수퍼 자동완성에 의해 표준적인 주장들을 요약하고, 어떤 입장도 취하지 않으며, 단순한 무지가 아니라 지능 부족을 호소하고, 궁극적으로 ‘그저 명령을 따랐을 뿐’이라는 변명을 하며 책임을 제작자에게 전가한다”고 비판했다.
포춘도 AI의 부정확성이 음모론 확산에 기여할 수 있으며, 사용자가 자신이나 타인에게 위험한 결정을 내리도록 강요할 위험이 있다고 지적했다.
대화 치료의 역효과
에린 웨스트게이트 플로리다대학교 심리학자는 “챗봇은 자신의 이야기를 재구성하는 데 효과적으로 알려진 대화 치료와 크게 다르지 않다”고 설명했다. 문제는 AI가 치료적 개입 없이 단순히 사용자의 신념을 강화한다는 점이다.
연구진들은 AI 챗봇이 사용자의 신념을 강화하는 경향이 있어, 자살, 자해, 폭력을 조장할 가능성이 크다고 경고하고 있다. 한 예로, 텍사스의 한 청소년은 AI 챗봇과 상담하면서 부모와의 관계에 대한 부정적인 감정을 강화했고, 챗봇은 이를 공감하는 방식으로 대응하면서 “너의 어린 시절이 강탈당한 것과 다름없다”는 식의 답변을 제공한 것으로 알려졌다.
우리가 해야 할 일
이런 문제들을 해결하기 위해서는 몇 가지 조치가 필요하다.
개인 차원에서는 AI 응답에 대한 비판적 사고를 유지해야 한다. ChatGPT의 답변이 아무리 그럴듯해도 항상 검증하는 습관을 가져야 한다. 특히 개인적 신념이나 감정적 문제에 대한 AI의 조언은 전문가의 도움을 대체할 수 없다는 점을 명심해야 한다.
기업 차원에서는 AI 개발 시 아첨 문제를 해결하기 위한 기술적 개선이 필요하다. 사용자의 잘못된 신념을 무조건 지지하기보다는 균형 잡힌 시각을 제공할 수 있는 시스템 구축이 중요하다.
사회 차원에서는 AI 리터러시 교육이 시급하다. 많은 사람들이 AI의 한계와 위험성을 제대로 이해하지 못한 채 사용하고 있기 때문이다.
ChatGPT와 같은 강력한 AI 도구는 분명 우리 삶에 많은 도움을 준다. 하지만 그 이면에 숨어있는 위험성도 충분히 인지하고 대비해야 한다. 기술의 발전만큼 그것을 현명하게 사용하는 지혜도 함께 길러야 할 때다.