인공지능 챗봇의 유용성 강화에 따른 인간 행동 모사 능력 저하 현상

주장헬름홀츠 뮌헨 연구진을 포함한 국제 연구 컨소시엄은 인공지능 언어 모델을 유용한 비서로 만드는 훈련 과정이 인간 행동을 모사하는 능력을 약화한다는 사실을 확인했습니다. 이는 인공지능을 인간 피험자 대용으로 활용하려는 연구 분야에 중요한 시사점을 제공합니다.

팩트이번 연구는 20만 8천 명의 참가자와 2천 6백만 개의 개별 응답을 포함한 사이크-201(Psych-201) 데이터셋을 기반으로 수행되었습니다. 이는 기존에 존재하는 어떤 행동 실험 데이터 모음보다 몇 배 더 큰 규모입니다.

팩트연구진은 큐웬3(Qwen3), 라마3(Llama3), 올모(OLMo) 3 모델군을 대상으로 기본 모델과 사후 훈련된 모델을 비교했습니다. 모든 모델군과 크기에서 기본 모델이 사후 훈련된 모델보다 인간의 행동을 더 정확하게 예측했습니다.

교차검증사후 훈련된 모델이 단순히 결정론적으로 답변하여 인간의 행동 분포를 포착하지 못한다는 가설이 제기되었습니다. 그러나 연구진이 선택지가 있는 과제에서 정확도를 분석한 결과, 사후 훈련된 모델의 성능 저하는 결정론적 성향 때문만은 아닌 것으로 나타났습니다.

팩트모델의 세대가 거듭될수록 기본 모델은 인간 행동 예측 능력이 향상됩니다. 반면 사후 훈련된 모델과의 성능 격차는 오히려 더 벌어지고 있습니다.

주장사후 훈련 기술이 발전할수록 인공지능은 인간 행동과의 괴리가 커지는 결과를 낳습니다. 기본 모델은 인간 언어의 핵심을 담고 있어 언어 처리 과제에 최적화되어 있습니다.

주장반면 인간 피드백을 통한 강화 학습 등 사후 훈련은 모델을 사용자 친화적이고 규범적으로 올바른 답변을 하도록 강제합니다. 이 과정에서 인공지능은 인간 특유의 편향을 지워버립니다.

팩트연구진은 모델에 인구통계학적 정보를 입력하여 특정 역할을 수행하게 하는 페르소나 기법을 시험했습니다. 그러나 이 기법은 실제 개인의 행동을 예측하는 데 거의 효과가 없었으며 표면적인 흉내에 그쳤습니다.

주장특정 목표를 위해 추가 훈련을 하면 사전 훈련에서 얻은 능력이 퇴화할 수 있다는 점이 이번 연구의 핵심입니다. 다만 행동 데이터로 특수 훈련된 켄타우로스(Centaur) 모델의 사례를 볼 때, 논리적 정답이 아닌 행동 모사를 목표로 훈련하면 성능 개선이 가능합니다.

교차검증기존 연구에서도 챗봇 모델이 인간처럼 보이도록 최적화할 경우 사실적 정확도가 떨어지거나 인간의 추론 방식과 다르게 작동한다는 한계가 지적되었습니다. 인공지능이 인간을 완벽하게 대체하는 것은 현재 기술 수준에서 매우 어렵습니다.

주장인공지능의 유용성과 인간 행동 모사 능력 사이에는 상충 관계가 존재합니다. 향후 인공지능을 심리학 연구 등에 활용할 때는 모델의 훈련 방식에 따른 이러한 특성을 면밀히 고려해야 합니다.

출처더 디코더(The Decoder)의 보도 내용을 교차 검증했습니다.