일시: 2025년 1월 22일 (수) 11:30-13:00
장소: 서울대학교 64동 (IBK 커뮤니케이션 센터) 501호
주제: 대규모 언어 모델(LLM)을 텍스트 분석에 사용할 수 있을까? 
발표자: 이상혁 (서울대학교 기초교육원 강의 교수)
개요: 사회과학 영역에서도 언어 모델을 활용한 연구 등이 많이 등장하고 있다. 특히 GPT와 같은 생성형 LLM의 강력한 텍스트 처리 성능이 부각됨에 따라 여러가지 텍스트 분석에 생성형 LLM을 사용할 수 있을지에 대한 관심이 커지고 있다. 본 포럼에서는 생성형 LLM이 가지고 있는 분석 도구로서의 한계점과 함께, 이 한계를 극복하기 위해 필요한 절차에 대해 논의한다. 생성형 LLM의 경우 분석 도구로서 일반적으로 갖춰야 할 신뢰도(reliability)와 타당도(validity) 측면에서 의문점이 있다. 특히 신뢰도 측면에서 동일한 프롬프트를 반복적으로 투입해도 다른 결과가 출력될 수 있으며, 이는 단순히 언어 모델의 구조적 문제 뿐만 아니라 서버 사용량과 같은 외적 요소에 의해 나타날 가능성이 있다는 점에서 분석 도구로서의 치명적인 한계를 보인다. 생성형 LLM의 신뢰도와 타당도 문제를 해결하기 위해 프롬프트의 정규화, 반복 측정을 통한 신뢰도 확보, 인간 코딩 결과와의 비교를 통한 타당도 확보 등의 절차적 요건이 요구된다. 아울러 분석 대상인 텍스트의 내용과 종류에 따라 신뢰도와 타당도가 다르게 나타날 수 있다는 점에 주의해야 할 필요가 있다. 이러한 논의를 통해 생성형 LLM을 텍스트 분석 도구로 사용할 수 있는지, 또한 이를 위해서는 어떤 절차가 요구되는지에 대한 논의를 진행할 예정이다.