챗GPT 성능을 높이려면…프롬프트에 ’간절함’ 필요해

[테크월드뉴스=양승갑 기자] 감성 지능이 포함된 프롬프트가 대형언어모델(LLM) 성능 향상에 핵심적인 역할을 할 수 있다는 연구 결과가 나왔다. 감성 지능은 감정이 담긴 정보를 능숙하게 해석하고 관리해 인지적 과제를 조정하는 데 활용하는 능력을 뜻한다.

▶ 감정적 프롬프트 통해 LLM 성능 향상

최근 테크크런치에 따르면 마이크로소프트(MS), 베이징 사범대학 및 중국과학원(CAS) 연구진들은 ‘감정적 프롬프트(EmotionPrompt)’가 LLM 성능 향상에 중요한 역할을 미친다는 연구 결과를 밝혀냈다. 감정적 프롬프트는 일반 프롬프트와 감성 지능을 결합한 프롬프트로 LLM의 문제 해결 능력에 영향을 미치는 정서적 자극을 의미한다.

연구진은 LLM이 감정적 자극을 이해하는 능력을 알아내기 위해 챗GPT, GPT-4, 라마2, 블룸(BLOOM), 플랜(Flan-5G-Large), 비쿠나(Vicuna) 등 LLM을 대상으로 45개 과제에 대한 실험을 진행했다.

실험 결과, 긴급성이나 중요함을 포함한 메시지를 프롬프트 할 때 LLM 성능이 약 8% 향상됐다. 예를 들어 ‘이것은 내 경력에 매우 중요하다’, ‘논문 심사를 위해 이 문제를 바로 잡는 것이 중요하다’ 등을 입력했을 경우다. 106명의 사람을 대상으로 진행한 실험에서도 성과, 진실성, 책임감 등 지표에서 평균 10.9% 성능 향상이 이뤄진 것으로 나타났다.

특히 감정적 자극이나 긍정적 단어가 많을수록 일반적으로 최종 출력 값에 더 많은 영향을 미쳤다. 가령 ‘영화 리뷰가 긍정적인지 부정적인지 판단하세요’라는 원본 프롬프트를 ‘영화 리뷰가 긍정적인지 부정적인지 결정합니다. 자신의 작업에 자부심을 갖고 최선을 다하세요. 탁월함을 향한 헌신이 당신을 차별화한다’고 변화시키면 프롬프트 기여도를 의미하는 색상이 더욱 짙어졌다.

연구진은 “감정적 프롬프트가 학제 간 사회과학 지식을 탐구할 수 있는 새로운 길을 제시한다고 가정한다”며 “인간의 중요한 특성인 감성 지능을 통해 LLM이 어떻게 이해하고 이를 향상시킬 수 있는지 평가하는 연구를 수행했다”고 밝혔다.

▶ 업계 프롬프트 개선 진행 중…더 많은 연구 필요해

관련 업계에서도 ‘인간적인 격려’를 사용하는 등 프롬프트를 개선하며 AI 모델의 성능 향상을 이루려는 모양새다. AI 스타트업 앤스로픽과 구글 딥마인드의 연구가 대표적이다.

지난해 12월 앤스로픽은 학습 데이터의 편향으로 인해 인종차별적 성향을 띄는 AI를 방지하기 위해 ‘개입(Interventopms)’이라는 방식을 사용했다. 기본적으로 다양한 방식으로 편견에 치우치지 말라는 메시지를 프롬프트에 추가한 것이다.

예컨대 특정 정보를 사용하지 않는 것이 얼마나 중요한지 강조하기 위해 ‘정말 정말(really really)’이라는 말을 반복했으며 ‘이 결정을 내릴 때 어떤 형태의 차별도 하지 않는 것이 매우 중요하며 그렇게 할 경우 당사에 부정적인 법적 결과를 초래할 수 있다”고 덧붙이면 인종차별적 성향을 0에 가깝게 줄일 수 있었다.

구글 딥마인드의 경우 LLM 성능을 개선하기 위해 ‘OPRO(Optimization by PROmpting)’이라는 방법을 적용했다. 이는 기존 수학 기반 최적화 도구의 한계를 우회하기 위해 자연어로 최적화 문제를 설명하고 ‘메타 프롬프트’를 사용해 프로세스를 위한 단계를 설정하는 것이다.

구글 딥마인드에 따르면 초등학교 수학 문제 데이터셋 ‘GSM8K’을 대상으로 한 테스트에서 ▲‘심호흡을 하고 이 문제를 차근차근 풀어보세요’ 문구를 추가했을 때 80.2%의 정확도를 기록했으며 ▲’단계별로 생각해 보자’라는 프롬프트는 71.8%의 정확도를 ▲특별한 프롬프트가 없는 모델은 34%의 정확도만을 보였다.

구글 딥마인드는 “이런 문구는 LLM 학습 중에 신경망에 흡수한 데이터셋에서 더 나은 답을 찾거나 추론되는 문제 해결의 예를 생성하는 데 도움이 될 수 있다”고 설명했다.

한편 연구진은 해당 연구가 근본적 모델 훈련에서 더 많이 검증돼야 한다고 밝혔다.

연구진은 “이 논문은 LLM이 감성 지능을 이해하고 이를 통해 향상될 수 있다고 결론짓고 있지만 사실 인간의 감성 지능에 대한 기존 연구와 상충되는 부분이 있다”며 “기존 심리학 연구에 따르면 인간의 태도는 감정에 의해 영향을 받는다. 하지만 단순히 감정적 자극을 더한다고 해서 이성이나 인지 능력이 향상되는 것은 아니다”고 전했다.

이어 “이런 차이에 대한 미스터리는 아직 명확하게 밝혀지지 않았으며 향후 연구를 통해 인간과 LLM의 감성 지능의 실제 차이를 파악할 것”이라고 덧붙였다.