'멀티모달' 망각 문제 해결한 ETRI, '건망증 없는 AI' 원천 기술 개발

ETRI 연구진이 연속·복합 지식 편집 기술(MemEIC)에 대해 논의하고 있다. (사진=ETRI 제공)

국내 연구진이 새로운 내용을 학습하면 기존 지식을 잊어버리는 멀티모달 AI 망각 문제를 해결했다. '건망증 없는' AI 개발은 국내를 넘어 전 세계의 주목을 받고 있다.

한국전자통신연구원(이하 ETRI) 언어지능연구실 임수종 실장 연구팀은 POSTECH·성균관대와 공동 연구를 통해 '연속·복합 지식 편집 기술'(MemEIC)을 개발했다.

이 기술은 AI의 '치명적 망각' 현상을 해결할 수 있는 기술로 주목받는다. 챗GPT나 제미나이, 클로드 등 이미지와 텍스트를 동시에 이해하는 멀티모달 AI는 새로운 정보를 배우거나 기존 정보를 수정하면 앞서 배운 지식을 잊어버리는 현상이 발생하는데, 이 때문에 제대로 된 답을 하지 못하는 문제가 발생한다. 시각 정보와 언어 정보를 동시에 수정할 때 두 종류의 지식이 서로 섞여 AI가 제대로 이해하지 못해 복합적인 질문에 틀린 답을 하면서다.

예를 들어 AI에게 두바이쫀득쿠키 시각정보와 "한국에서 인기가 많다"는 언어정보를 차례로 학습시킨 뒤 "이 디저트는 어느 나라에서 인기가 많은가?"라고 물을 때, 기존 AI모델은 두 지식을 바르게 연결하지 못하는 한계를 보인 것이다. 사진 속 디지털를 잘못 인식한 AI가 부정확한 답변을 생성하는 등 환각 현상이다.

연구팀은 이러한 문제를 해결하기 위해 복합적인 질문에도 정확하게 답할 수 있는 지식 편집 AI 기술을 새롭게 개발했다. 기존 방식에선 AI 내부 핵심 파라미터를 직접 수정해 바꾸는 방식이 주로 사용됐는데, 기존 모델의 구조를 근본적으로 변경하는 이른바 '뇌수술식 접근법'이다. 이러한 접근은 지식을 수정하는 과정에서 기존 정보까지 영향을 받아야 했다.

기술 예시 (이미지=ETRI 제공)

ETRI 연구진이 연속·복합 지식 편집 기술(MemEIC)에 대해 논의하고 있다. (사진=ETRI 제공)

연구팀이 고안한 방식은 보조기억장치를 추가해 필요할 때만 정보를 불러와 사용하는 구조다. 기존 모델의 안정성을 유지하면서 새로운 정보를 유연하게 추가할 수 있는 확장성을 확보했다. 인간이 좌뇌와 우뇌를 나눠 각각 역할을 하듯 AI도 지식을 나눠 저장하도록 했다. 시각 정보는 '시각 어댑터'에 저장하고 텍스트는 '언어 어탭터'에 각각 저장하고 AI가 이미지와 텍스트를 함께 이해해야 하는 질문을 받으면 '지식 커넥터'가 두 정보를 문맥에 맞게 답을 연결하는 식이다.

연구팀은 기술 성능을 확인하기 위해 1278개 항목으로 구성된 복합 지식 편집 벤치마크를 구축하고 수백 건의 지식을 순차적으로 편집하는 실행을 진행했다. 그 결과 복합 질문 정확도 70% 수준을 보였다. 기존 기술들이 36~52% 수준을 보였던 것보다 향상된 성능이다.

이번 연구는 AI의 망각 현상을 완화하는 수준에서 나아가 연속적인 지식 편집과 복합 추론이라는 난제를 해결한 의미를 지닌다. 정책·법령 정보나 제품 정보, 산업 데이터 등 새로운 정보가 추가되고 바뀌어 지속적으로 업데이트가 필요한 지능형 서비스 분야에서 활용성이 높을 것으로 보인다.

해당 기술은 세계적으로도 우수성을 주목받고 있다. AI 학술대회 'NeurIPS 2025'에 채택돼 2025년 말 미국 샌디에이고에서 발표되면서다.

임수종 ETRI 언어지능연구실장은 "이번 연구는 멀티모달 AI가 실제 서비스 환경에서 요구되는 최신 정보 반영과 신뢰성 확보를 동시에 달성할 수 있는 기술적 기반을 마련한 성과"라며 "향후 산업 현장의 다양한 정보를 안정적으로 반영할 수 있는 기술을 더 고도화하겠다"고 말했다. 임효인 기자