신한은행, 인공지능 학술대회서 금융 AI 연구 논문 발표

구글 검색 선호 출처로 추가
신한은행, 인공지능 학술대회서 금융 AI 연구 논문 발표

신한은행(은행장 정상혁)은 이탈리아 밀라노에서 열린 글로벌 인공지능 학술대회 ‘ICAIF(International Conference on AI in Finance) 2026’ 워크숍에서 금융 AI의 안전성과 신뢰성을 높이기 위한 연구 논문 2편을 발표했다고 16일 밝혔다.

ICAIF는 금융과 인공지능(AI) 기술의 융합을 주제로 최신 연구 성과와 산업 적용 사례를 공유하는 국제 학술대회다.

신한은행은 이번 학회에서 ▲은행 업무에 적합한 대규모 언어 모델(LLM)을 평가하는 벤치마크 프레임워크 ‘K-BankEval’ ▲내부 AI 에이전트 평가·검증 플랫폼 ‘Agent Foundry’를 기반으로 한 AI 에이전트 업무 수행 검증 기술에 대한 연구 성과를 발표했다.

‘K-BankEval’은 여신·수신·외환 등 은행 업무 전반의 특성을 반영해 총 5000개 문항과 6개 평가 영역으로 구축한 LLM 벤치마크 프레임워크다.

평가 영역은 ▲은행 업무 전문지식 ▲금융 문서 검색 및 근거 기반 답변(RAG) ▲업무에 필요한 도구 호출 ▲은행 업무 관련 계산 및 추론 ▲금융소비자 보호 관점의 응답 안전성 ▲AI 에이전트의 업무 수행 계획 등으로 구성된다.

신한은행이 6개 LLM을 비교 평가한 결과, 범용 AI 성능이 우수한 모델이라도 실제 은행 업무별 수행 능력에는 차이가 있는 것으로 나타났다. 이를 통해 업무 특성에 적합한 LLM을 선정하고 각 모델의 취약 영역을 진단할 수 있는 평가 기반을 마련했다.

신한은행은 내부 AI 에이전트 평가·검증 플랫폼 ‘Agent Foundry’를 기반으로 은행 업무에 활용되는 AI 에이전트의 최종 답변뿐 아니라 업무를 수행하는 과정까지 함께 검증하는 평가 체계를 구축했다.

업무 요구사항을 검증 사례와 평가 기준으로 구체화하고 AI 에이전트의 답변과 도구 실행 기록을 분석해 ▲응답의 업무 기준 충족 여부 ▲필요한 도구의 적절한 사용 여부 ▲업무 실행 과정의 효율성 등을 점검한다.

이를 통해 실제 은행 업무에 AI 에이전트를 적용하기 전에 기준을 충족한 부분과 추가 보완이 필요한 영역을 체계적으로 확인할 수 있다.

이번 연구에서는 업무별 필수 확인 사항과 실제 실행 기록을 연계해 검증하고 판단 근거가 충분하지 않은 사례를 정상적인 통과 사례와 구분하는 방법 등 평가 체계의 개선 방향도 제시했다. 향후 AI를 활용한 업무 처리의 정확성과 안정성을 높이기 위한 검증 기반으로 활용할 계획이다.

신한은행 관계자는 “앞으로도 금융 환경에 특화된 AI 평가·검증 기술을 고도화해 고객과 직원이 안심하고 활용할 수 있는 금융 AI 환경을 만들어가겠다”고 말했다.

이윤혜 기자 dbspvpt@datanews.co.kr

[ⓒ데이터저널리즘의 중심 데이터뉴스 - 무단전재 & 재배포 금지]

맨 위로