금융 IT생성형 AI 최적화 방안

2025년 05월 29일 

도메인 특화 LLM

• 도메인 특화 LLM은 특정 분야(도메인)에 맞춰 특별히 학습된 인공지능 언어 모델
• 예를 들어, 병원용 도메인 특화 LLM은 의료 용어, 진단 기록, 약 처방 같은 의료 데이터를 중심으로 학습되어, 일반 LLM보다 의사나 간호사가 사용하는 전문 표현을 더 잘 이해하고 정확한 답변을 할 수 있음
• 쉽게 말해, 일반 LLM이 만능 백과사전이라면, 도메인 특화 LLM은 전문 분야의 박사

생성형 AI 최적화 절차

• AI 모델을 고르고 → 조직의 데이터를 입히고 → 실제 서비스로 쓰는 3단계 과정

오픈소스와 폐쇄형 기초 모델(FM, Foundation Model) 비교

• Open-Source FM은 비용이 저렴하고 자유롭게 커스터마이징할 수 있지만, 품질 보장과 보안 지원에 제한
• Closed-Source FM은 성능과 안정성이 높고 공식 지원을 받을 수 있지만, 비용이 비싸고 유연한 수정이 어렵다는 단점

생성형 AI 최적화 방법

• Prompt Engineering : AI가 원하는 답을 잘하도록 똑똑하게 질문을 만드는 기술, 기본 모델은 변경되지 않음
• Retrieval Augmented Generation (RAG) : LLM이 답변을 생성하기 전에 외부의 학습 데이터 소스를 참조하여 답변의 정확도를 높이는 방식
• Finetuning : 특정 데이터 세트로 기존 기반 모델을 교육하여 영구적으로 업데이트하는 방식

➀ Prompt Engineering

• Zero Shot : “예시 없이 그냥 바로 질문” – AI에게 아무 힌트 없이 바로 문제를 던짐
• One Shot : “예시 하나 보여주고 질문” – 정답 예시 하나 보여주고 같은 방식으로 답하게 함
• Few Shot : “예시 몇 개 보여주고 질문” – 여러 개의 정답 예시를 먼저 주고 그 패턴을 따르게 함
• Chain of Thought (CoT) : “생각 과정을 써보게 하기” – 정답만 묻지 않고 단계별로 생각을 써보게 해서 정확도를 높임
• CoT-SC (Self-Consistency) : “생각을 여러 번 해보게 하고 다수결” – 같은 문제를 여러 번 풀게 해서 가장 많이 나온 답을 선택
• Tree of Thoughts : “여러 가지 생각을 나눠서 시도해보고 가장 좋은 흐름을 선택” – 마치 가지치기 하듯 다양한 생각 경로를 만들어봄

➁ Retrieval Augmented Generation (RAG)

• RAG는 LLM을 외부의 지식과 통합하여 기존 교육 데이터 이상으로 확장하는 기술로 AI가 기억만으로 답하지 않고, 인터넷이나 문서를 찾아보고 답하는 방식
• RAG에서 생성 머신러닝 모델은 생성 프로세스 동안 대규모 외부 지식 베이스에서 관련 정보를 검색하여 더 풍부한 컨텍스트, 더 풍부한 결과 및 더 나은 콘텐츠를 제공

➂ Finetuning

• 오픈소스 기반 LLM(대형 언어 모델)의 Finetuning(미세조정)은 기존 AI 모델에 기업 맞춤형 데이터나 스타일을 살짝 더 학습시켜서, 우리만의 똑똑한 모델로 만드는 기술
• 기업의 언어와 스타일 및 전문지식에 딱 맞춘 답변 가능하고, 오픈소스 기반 LLM이라도 학습한 데이터가 기업의 소유이면 상업적 이용이 가능

• Full Fine Tuning (FFT, 전체미세조정) : AI 모델 전체를 통째로 다시 학습시켜 맞춤형으로 만드는 방식으로 성능은 높지만 시간, 비용, 계산 자원이 많이 듦
• Parameter Efficient Fine Tuning (PEFT, 파라미터 효율적인 미세 조정)은 AI 모델의 일부만 가볍게 조정해 효율적으로 맞춤화하는 방식으로 빠르고 저렴하게 미세조정이 가능하며, 성능도 전체미세조정과 거의 비슷하며 효율이 뛰어남

• PEFT는 거대 언어 모델을 최소한의 비용과 인프라로 내 입맛에 맞게 조정하는 방법 중 하나로 전체 AI 모델을 고치지 않고, 꼭 필요한 부분만 살짝 고치는 스마트한 방법
• ‘19년 2월부터 ‘23년 2월까지 발표된 40편 이상의 논문을 포괄하여 20가지 방법을 심도 있게 논의한 30가지 매개변수 효율적 미세 조정 방법

생성형 AI 최적화 방안 비교

• Prompt Engineering : 빠르고 싸지만 성능은 프롬프트 설계에 크게 의존
• Retrieval Augmented Generation (RAG) : 지식 업데이트가 쉬운 구조이며, 외부 문서 활용로 신뢰성 높은 답변 가능
• Finetuning : 정확도 최고지만 비용·노력 많이 듦. 장기적으로 고정형 업무에 적합

생성형 AI 최적화 방안별 적용분야 및 장단점

• Prompt Engineering : 빠르게 시작하고 싶을 때
• Retrieval Augmented Generation (RAG) : 정보가 자주 바뀌는 업무에 적합
• Finetuning : 반복적이고 정형화된 업무에 최적

Finetuning + RAG

• Finetuning으로 AI가 우리 조직 용어, 말투, 양식에 익숙해지게 만듬 (예: 시험성적서 문장 스타일, 금융 보고서 표현 등)
• RAG로 AI가 최신 정책, 제품 정보, 법령 등 외부 문서를 검색해서 그 내용을 반영해서 똑똑하게 답하게 만듬
• Finetuning과 RAG 두 가지를 결합하면 조직의 스타일로, 최신 정보까지 반영한 정답을 제공할 수 있음

※ 관련 제품 및 서비스 :  PaaSXpert LLMOps

📞 문의 및 상담 

• 이름: 전형철 전무/CTO
• 이메일: hcchun@pron.co.kr
• 휴대전화: 010-6275-3841
• 홈페이지: www.pronsolution.com