MCP-LLM: 금융 AI의 신뢰성 및 시각화 리터러시 향상을 위한 Model Context Protocol 적용 연구
“대학생의 금융 AI 활용과 MCP 기반 LLM의 신뢰성 향상 실증 연구 (2025)”
개요
Model Context Protocol (MCP) 을 적용하여
기존 언어모델 대비 정확성(Accuracy), 응답 효율성(Efficiency), 시각화 리터러시(Visualization Literacy) 향상 효과를 실증적으로 검증한 연구의 구현 코드와 결과를 포함합니다.
연구 목적
- MCP 적용 여부에 따른 예측 정확도(RMSE, MAPE, 방향성 일치율) 차이를 검증
- 응답 효율성(latency, token cost) 개선 효과를 측정
- 시각화 리터러시(VLAT) 및 근거 일관성 향상 여부를 평가
연구 구조
??
주요 내용
| 항목 | 내용 |
|---|---|
| 연구 주제 | MCP 기반 언어모델의 금융 AI 신뢰성 향상 |
| 비교 모델 | Claude / MCP-Claude / Perplexity |
| 평가 영역 | 정확성(Accuracy), 효율성(Efficiency), 시각화 리터러시(VLAT) |
| 데이터 출처 | Yahoo Finance, FRED API, BDA Financial Survey (n=242) |
| 분석 방법 | t-test, ANOVA, ICC, Cohen’s d |
| 연구 기간 | 2025.08 – 2025.10 |
실험 결과
????
mcp 유리하다
평가 체계
| 평가 항목 | 주요 지표 | 설명 |
|---|---|---|
| 정확성 (Accuracy) | RMSE, MAPE, DA, Corr | 수치 예측 정확도 및 방향성 일치율 |
| 효율성 (Efficiency) | Latency, Token Cost, Determinism | 응답 속도·토큰 효율·일관성 평가 |
| 시각화 리터러시 (Visualization) | VLAT, Value Fidelity, Evidence Coherence | 시각화 생성 품질 및 해석 신뢰도 |
기술 구성
| 구분 | 사용 기술 |
|---|---|
| 모델 환경 | Claude 3, Perplexity API |
| MCP 서버 | Node.js + MCP SDK |
| 데이터 처리 | Python (pandas, numpy, plotly, matplotlib) |
| 통계 분석 | SciPy, StatsModels, Pingouin |
| 시각화 생성 | Altair, Vega-Lite |
| 자동화 | FastAPI, Jupyter Notebook |
데이터셋
- Financial Prediction Set — AAPL, MSFT, NVDA 등 주요 종목의 3개월 OHLCV
- News-Driven Context Set — 금융 뉴스 요약 기반 문맥 예측
- VLAT (Visualization Literacy Assessment Test) — 53문항 시각화 해석 과제 (Lee et al., 2017 기반)
