21 리포트 검토 그리고 문제점

 

 

문제.. 할루시네이션, 데이터 누락 등

inmyrace의 데이터 분석 파이프라인은

1단계 : fit data를 파싱하여 가공한다. 

2단계: 거기에 러너 프로필을 더한다. 

3단계: LLM이 각 파일을 해석한다. 

해석역시 총 4단계로 이루어진다. 

데이터를 배분하고 

각 도메인의 전문가 에이전트가 배분된 지표를 개별 분석을 하고,

이것을 취합하여 교차 검증을 한다. 

거기에 훈련 방법을 추가한다.

 

 

문제는 데이터 유실이 심하고,

교차검증을 하면서 할루시네이션이 심해진다. 

 

가장 중요한 데이터 유실부터 잡았다.

데이터 유실은 잡았으나….

리포트 품질이 썩 맘에 들지 않는다. 

 

1) 데이터 파싱

2) llm 분석 엔진(분석 단계와 구조)

3) 프롬프트 

 

3가지 사항을 모두 꼼꼼히 다시 봐야겠다. 

진행중에는 보이지 않던 것들이 최종 결과믈이 나오면 보인다….