GraphRAG의 '추론 병목' 해결하기

지식의 점들을 연결했는데 결과가 왜 이래?

최근 RAG(검색 증강 생성)의 끝판왕으로 불리는 GraphRAG! 정보를 그물망(Graph)처럼 연결해 찾아오는 능력은 탁월하지만, 막상 정답률이 기대만큼 안 나와서 고민하셨나요?

이 논문 "The Reasoning Bottleneck in Graph-RAG​"은 바로 그 지점을 콕 짚어줍니다.

문제는 검색이 아니라 '생각'이다

연구진이 유명한 GraphRAG 시스템인 KET-RAG를 분석해 보니 놀라운 결과가 나왔습니다.

• 검색 성공률: 질문에 필요한 정답 정보는 이미 77~91% 확률로 잘 찾아오고 있었습니다.

• 정답 성공률: 그런데 정작 최종 답변의 정확도는 35~78%에 그쳤습니다.

• 원인: 실패 원인의 73~84%가 '추론(Reasoning) 실패였습니다. 즉, 좋은 재료를 다 갖다 줘도 모델이 그 정보들을 연결해서 결론을 내는 데 애를 먹고 있다는 뜻입니다.

해결책 1: SPARQL CoT (구조화된 생각의 고리)

AI에게 그냥 "이 데이터 보고 답해줘"라고 하는 대신, 그래프 데이터베이스의 언어인 SPARQL 쿼리를 짜듯이 생각하게 만들었습니다.

• 방식: 질문을 '엔티티-관계-엔티티'의 트리플 구조로 쪼개서 단계별로 추론하게 유도합니다.

• 효과: 이 방식 하나만으로 정확도가 최대 14%p나 올랐습니다.

해결책 2: Graph-walk Compression (공짜로 하는 데이터 다이어트)

불필요한 정보를 쳐내서 AI의 집중력을 높이는 방법입니다.

• 특징: 비싼 LLM을 써서 요약하는 게 아니라, 그래프의 연결 구조(Topology)를 따라가며 관련 없는 노드를 기계적으로 제거합니다.

• 효과: 콘텍스트 크기를 60%나 줄이면서도 성능은 오히려 더 좋아집니다. (비용 절감은 덤!)

실험결과

이 두 가지 기법을 적용했더니 놀라운 가성비가 실현되었습니다.

• Llama-8B (소형) + 이번 기법 vs Llama-70B (대형) 순정 버전

• 결과: 8B 모델이 70B 모델과 대등하거나 오히려 더 높은 성능을 보였습니다.

• 비용: 무려 12배나 더 저렴한 비용으로 말이죠!

마무리:요약 노트의 힘

이 논문은 "무조건 큰 모델, 무조건 많은 데이터"가 답이 아님을 보여줍니다. 특히 법률이나 비즈니스처럼 복잡한 관계를 다루는 분야일수록, 데이터를 어떻게 구조화해서 모델에게 떠먹여 주느냐(Structured Prompting)가 성공의 핵심이라는 것이죠. GraphRAG의 성능이 안 나온다면 검색 엔진을 의심하지 말고, 모델이 정보를 잘 소화할 수 있게 '구조화된 식단(SPARQL CoT)'과 '다이어트(Compression)'를 한번 시켜보세요!