AI를 활용한 복지 욕구조사 통계분석과 논문 검색

AI로 할 수 있는 게 무엇일까?

어리석은 질문이다. 이제는 아마 할 수 없는 걸 찾는 게 더 쉬운 일이다. 그동안의 글은 AI로 조사 설계, 설문지를 구성하였고, JAMOVI로 분석을 했다면 이제는 다시 AI로 통계 분석과 논문 검색을 할 차례이다. 나로서는 이제까지 정말 수많은 경험을 통해 힘들게 배운 지식들이었는데, 이것까지 인공지능이 한다는 사실이 다소 기분이 나쁘지만 어쩔 수 없다. 이제는 인정해야 한다. 정말 안 되는 게 없는 AI다...

사실 욕구조사에 있어서 통계분석은 정말 골치 아픈 단계이다. 물론 분석은 기계랑 하는 기술이다. 강의를 듣던지 책이나 인터넷으로 하는 방법을 보면 된다. 그렇게 나온 수치를 가지고 쓰기만 하면 되는 거다.

대부분의 연구자들이 쓰는 방식은 기존의 틀을 베낀다. (나쁜 의미 아님) 기존에 나온 논문 중 자신이 보기 편한 양식이나, 학회에서 요구하는 틀에다가 맞춰서, 논문을 보고 그 틀에 맞춰 내용을 적으면 되는 거다. 하지만 통계적인 지식이 없다면 자신에게 있어서 거의 외계어(?) 같은 해석 글을 다는 일은 결코 쉬운 일이 아니다. 문제는 내가 쓴 이게 맞는 건지는 굉장한 의심이 든다는 사실이다.

그래서 자신보다 경험이 많은 선배 연구자나 슈퍼바이저, 학교에서는 지도 교수님이 내용을 검토를 해주셨다. 즉, 사람이 검토를 해줬는데, 이게 현실적으로 다 봐주기가 어렵다는 문제가 있다. 사람이 면밀히 확인하면서 점검을 하는 작업이 굉장히 높은 에너지를 소모한다. 그래서 여러 사람이 검토했음에도 오류가 발생할 수밖에 없다.

실제로 정식 발행된 학위 논문이나 학회지도 은근히 오류가 많다. 당연히 면밀히 확인해야 하는 작업이지만, 사람이 하는 일이기 때문에 이해할 수 있다. 그렇다고 타인의 도움을 빌려 너무 많이 확인을 요청하게 되면... 사람인지라 보는 사람 입장에서도 굉장히 짜증이 날 수밖에 없기에 이 또한 이해가 된다. 하지만 이제는 오류가 많이 없을 듯하다. AI가 하면 된다. 통계 분석은 물론 분석한 내용에 대해서 오류를 확인하는 검토 기능도 가능하다.

당연히 복지 현장의 욕구조사에서도 활용이 가능하다.

3단계로 나누어서 설명할 수 있다.

1. 기존 양식에 맞춰서 통계표 만들기

2. PDF로 전환 후 AI에게 분석 요청하기

3. 분석한 내용을 정리 후 오류를 확인해 달라고 하기

2,3은 거의 같이 수행할 수 있지만, 그래도 더욱 구체적인 설명과 정확성을 기하기 위해 단계를 나눴다.

1. 기존 양식에 맞춰서 통계표 만들기

일단 표를 만드는 게 중요하다. 당연히 좋은 욕구조사 보고서의 양식을 참고하거나 기존에 복지관에서 쓰던 통계표에 맞춰서 내용을 채워주면 된다. 그리고 AI에게 요청하면 된다.

우선 역할을 지정한다.

너는 통계분석과 사회복지 분야 조사연구의 전문성을 가진 15년 차 이상의 사회복지사야. 여기에 기반해서 답변해 줘.

이렇게 사회복지사로 지정할 수도 있고, 더 전문적인 해석을 원한다면 통계학자, 교수 등 다양하게 역할을 지정할 수 있다. 요새 지피티(GPT)가 자꾸 돈 내라고 번거롭게 해서, 이번 예시는 제미나이(Gemini)를 활용해 보았다.

2. PDF로 전환 후 AI에게 분석 요청하기

그다음은 어떤 분석을 할지를 정해서 요청하면 된다. '빈도분석 - 기술통계분석 - 교차분석 - 평균분석' 대략 4가지 정도로 순서대로 해 주면 된다. 당연히 더 높은 수준인 상관, 회귀분석도 가능하다.

하나의 예시로 '빈도분석'만 해보겠다.

이 표를 통계적 해석을 준수하여 ‘빈도분석’ 해줘. 사회복지의 관점에서 적용 방향을 제시해 줘.

우리 복지관에서 진행했던 '2025년 온(ON) 동네 트렌드'의 주민들의 욕구를 표시한 빈도표를 PDF로 전환하여 자료를 AI에 넣어보았다. 나름 사회복지에 대한 관점으로 설명을 해준다.

매우 놀랍다. 빈도표 치고는 상당히 한눈에 보이기 어려운 표를 넣었음에도 순식간에 내용을 분석한다. 특히 다중응답(한 사람이 여러 개를 선택)을 한 내용을 오류 없이 정확히 파악한다.

사회복지 관점에서 적용 방향을 적어준 내용도 좋다. 내 기준에서는 좀 엉성한 부분이 있기는 한데, 충분히 참고할 수 있는 내용이 많다. 저 빈도 분석을 사람이 파악하고 쓴다면 상당히 시간이 소요되는 작업이겠지만, AI는 피로도 없이 빠르게 처리한다. 여기서 나온 내용을 충분히 검토하여 활용하면 된다.

3. 분석한 내용을 정리 후 오류를 확인해 달라고 하기

그 내용을 참고해서 내용을 정리하여 작성해라 이제 그 내용을 검토 달라고 하면 된다. 나는 그냥 사회복지적인 관점은 빼고 단순하게 적어보았고, 그 분석 내용을 포함한 자료를 넣었다.

이 통계표에 대한 빈도분석이 통계적 해석에 오류가 없는지 검토해 주고, 수정할 내용이 있다면 제시해 줘.

정말 대단하다. 나의 숫자 실수와 해석 상 일관되지 않은 오류를 정확히 잡아준다. 예시로 든 이 표는 단순한 빈도분석 내용이라 그렇게 오류가 없을 줄 알았는데... 수준 높은 분석은 물론 내가 실수로 오기입 한 내용을 정확하게 잡아냈다. 그것도 굉장히 친절하게 설명까지 해준다. 슬프지만 사람보다 낫다. 이제는 정말 통계 분석도 AI가 훌륭한 수준이 되었다.

이후에 더 상위의 분석인 기술통계분석, 교차분석, 평균분석, 상관분석, 회귀분석도 해석해 달라고 해보자. 나는 오히려 복잡한 이후 분석의 과정이 훨씬 더 좋았음을 느낄 수 있다.

이렇게 정해진 부분에 있어서 검토하는 일은 확실히 기계가 더 낫다. 앞으로 실제 논문들도 오류가 줄어들 것으로 보인다. 당연히 모두가 AI에 넣어서 검토를 해 줄 것을 요청할 테니까 말이다. 물론, 그 대신 내가 만든 논문의 정보는 인공지능이 다 가져갈 것임은 감수해야 한다. 그러니 성급하게 내용 전체를 다 넣거나, 너무 불필요하게 계속적으로 요청하는 남용은 하지 말자.

---

이제 다음은 논문의 검색이다.

우선 논문의 검색은 초반 조사설계 이전에서 조사의 전반에 이르기까지 문헌을 참고하는 과정이다. 레퍼런스(reference)를 의미하는데, 정보의 출처나 참고 대상을 의미하는 영어 단어이다. 논문이나 연구 같은 학술 기술 분야는 물론 직업, 경력, 예술 등 다양한 분야에서 사용된다. 이제 AI에서 우리가 필요로 하는 논문을 찾을 수 있다.

간단하게 설명하자면, 논문 검색은 퍼플렉시티(Perplexity)를 쓰면 된다. 논문 특화 된 AI로 실제 학교에서는 유료로 많이 사용한다. 단순 나는 무료로서 비교해 봤지만, 확실히 논문 관련 내용은 다른 인공지능보다는 퍼플렉시티가 좋았다. 깔끔하고 정확하게 내용을 찾아준다. 물론, 이것도 오류는 있다. 그래도 논문 검색에 익숙하지 않은 사람은 많은 도움이 될 것으로 보인다.

질문의 예시이다.

사회복지와 ESG를 연구한 논문의 척도를 찾아서 활용하려고 해. 전체 척도의 내용을 확인할 수 있는 논문을 찾아주고, 출처를 꼭 제시해 줘.

역시 훌륭하다. 심지어 나의 'ESG는 사회복지 현장의 주요한 흐름이 될 것인가?' 논문도 찾아준다. 굉장히 깔끔하게 정리하여 제시하는 논문 특화 퍼플렉시티이다. 물론 여기서 더 구체적으로 질문할 수도 있다. 학위 논문만 찾아달라고 하던지, 하위구조를 가진 척도, 몇 개 이내의 문항의 논문만 검색한다던지 가능하다. 물론 세부 수행을 함에 있어서 무료 수준에서는 오류가 간간이 보였다. 감안하여 사용이 필요하다.

하지만 안타깝게도 난 솔직히 내가 직접 찾는 게 더 괜찮았다. 경험이 어느 정도 있는 사람은 자신만이 가진 더 좋은 논문 검색 기술이 있을 것이다. 아무래도 내가 원하는 논문의 내용이나 활용할 세부척도는 나의 주관적인 기준과 판단이 들어가기 때문에 아직 AI가 그 수준에는 미치지 못했다. 그래도 연구에 익숙하지 않은 사람이나 초보 연구자는 그래도 높은 활용도를 보여줄 것으로 기대된다.

AI로 할 수 없는 게 무엇일까?

이제는 정말 기술에는 한계가 없다. 하지만 나는 기술에 의존하라고 나는 이 방법들을 설명하는 게 아니다. 좀 더 쉽게 욕구조사를 하고, 전문적인 내용을 통해 우리의 실천 방향을 정하라는 의미이다. 기술은 거들뿐이다. 현장 연구자로서 실천을 지향하기 위한 중요한 도구가 되어야 한다. 그럼 이제 마지막 질문을 하려고 한다.

우리의 복지 욕구조사는 무엇을 지향해야 하는가?

* 다음 주에 연재 '복지현장에서 욕구조사를 담당한다면' 1부의 마지막회로 돌아오겠습니다.