복지 욕구조사를 위한 설계, 설문지 기획 프롬프트
쓰레기가 들어가면, 쓰레기가 나온다.
기고(GIGO), Gargarbage-in garbage-out라고 한다. 속담 같은 표현이지만 IT, 경제, 경영학, 공학 등 '자료'를 다루는 학문에서는 정말 진리의 명언이다. 최근에는 ChatGPT와 같은 AI 인공지능이 부각되면서 더욱 유명한 말이 되었다. 내가 좋아하는 말이기도 하다.
AI에게 물어보는 질문, 명령어(프롬프트)를 쓰는 능력이 정말 중요해지고 있다. 우리의 이 '매우 센스 없지만' 일을 잘하는 신입사원 같은 친구는 (센스 없으면 일 못하는 거 아닌가...) 정말 구체적인 업무 지시를 해줘야 한다. 흔히 알고 있는 육하원칙에 근거한 정확한 명령을 해줘야 하는 거다.
중요한 건 AI에게 최종 결과물을 원하면 안 된다. 업무 시간 절약과 창의성을 얻기 위한 차원의 초안, 요약, 분석 자료를 받는다고 생각하면 된다. 이번 글에서는 사회복지 현장에서 욕구조사를 처음 기획 설계하고, 설문지를 제작을 위해 내가 만든 프롬프트를 설명하고자 한다. (좀 길다)
먼저 내가 AI를 활용하는 전제가 있다. 뭐 내가 만든 건 아니고, 일반적으로 많이 쓰이는 방식이다. 그중 욕구조사에 활용할 3가지 원칙이 있다.
첫째는, 명확한 지정과 질문이다. 이건 뭐 앞서 이야기한 내용이니 설명은 생략해도 될 듯하다. 그러나 정말 중요한 첫 번째 지침임은 명확하다.
둘째는, 반드시 '키워드나 이론'을 제시'해야 한다. 사실 AI의 강점은 정보와 정리다. 그렇지만 사람은 두루뭉술하게 설명해도 알아듣지만, AI는 절대 못 알아듣는다. 차라리 확실하게 관련 키워드를 강조해 주고, 이론을 들어 자료를 요구해야 내 의도와 근접하고 덜 이상한 답변을 얻을 수 있다.
셋째는, 결과물을 반드시 나와 여러 사람의 확인 및 선정의 과정을 거쳐야 한다. 이 단계는 필수다. AI가 준 답을 바로 가져가는 건 정말 한심한 일이다. 솔직히 아예 그 분야에 대해서 모르는 사람은 걸러 낼 수 없을지 모르지만, 조금 그 분야를 아는 사람이 봤을 때 답이 반드시 엉성한 지점이 있다. 반드시 '초안'임을 참고하고 확인해야 한다. 혹시나 여러 사람이 확인하기 어렵다면 꼭 다른 공신력 있는 자료와 비교해 보자.
많이 아는 이야기를 너무 자세히 설명한 듯한다. 이제 본격적인 '복지 욕구조사 설계'에 대한 AI 프롬프트 단계이다.
1. AI의 복지 욕구 조사의 개념 확인
2. 역할 지정
3. 자료 제공(혹은 출처 제공, 생략 가능)
4. 조사 분야 질문
5. 조사 항목 질문
내 나름대로 정리한 5단계의 과정으로 정리하였다. 프롬프트는 조사 설계의 단계가 주를 이룬다. 설문지 문항에 대한 질문도 약간 포함되어 있다.
자료는 OpenAI의 ChatGPT 무료 버전을 활용하였다.
1. AI의 복지 욕구 조사의 개념 확인
이 단계도 사실 생략할 수 있지는 그래도 개인적으로는 하기를 권장한다. AI의 수준을 알아볼 수도 있고, 학습 모델인 인공지능이 나의 관심사를 미리 파악해서 답변에 도움을 주게 하는 단계이다.
‘복지관(종합, 노인, 장애인)’에서 사회복지사들이 수행하고 있는 업무 중에 하나로서 '지역복지 욕구 조사'를 알고 있니? 내용을 좀 설명해 줘.
아주 기가 막히게 답변해 준다. 솔직히 전공책보다 낫다... 아무래도 사람이 쓴 글은 저자가 연구는 잘하셔도 문맥이나 필력이 약한 경우가 있어서 읽기가 참 힘들다. 물론 표절 문제 때문에 문장을 뒤틀어서 그런 원인도 있을 거라 생각한다. 어쨌든 개념을 설명하는 건 이제 AI가 확실히 더 낫다고 생각한다.
2. 역할 지정
이 단계는 무조건 필수다. 답변을 원하는 대상을 알려줘라. 그럼 AI가 흉내를 내준다. 내 경우에는 나를 페르소나 해봤다. 어떤 답변을 요구하더라도 무조건 거쳐야 하는 절차이다.
너는 통계와 사회복지 분야 조사연구의 전문성을 가졌으며, 현재 ‘종합사회복지관’에서 근무하는 15년 차 이상의 사회복지사야. 여기에 기반해서 답변해 줘.
그럼 욕구조사를 대상에 맞춰서 또 설명해 준다. 보는 재미가 있으니 한 번 비교해서 보자. 계속해서 반복 질문은 사격에 비유하면 정확한 명중을 위해 '영점'을 잡는 단계라고 생각해서 거치기 바란다. 뭐 이 중복적인 답변이 불필요하다고 느끼면 '답변하지 말고 대기해라'라고 하면 된다. 자꾸 AI가 말하게 하면 스크롤 길어지면서 어수선 해질 수 있으니 이건 취향 대로 하자.
아울러 역할의 대상은 바꿔도 된다. 교수도 좋고, 연구자, 통계분석가도 괜찮다. 개인적으로 '통계에 전문성이 있는 사회복지사', '사회복지학과 교수'를 추천한다. 조금 더 현장의 느낌은 사회복지사, 조사 연구 관련 느낌은 교수이니까 원하는 방향대로 설정하면 된다.
3. 자료 제공(혹은 출처 제공, 생략 가능)
자료를 제공하는 단계이다. 이전에 자신에 복지 기관에서 만든 욕구조사 보고서나, 다른 기관의 보고서를 넣으면 그에 기반한 답변을 해준다. 그렇지만 문제는 이 자료에만 국한된 답변이 나올 확률이 있다. 추구하는 방향이나 견본자료가 아니라면 3단계는 참고만 하고 건너뛸 것을 추천한다. AI를 쓰는 목적은 담당자 본인의 창의성을 얻기 위한 지점이라고 생각한다. 그리고 문제는 자꾸 파일을 넣으면 무료 사용자는 질문 제한이 더 빨리 걸릴 수 있다...
질문 프롬프트 예시는 다음과 같다.
이 자료는 우리 ‘철산종합사회복지관의 2022년 욕구 조사 보고서’ 자료야. 이 자료를 학습하고 이에 기반해서 답변해 줘.
(필수는 아니니 참고만 하자)
4. 조사 분야 질문
이제부터 중요하다 조사 설계를 위해서 조사 '분야'를 질문한다. 솔직히 가장 큰 문제는 조사 분야로 무엇을 물어볼 것이냐에 대한 부분이다. 사람이 해야 할 이 논의 단계를 AI를 통해 확실한 시간 절약을 할 수 있다.
광명시 철산동의 ‘철산종합사회복지관’에서 복지관 이용자 및 지역 주민 ‘300명 이상’에게 지역복지 욕구 조사 ‘서베이(survey)’를 진행하려고 해. 조사를 위해 설문지에 구성해야 할 ‘분야’를 20개만 제시해 줘.
사실 이 질문에 대한 답변 결과물을 모두 다 활용할 필요는 없다. 어차피 처음 욕구조사를 하는 기관이 아니라고 하면, 작년에 사용했던 설문지 자료가 있을 테니 그것을 중심으로 참고하기 바란다. 그중에 보완할 점이나 추가적인 아이디어가 필요한 부분을 보완하면 된다. 어쨌든 이 질문의 답변은 중요함에 따라 3가지의 키워드와 이론을 넣었다.
첫째로는 복지관의 '이용자 및 지역주민'이라는 키워드이다. 나는 종합사회복지관에서 근무하기 때문에 다양한 대상을 만난다. 어르신, 장애인, 아동 같이 어느 특정 대상이 아닌, 이용자와 모든 지역주민의 대상에게 복지 서비스를 제공할 수 있는 기관이다. 그래서 대상을 넓게 잡았다. 만약 노인, 장애인복지관 같은 단종 복지관이라면 '어르신', '장애인'이나. 복지 기관 이용자로 한정하면 된다.
둘째로는 300이란 숫자의 제시이다. 이 기준은 명확한 근거가 있는 건 아니다. 양적 설문은 '다다익선'이다. 많을수록 좋다. 어떤 통계 관련 서적에서 최소 응답 개수를 30개로 본다. 즉, 30개는 받아야 통계가 나온다는 거다. (물론 더 적은 수를 분석하는 비모수 통계 방법이 있다) 그리고 혹은 리서치는 100 샘플은 돼야 신뢰할 수 있다고 한다고 주장한 책도 있다(사이토 고타츠, 2022).
일반적인 논문이나 연구에 있어서 안전 기준치를 300개로 본다. 엄밀히 말하자면 '대략적인 기준'이다. 그렇지만 연구 쪽에서는 다양한 이론으로 일반화되어 있는 기준이다. 안정적인 통계 분석 결과를 얻는 데 도움이 되는 양이다. 그리고 현실적으로 복지관 같은 규모가 갖춰진 복지 현장에서 '이 정도는' 할 수 있는 가능한 수량이라고 생각하여 프롬프트에 포함하였다.
셋째로는 서베이(Survey)인데, 이는 설문지 조사를 말한다. 통계를 위해 기본적인 자료를 모으는 조사로 로마시대의 인구조사에서 생겨난 센서스(Cencus)와도 연관이 있는 오래된 조사기법이다. 복지 현장에서도 가장 일반적인 방법으로 많이 활용된다. 어쨌든 많이 해야 외부에서 공신력을 얻는 건 어쩔 수 없다.
이처럼 나름 질문에 있어서 상당히 많은 구조화를 했음을 밝힌다.
실무 조언도 해준다. 개인적으로는 마음에 안 들지만, 참고는 할만하다.5. 조사 항목 질문
이제 AI가 응답한 항목에서 더 자세히 알아보고 싶은 분야나, 내가 특별히 더 넣고 싶은 항목을 구체적으로 언급하여 질문하면 된다. 예시로 내년도 복지관 개관 20주년에 대한 질문을 해보았다.
내년에 우리 복지관이 ‘개관 20주년’이 되는 해야. 이름 기념하기 위해 주민들에게 꼭 조사해야 할 항목과 질문의 예시를 5개만 제시해 줘.
나름 정말 충실한 답변을 해준다는 것을 알 수 있다. 나는 20주년이라는 예시를 들었지만, 분야에서 나온 '돌봄 지원 필요성', '공동체 인식' 등에 대해서 자세히 답변해 달라고 할 수 있다. 아니면 '만 65세 이상 어르신을 위한 프로그램', '미성년자 자녀를 둔 학부모를 위한 프로그램'과 같이 대상을 지정해서도 요구할 수 있다. 항목과 분야로 계속 구체화해 나가는 과정이다.
그런데 이쯤 되면 무료 사용자의 경우 AI가 상당히 귀찮아함을 느끼게 된다. 이제 질문 개수를 다 했다고, 낮은 버전으로 검색하겠다고 한다. 돈을 내라는 뜻인 듯한데, 슬슬 기분이 나빠지려고 한다. 결국 자본주의의 노예로서 유료를 결제해도 된다. 그런데 나 같은 경우는 쉽게 돈을 쓰고 싶지는 않다. 너무 이 인공지능에게 의존할 것도 두렵다. 그래서 무료로 가기로 했다. 그래서 그 대안으로 서브 AI를 둬서 그들에게 질문하면 된다. 개인적으로는 제미나이(Gemini)나 퍼플렉시티(Perplexity)를 추천한다.
이제 그래도 이쯤 하면 욕구조사의 설계와 설문지 제작을 위한 기획의 첫 발은 뗄 수 있다.
그리고 마지막 핵심이다. 중요한 건 AI가 나온 결과물을 그대로 쓰면 절대 안 된다. 반드시 사람들과 함께 논의하고 정리해야 한다는 사실이다.
AI로 복지 욕구조사를 설계하고 설문지를 제작할 수 있다.
AI는 욕구조사를 위한 최고의 '파트너'이다.
그러나 AI는 하나의 구성원일 뿐이다.
확실한 건 어떠한 경우에도 '리더'는 우리 사람이 되어야 한다.
욕구조사는 무조건 TF를 조직하고 이들이 선택하게 하자. 욕구조사를 위한 AI 프롬프트 활용 방법은 이후의 글로 계속 이어집니다.
