케이스 스터디: 난민 교육프로그램 평가연구
커뮤니티 기반 참여 연구 시리즈
Spring Institute는 난민, 이주자, 저 소득계층 등 언어와 문화, 직업 교육이 필요한 계층에 필요한 교육과 지원을 제공해 역량 개발을 지원하는 비영리 단체입니다. 그중 WorkStyle 프로그램은 입국한 지 얼마 되지 않은 난민의 취업을 지원하기 위한 2주간의 집중 교육 프로그램이었습니다. 이 글은 WorkStyle 프로그램의 성과를 평가하기 위한 평가 연구 과정에서 커뮤니티 기반 참여연구를 활용했던 케이스에 대한 소개입니다.
Spring institute 홈페이지 갈무리1. 프로그램 이해와 연구의 시작
이 연구의 사례를 살펴보기 전에 이해관계를 확인할 필요가 있습니다. 커뮤니티의 기반의 참여연구에서 각 이해관계그룹은 모두 연구에 기여할 수 있는 잠재적 기여자입니다. 이들이 어떤 경로로 프로그램에 관여하고 있는지, 어떤 경험과 지식을 가지고 있는지, 프로그램에 어떤 영향력을 미치고 어떤 자원을 동원할 수 있는지 확인하는 것은 향후 각 이해관계자가 연구에 어떤 방식으로 참여할 것인가를 결정하는 중요한 정보들입니다. 보통의 연구는 전문 연구자 그룹이 이를 계획하고 통제하고 결정하는 방식으로 연구가 진행되지만 커뮤니티 기반 참여 연구에서는 연구자 그룹도 하나의 동등한 이해관계자 그룹으로서 참여하게 됩니다.
이해관계자
콜로라도 난민 서비스 프로그램 (CSRP)
CSRP는 콜로라도 주 복지부의 난민서비스 부서로 WorkStyle 프로그램의 자금을 제공하고 있었습니다.
덴버 대학 커뮤니티 기반 연구 네트워크 (CCBRN)
이 연구의 대학 파트너인 덴버 대학에는 CCBRN이라는 커뮤니티 기반 연구를 수행할 수 있게 지원하는 중개 기관이 있었습니다. CCBRN은 지역사회 커뮤니티 (학교, 비영리단체, 지역 공동체) 등의 연구 요구를 교수나 학생 등 전문 연구자와 연결해 주는 정보센터입니다. 지역 및 국가 재단과 주정부 기관의 자금 지원으로 해마다 12개의 커뮤니티 기반 연구를 수행할 수 있었다고 합니다. 학생들의 경우 해당 연구주제에 접근하기 위해 수업을 등록하면 한 학기(최대 1년)의 유급 연구원으로 활동할 수 있었습니다.
: 우리나라의 경우 지역사회와 대학 간의 연계 수업이나 연구가 훨씬 더 제한적으로 진행되는 것 같습니다. 상시적으로 운영되는 펀드나 학제와 연결된 구조를 가지고 있었다는 것이 인상적입니다. (현재는 검색되지 않는 것으로 보아 운영되고 있지 않은 것 같습니다.)
The Spring Institute
1979년 덴버에 기반을 두고 설립되었고, WorkStyle 프로그램은 1985년 시작했습니다. 연방정부 보조금 프로그램을 통해 자금을 지원받았습니다. 영어가 모국어가 아닌 사람들의 취업 준비, 개인 역량 개발을 위해 2주간 60시간의 교육을 제공합니다. 본 프로그램의 직원 중에는 WorkStyle 프로그램을 졸업한 난민 커뮤니티의 사람들도 포함되어 있습니다.
연구의 시작
본 연구는 WorkStyle의 프로그램 관리자와 코디네이터가 스스로 '우리 사업은 잘 운영되고 있는지'에 대한 확인을 하고 싶은 욕구에서 출발했다 합니다. 담당자들은 체계적으로 외부에 공유할 수 있는 자료를 만들기는 어려웠지만 경험적으로 이 프로그램이 성공적으로 운영되고 있다는 정보들을 가지고 있었습니다. 예를 들어 프로그램을 마친 사람들이 다시 기관을 찾아와서 자신의 삶에 대해 열정적으로 이야기한다던지, 이들이 취업한 회사의 고용주들이 긍정적인 이야기를 해주었기 때문입니다. 그럼에도 이러한 단편적 사례들은 객관성이 부족하고, 이를 조직 외부에 설득적으로 제시할 만한 평가 연구의 기술도 부족하다고 느꼈습니다.
때문에 이 담당자는 커뮤니티 기반 연구를 코디네이팅 해주는 덴버 대학의 CCBRN에 연락을 취해 WorkStyle에 대한 엄격한 평가연구를 수행하기 위한 자금 확보에 대해 문의합니다. 그런데 우연히도 WorkStyle에 자금을 지원해 주던 CRSP에서도 프로그램의 평가 연구를 진행에 관심이 있었고 결국 이 세 기관이 만나서 연구에 대한 회의를 하는 데까지 이어집니다. CRSP는 8,000달러의 가용자금이 있었고 이를 CCBRN에 제공함으로써 연구에 참여하는 대학원생을 위한 급여를 제공할 수 있게 되었고 연구를 시작할 수 있는 조건을 형성하였습니다.
2. 연구의 기획
자금제공자의 욕구
본 프로그램과 연구에 자금을 지원하는 CRSP의 궁금증은 이것이었습니다.
"WorkStyle이 난민의 단기 고용 결과에 영향을 주고 있는가?"
즉 이 프로그램을 이수한 사람들이 고용에 연결되는 양적인 결과에 초점이 맞춰져 있던 것입니다. 그 결과 연구도 양적 연구를 전문으로 하는 연구자와 연결이 되었습니다.
연구의 초기설계
연구는 WorkStyle을 이수한 사람들과 그렇지 않은 난민들을 대조하여 설문하는 방식의 연구로 설계되었습니다. 이 과정에서 전문 연구자는 정량적인 연구를 수행하는 방법론에 대한 지식을 활용하였고, 커뮤니티 파트너인 WorkStyle의 관리자은 난민 그룹에 대한 이해를 바탕으로 연구 참여 그룹을 구성하기 위해 고려해야 할 내용에 대한 전문지식으로 기여했습니다.
커뮤니티 파트너의 문제제기
그런데, 연구가 진행되는 과정에서 커뮤니티 파트너인 WorkStyle의 관리자는 "WorkStyle이 난민의 단기 고용 결과에 영향을 주고 있는가?"라는 연구 질문과 양적인 방법에 의문을 가지기 시작했습니다. 그가 제시한 의문의 근거는 다음과 같습니다.
첫째, 우리가 직업 준비 기술을 가르치지만 2주간의 단기적 프로그램일 뿐이고
둘째, 교육은 제공하지만 참여자들의 구직 연계에 대해서까지 영향을 끼치고 통제하지 않는다는 것입니다.
프로그램의 효과를 더 정확히 확인하기 위해서는 단기 취업 결과에 초점을 맞추지 않은 장기적인 관점의 연구 그리고 정량화된 데이터 외에 정성적 데이터도 필요하다고 생각했습니다.
연구 설계 변경
결국 연구 설계에 질적인 부분이 반영되었고, 질적 연구를 할 수 있는 대학원생이 배치되어 WorkStyle의 관리자와 함께 질적 연구를 설계했습니다. 이들이 확인하려 한 것은 다음과 같습니다.
1. WorkStyle이 다른 유사 프로그램과 비교해서 난민의 조기취업에 도움이 되었는지 확인
2. WorkStyle이 미국에 정착한 난민의 새로운 삶과 일의 영역에서 활동에 어떤 영향을 미쳤는지에 대한 보다 미묘한 맥락을 확인하는 것
WorkStyle 담당자는 이와 같은 목표를 가지고 대학의 커뮤니티 기반 참여 연구 수업에 참여해서 연구에 대해서 발표하고 추가적인 연구 참여자를 모으기도 했습니다. 이 과정을 통해 3명의 추가 학생이 모집되었습니다. 이들은 현장 참여, 포커스 그룹 인터뷰 설계 및 참여했고 연구팀의 역량발전에 기여할 수 있었습니다. (학생들은 학점을 이수할 수도 있었습니다!)
: 연구에 질적 파트가 포함되면서 늘어난 연구 범위와 그에 따른 비용의 문제는 해결이 되었을까요? 연구에 질적 파트가 포함되었지만 기금 조성자인 CSRP는 여전히 양적 데이터에 더 많은 관심을 가지고 있었다고 합니다. 하지만 질적 연구가 포함되는데 반대하지는 않았다고 하는데, 비용증가가 없었기 때문에 반대하지 않았던 것은 아닌지 확인은 되지 않네요.
3. 데이터 수집과 분석
정량데이터 수집
양적 데이터 수집을 위해 WorkStyle 담당자는 수강생 및 과거 참여자의 정보(국적, 도착날짜, 영어 능력)를 수집 분류하는 한편 다른 난민 단체와 협력해서 유사한 난민 그룹 대조군을 형성하는데 노력을 기울였습니다. 이들의 고용데이터는 CSRP로부터 얻을 수 있었습니다. 이러한 정보가 지속적으로 양적연구 전문가에게 전달되면서 지속적인 커뮤니케이션이 이뤄졌습니다.
정성데이터 수집
정성데이터는 아래 4가지 경로로 주로 수집되었습니다.
1. 참여관찰 : 연구자가 WorkStyle 프로그램 세션을 20시간 동안 관찰
2. 협력 기관 인터뷰 : 난민을 WorkStyle프로그램에 연결해 주는 기관 대표 인터뷰
3. 난민 포커스 그룹 인터뷰 : WorkStyle참여 군과 비 참여군
4. WorkStyle 직원 인터뷰 : WorkStyle에 참여했던 난민 커뮤니티 당사자 직원 포함
정성데이터- 설계변경
연구 설계 변경의 제안은 이 단계에서도 제시되었습니다. WorkStyle 프로그램을 참여관찰한 대학원생 그룹에서 3번 난민 포커스 그룹 인터뷰의 구성이 단순히 참여-비참여 군으로 나뉠 것이 아니라 해당 군 안에서도 취업에 성공한 그룹과 아닌 그룹으로 나뉘어야 그 그룹 안에서 솔직한 이야기를 나눌 수 있는 조건이 형성될 것이라고 이야기했기 때문입니다.
협력기관을 인터뷰 한 이후에는 또 다른 변수가 생겼습니다. WorkStyle 참여군과 유사 프로그램 참여자를 비교하려고 했으나 이 지역에 유사한 프로그램이 존재하지 않아서 가능한 모든 난민들을 WorkStyle에 소개하고 있다는 것을 확인했기 때문입니다.
그리고 최종적으로 여러 포커스 그룹 인터뷰도 실행하기가 어려웠습니다. 취업에 성공한 WorkStyle 참여자 그룹은 형성할 수 있었지만 취업을 하지 못한 WorkStyle 참여자와 WorkStyle에 참여하지 않은 난민에 대한 인터뷰는 1인에 대해서만 심층인터뷰로 진행되었습니다.
: 이렇게 정리해서 보면 어떻게 그런 것을 더 미리 확인하지 않았지? 혹은 WorkStlye 담당자는 그런 사실을 몰랐나? 생각할 수 있지만 현장의 상황을 확인해 가며 연구를 진행하며 설계를 변경하는 일은 생각보다 비일비재한 일인 것 같습니다. 그래서 책상에만 수행하는 연구가 아니라 현장을 확인하고 함께하는 연구가 중요하다고 이야기하는 것이기도 하고요. 다만 커뮤니티 참여 연구의 장점 중 하나는 접근하기 힘든 대상이나 그룹에 대해서도 커뮤니티 내의 신뢰와 연결관계를 통해 접근할 수 있다는 점인데 비 취업 그룹이나 기관과 연결관계가 없는 다른 난민 참여자에 대한 인터뷰 참여를 더 이끌어 내지 못했다는 점은 아쉬운 부분입니다. 보고서에는 직원들의 많은 노력에도 불구하고 마지막 순간에 참여하지 못해 인터뷰가 취소되는 상황들이 많았다고 합니다. 여기에는 난민이 가진 경제적, 시간적 자원 부족, 교통수단 부재, 문화적(약속 수행) 차이 등이 영향을 끼쳤을 것으로 예측하고 있습니다. 결국 스스로 목소리를 내기 힘든 커뮤니티 그룹일수록 연구 참여와 활동은 제한적일 수밖에 없기 때문에 이를 극복할 창의적 방법을 이해관계자 그룹이 함께 고민하는 것도 커뮤니티 참여 연구의 중요한 과제입니다.
4. 결과 전달
자금을 제공한 CSRP가 전달받은 최종 결과물은 내용상으로나 형식상으로나 초기에 논의한 예상과는 다른 것이었습니다. 연구의 대학 파트너들은 양-질 혼합의 결과물 중 양적 결과는 CSRP가 질적 결과는 WorkStyle의 담당자 등 커뮤니티 파트너의 내부 인원을 위해 활용될 것이라 예상했습니다.
결과검토
정량적 결과는 WorkStyle 참여자와 비참여자 그룹 간의 통계적 차이가 없는 것으로 나타났습니다.(앗! 망했습니다.) CSRP는 WorkStyle이 초기 고용프로그램 지원 자금을 활용하기 때문에 자금과 프로그램이 매칭되지 않는다고 생각했습니다. (프로그램은 없어지는 걸까요..)
하지만 정성적인 결과를 통합해 검토한 결과 이 프로그램이 단기적 취업 성과보다는 난민의 정착과 장기적 사회 통합에 긍정적인 효과를 가져온다는 것을 확인할 수 있었습니다. 결과적으로 지원 기금에 대한 새로운 경로 설정이 필요할 수는 있으나 프로그램 자체는 지속해야 할 강력한 필요가 있다는 결론에 도달했습니다.
결과적용
그 결과 WorkStyle의 장기적 효과에 더 적합한 자금을 기존 보다 더 많이 확보해 프로그램의 제공 횟수를 2배로 늘릴 수 있었습니다. 연구는 WorkStyle 프로그램의 단순한 성과에 대해 확인하는 것에 지나지 않고, 프로그램 수용자들의 삶의 맥락에서의 효과에 대해 더 미묘한 그림을 기려냄으로써 프로그램이 더 발전하는 계기를 만들 수 있었습니다.
: 프로그램의 평가 연구의 결과 그 가치가 확인되고 (심지어 운영되던 맥락과는 다른 더 큰 가치를 발견하여서) 발전하는 경우를 많이 보지는 못하는 것 같습니다. 평가라는 것이 진행될 때 과도하게 가치를 부풀리거나 혹은 프로그램 유지만을 위해 방어적인 포지션을 취할 때가 많습니다. 그리고 그 부담을 연구자에게 지워주어서 연구의 결과를 미리 정한 결과를 도출하게 할 때도 있습니다. 연구의 커뮤니티 협력자는 이미 이 프로그램의 성과를 경험으로 체험하여서 긍정적인 결론으로의 방향성을 기대하는 것이 꼭 틀렸다고 할 수는 없다 생각합니다. 하지만 그러한 경험을 끌어올려 체계화된 지식, 정보로 가공할 때에 연구자보다 풍부한 맥락적 정보들을 바탕으로 더 적극적 역할을 수행함으로써 연구에 더 큰 기여를 하는 것도 필요하다 하겠습니다. 연구자는 그러한 과정에서 객관적 연구를 진행할 수 있도록 적절한 연구 방법론과 연구자적 태도를 커뮤니티 참여자들에게 학습시키고 풍부한 논의를 하며 연구를 진행합니다.
5. 과정의 평가
본 사례를 분석한 논문에서는 아래와 같은 내용을 커뮤니티 기반 참여 연구로서 이 연구가 성공할 수 있었던 요인 그리고 한계로 소개합니다.
연구의 성공 요인
1) 현실적 목표, 분명한 기대
- 커뮤니티 기반 참여연구는 현장, 사회변화를 목적으로 하기에 높은 이상을 가지고 도전할 수 있지만 이러한 목표는 단기간에 이룰 수 있는 목표는 아닙니다. 이 연구는 자금을 제공한 CSRP가 가진 좁은 범위의 연구 질문이 있었습니다. (프로그램이 난민의 단기 취업 성과에 미치는 영향에 대한 양적 데이터 확인) 연구는 이 질문에 답하되 이를 보완하여 풍부한 의미를 전달할 수 있는 방법을 창의적으로 고민하고, 질적 연구 방법을 연구에 포함함으로써 프로그램에 대한 더 정확한 그림을 그릴 수 있었습니다.
2) WorkStyle 담당자와 확인과정
대학의 전문 연구자들은 보고서를 배포하기 전에 보고서의 초안을 WorkStyle 프로그램 직원과 확인하는 과정을 두 차례 거치면서 조사결과의 정확성, 제안의 실행가능성 등을 함께 확인했습니다.
3) 평가 결과와 활용의 논의
마지막으로 이해당사자 전체가 모여 연구결과의 활용에 대해 논의했습니다. 최종보고서의 수정, 활용에 대한 논의가 구체적으로 진행되었다는 것은 '보고서가 책장에 꽂혀 먼지가 쌓이는 것을 방지'했습니다.
: 조직 담당자와 연구 결과에 대해서 논의, 확인하는 과정은 아주 형식적으로 진행되거나 검수/검토식으로 진행될 수도 있습니다. (아마 이런 경우가 더 많기는 할 것 같습니다) 하지만 발전한 파트너십을 기반으로 연구 결과의 발전에 기여하고 결과의 적용과 활용을 극대화시키기 위한 방법을 함께 찾아볼 수도 있습니다. 연구를 진행할 때 저도 이러한 부분을 포함시키고, 파트너십을 구축, 활용하기 위한 전략을 활용하곤 했습니다. 항상 잘되고 원하는 결과를 가져다주지는 않았기에 더 많은 경험이 필요할 것 같습니다.
다음은 연구 참여자들이 경험한 참여의 이점 들입니다.
대학 커뮤니티 : 연구에 참여한 대학원생들은 커뮤니티 파트너와 소통하고 현장의 지식을 배우며, 역동적인 커뮤니티 환경에서 자신이 가진 연구 방법들을 적용하며 성장할 수 있었고 연구를 통한 기여가 가치 있다는 것을 배울 수 있었습니다.
WorkStyle 담당자 : 프로젝트의 모든 단계에서 현장 전문가의 전문성과 참여가 중요했기 때문에 참여적 방식으로 진행하는 프로세스로 진행된 것에 만족했습니다. 최종결과보고서가 조직이 가진 진짜 궁금증에 대한 문제를 다루었고, 이를 이해하기 쉽게 제공받았기 때문에 더 유용하게 활용할 수 있었습니다.
CSRP (자금제공자) : 이들은 연구과정에서 고용 데이터수집 상의 문제점을 파악할 수 있었고 이를 수정할 수 있었습니다. 연구결과를 통해 WorkStyle 프로그램 지원 당시에 가졌던 사회적 영향력에 대한 가정을 수정하여 목표를 정렬함으로써 프로그램의 영향에 대한 더 정확한 관점을 얻을 수 있었습니다.
난민 커뮤니티 : WorkStyle이 가진 장기적 관점의 변화 혜택에 대한 확인 덕에 자금 지원이 2배 증가하였고, 더 많은 난민이 프로그램의 혜택을 받을 수 있었습니다.
이 연구의 취약점
1) 제한된 기간과 재정 자원 : 비교적 짧고, 적은 비용으로 연구가 진행되었습니다.
2) 프로그램 당사자의 참여 제외 : 연구 이해관계자 그룹에 프로그램 당사자의 참여가 고려되지 않았습니다. - 이는 부분적으로 1)의 이유에 기인하는 것으로 생각합니다. 비영어권, 다른 문화적 배경을 지닌 비전문 연구자의 참여를 위한 동기부여와 학습 기간을 보장하기 위해서는 더 많은 자원이 투입되어야 하고, 연구의 방향과 목표도 이들의 성장에 맞춰져야 할 수 있습니다.
3) 기획 중 프로그램 이론에 대한 집중 부족 : 연구의 초기에 평가 결과 해석의 근거가 되는 이론적 배경에 대한 충분한 조사가 이뤄지지 못했습니다.
4) 연구 팀이 대상자의 특성을 충분히 고려하지 못함 : 난민이 가진 환경과 특성이 연구 과정에서 어떤 영향을 미칠지 충분히 고려하지 못해 FGI 등이 계획대로 진행되지 못했습니다. 이는 정성적 부분의 연구 결과가 비교적 적은 인터뷰 숫자를 통해 도출되는 한계를 만들기도 했습니다.
5) 정성. 정량 연구가 독립적으로 진행 : 연구를 처음시작한 양적연구자가 연구의 종합과정을 이끌었지만 초기 계획과 다르게 정성 연구가 중간에 포함되면서 혼합연구방법론이라기보다는 두 가지 연구 방법론이 합쳐진 방식으로 연구가 진행되었습니다.
연구 과정을 리뷰해 볼 때 이 연구는 비교적 전통적 연구 방법에 가까운 구조로 설계, 운영된 커뮤니티 기반 연구라고 생각했습니다. 커뮤니티 기반 연구로서는 비교적 짧고, 적은 규모의 자금으로 운영된 연구이기에 보다 구조적이고 효율적인 연구가 필요했을 것이라고 생각해 볼 수 있습니다. 연구 협력은 대학과 평가 대상인 조직 간에 두드러지게 진행되었고, 각자 연구 방법론 그리고 프로그램 실행주체로서 전문성과 자원을 가지고 비교적 명확한 업무 분담과 프로세스를 가지고 연구에 임했습니다. 논문에서는 "(연구에 참여한) 모두가 약한 고리가 아니었습니다. 모두가 열정적이었고, 모두가 필요한 것을 가지고 회의에 나타났으며, 누구도 불참하거나 해야 할 일을 하지 않는 경우는 없었습니다."라는 전문 연구자의 말을 인용합니다. 이 말에서도 알 수 있듯 연구 과정에서 의사결정은 이해관계 기관에서 연구에 참여하는 대표자들이 참석해 진행했습니다.
그러나 이러한 과정에 WorkStyle에 참여하는 난민 당사자의 참여가 없었다는 것은 커뮤니티 기반 참여연구로서 본 연구의 부족한 점입니다. 물론 WorkStyle 담당자 중 난민 커뮤니티 출신의 수료자가 있었기에 이러한 부분이 보완될 수는 있었지만 당사자 스스로 자신의 경험을 해석하고 성장하며 스스로의 목소리로 그 경험을 전달하여 의미를 확인하는 작업이 부족했다는 것은 아쉬운 점입니다.
6. 적용점
이 연구에서 몇 가지 인상적인 점을 다시 짚어볼까 합니다.
하나는 지역사회와 연구 그룹(여기서는 대학기관)이 상시로 연결될 수 있는 네트워크, 중간지원 조직 및 자금이 존재한다는 점입니다. 지역사회 커뮤니티가 필요한 연구가 있을 때 연구자와 자금을 연결해 주는 코디네이터의 존재가 있음으로써 연구가 실제적으로 진행될 수 있는 인프라로 작동하였습니다. (다만 연구에서는 대학기관이 이러한 방식으로 결합할 때 학사 일정과 연구가 맞춰져야 하는 어려움과 한계에 대해서 이야기하고 있기는 합니다.) 다양한 목적, 새로운 연구 방법론을 적용한 연구가 가능한 연구자금의 존재. 이를 시도해 보려고 하는 연구자가 있다는 것 그리고 자신들이 가진 문제를 연구적 방법으로 해결해 보려는 지역 조직의 의지가 중요하리라 생각합니다.
연구 결과에 대한 신뢰와 연구를 현실에 적용하는 과정까지의 연결도 인상적입니다. 이렇게 나온 연구 결과가 진지하게 받아들여지고, 이 결과를 바탕으로 프로그램의 변화까지 이어지는 성과로 이어지는 것은 만약 제가 이 연구를 진행한 연구자라면 매우 자랑스럽게 받아들일 결과라고 할 수 있겠습니다. 앞서 '보고서가 책장에 꽂혀 먼지가 쌓이는 것을 방지'했다는 점을 꼭 집어 이야기한 것은 미국 역시 수많은 다른 연구들이 책장에 꽂혀 먼지가 쌓이는 현실이기 때문일 것입니다. 앞서 연구의 성공 요인으로 분석되었던 정확한 목표와 기대에 따른 적정한 연구가 진행되었기 때문에 빠른 시간에 현실에 연구 결과를 적용하는 성과를 낼 수 있었습니다.
이번 연구는 조직과 담당자 중심의 협력이 이뤄진 사례였는데 다음 사례는 보다 커뮤니티 주체들, 당사자들이 참여해 자신의 목소리를 내는 사례를 준비해 보도록 하겠습니다.
이 케이스 소개에 대한 글은 'A Case Study of a Community-Based Participatory Evaluation Research (CBPER) Project: Reflections on Promising Practices and Shortcomings'(2009), Michigan Journal of Community Service Learning를 바탕으로 작성하였습니다.
