14. 논문작성 8주 차: 문서분석연구의 방법론 쓰기
문서분석을 이용한 질적 연구 방법론은 기존의 12장과 13장에서 다룬 내용과는 조금 다른 전략이 필요하다. 이 장에서는 문서분석 기법을 활용한 연구 논문을 작성할 때, 방법론 부분을 어떻게 구성해야 하는지 살펴본다. 여기서 문서란 선행 연구, 정부나 공공기관 보고서, 역사적 문헌 등 다양한 자료를 포함한다. 특히 체계적 선행 연구 분석을 활용한 연구 논문의 방법론 부분을 효과적으로 작성하는 전략에 초점을 맞춘다. 이 전략은 선행 연구물 분석뿐만 아니라 다양한 형태의 문서 분석에 적용할 수 있을 것이다.
문서분석 연구 논문의 방법론
앞서 강조하였듯이, 연구 논문의 방법론(Methods) 부분은 연구의 신뢰성과 타당성을 보장하기 위해 연구가 어떻게 수행되었는지를 상세히 설명해야 한다. 문서 분석을 기반으로 한 연구 논문에서도, 이 부분은 보통 6,000자 논문에서 약 900자 (총 글자 수의 약 15%)를 차지한다. 연구의 특성에 따라 이 부분은 몇 개의 하위 섹션으로 나눌 수 있다. 아래에 효과적으로 사용할 수 있는 구조를 제시한다.
방법론 부분의 하위 구조
나의 제안은 세 개 정도의 주요 하위 소제목으로 시작하여 논문의 특성에 맞게 변형하는 것이다. 아래의 세 개 소제목을 이용하여 우선 각 소제목마다 약 300자를 배정하여 시작하면서, 연구 특성과 각 소제목별 내용을 고려하여 수정해 가면 효과적일 것이다.
Selecting journals and papers (저널 및 논문 선택)
Developing a review protocol/analysis framework (리뷰 프로토콜/분석 틀 개발)
Data coding and analysis (데이터 코딩 및 분석)
1. Selecting journals and papers
이 하위 소제목에서는 분석에 포함된 학술지와 논문들을 선택하는 기준과 과정을 설명하는 것이 핵심이다. 어떤 문서를 어떤 기준에서 선택했는가는 연구 결과에 직접적으로 영향을 미치기 때문에 매우 중요한 부분이다. 따라서 다음과 같은 내용을 상세히 설명해야 한다.
1) Inclusion and Exclusion Criteria (포함 및 제외 기준): 문서 (여기서는 학술지와 논문)를 포함하거나 제외하는 기준을 제시한다. 예를 들어, 특정 연도 사이에 출판되고 peer-reviewed journals에 실린 original research papers만 분석에 포함하고, 학회 발표 논문 및 peer-reviewed가 아닌 자료는 제외할 수 있다. 혹은 특정 연도 사이에 SSCI에 등재된 학술지중에서 5개 학술지에 실린 논문들만 분석에 포함하고, 그 외 학술지들과 기타 자료들은 제외할 수 있다. 몇 가지 간단한 예시 문장들을 살펴보자.
예시 1: We limited our search to select journals that focus on publishing peer-reviewed online learning and educational research. We aimed to capture the journals that published the most articles on online learning. However, we also wanted to incorporate the concept of rigor, so we used expert perception to identify 12 peer-reviewed journals that publish high-quality online learning research. Dissertations and conference proceedings were excluded. To be included in this systematic review, each study had to meet the screening criteria as described in Table 1. A research study was excluded if it did not meet all of the criteria to be included.
예시 2: Five international journals were selected for this study: A, B, C, D, and E. All these journals are rigorously refereed, indexed in the Social Science Citation Index (SSCI), and published in English, have international authorship and readerships, and focus on online education. Included in the analysis were original research articles by Asian authors, published between 2000 and 2013. Field notes and book reviews were excluded.
.
2) Search Strategy (검색 전략): 문서 검색이 어떻게 수행되었는지 설명한다. 즉, 사용된 데이터베이스 (예: ERIC, SSCI, Scopus, PubMed, Google Scholar, 정부 아카이브 등)와 검색어, 검색 기간등을 포함한다. 예시를 보면 분명하게 알 수 있을 것이다.
예시 1: The ERIC and Scopus databases were searched for published articles between the years 2009 and 2018 using both the Title and Keyword functions for the following search terms. “online learning" OR "online teaching" OR "online program" OR "online course" OR “online education.”
예시 2: The literature search was conducted using PubMed, Google Scholar, and ERIC databases with search terms such as 'online teaching', 'online learning', and 'e-learning'. The search was limited to the period from 2009 to 2018.
3) Screening Process (스크리닝 과정): 문서의 스크리닝 단계, 초기 결과 수, 중복 문서나 필요 없는 문서 제거 방법, 관련성 평가 등에 관한 설명을 한다. 예시를 보자.
예시 1: Following the process flow shown in Fig. 1, the selection of articles was performed. The initial search yielded 3,000 articles, and after removing duplicates, 1,800 articles remained. Titles and abstracts were then reviewed to exclude irrelevant articles, resulting in 200 articles selected for full-text review.
예시 2: Out of 4,332 articles published in the five journals between 2000 and 2013, 1,137 (26.2 %) could be identified by their affiliation as from Asia. In the case of co-authored papers, if one or more of the authors were from the region, they were included in the analysis. After reviewing the abstracts, 817 articles were removed based on the inclusion/exclusion criteria and 300 remained for final analysis.
2. Developing a review protocol/analysis framework
이 소제목에서는 문서의 분석을 안내하는 프로토콜이나 틀에 대하여 상세히 설명해야 한다. 즉, 어떤 기준에서 어떻게 문서를 분석했는지를 제시하며, 다음 내용을 포함한다.
1) Review Protocol (리뷰 프로토콜): 문서분석을 통해 답하고자 하는 연구 질문이나 가설과 관련해 선택된 문서들을 리뷰하기 위한 계획을 제시한다. 이 계획의 목적은 연구의 투명성과 재현성(transparency and replicability)이다. 예시를 보자.
예시 1: A review protocol was designed as a codebook in MAXQDA (분석 소프트웨어) by the three researchers. The codebook was developed based on findings from the previous review studies and the initial screening of the articles in this review. The codebook included 12 research themes listed earlier in Table 2 (Learner characteristics, Instructor characteristics, Course or program design and development, Course Facilitation, Engagement, Course Assessment, Course Technologies, Access, Culture, Equity, Inclusion, and Ethics, Leadership, Policy and Management, Instructor and Learner Support, and Learner Outcomes), four research settings (higher education, continuing education, K-12, corporate/military), and three research designs (quantitative, qualitative and mixed methods). Fig. 3 below is a screenshot of MAXQDA used for the coding process. (리뷰 프로토콜의 상세한 내용은 표나 그림 등으로 제시하는 것이 일반적이다.)
2) Analysis Framework (분석 틀): 분석 틀이란 리뷰 프로토콜과 유사한 것으로써, 문서 분석을 어떻게 할지 그 기준을 제시하는 것이다. 이 틀은 문서를 분류하고 분석하는 데 사용되는 카테고리 또는 테마를 포함한다. 여기 예를 들어 보자.
예시 2: To identify and classify the research topics of the selected papers, several classification tools from the previous studies were considered. The ‘cluster tree of major topics in ET’ by Hsu et al. (2013) was seen to be the most appropriate and reliable tool for the analysis of our study. As explained earlier, the 19 clusters had been developed by using text-mining and clustering analysis of almost 3,000 ET research articles published between 2000 and 2010 in six international journals and these had been verified by three experienced researchers. Table 2 describes these 19 clusters with examples of the topics addressed. (기존 연구에서 쓴 분석의 틀을 이용하고 있으며, 상세한 내용은 표로 제시하고 있다.)
3) Pilot Testing (파일롯 테스팅): 리뷰 프로토콜이나 분석 틀을 수정하기 위해 수행된 파일럿 테스트와 전문가의 피드백이나 초기 분석 결과가 있다면 이를 설명해 준다. 기존 연구에서 사용한 것을 쓸 때는 위의 예시 2의 마지막 문장에서 설명하고 있는 것처럼 이미 다른 연구에서 사용되었으며, 전문가 피드백을 받은 것이라는 점을 명시하면 된다.
예시 3: A pilot test was conducted to validate the review protocol. Based on the pilot test results, several categories were refined for clarity. Expert feedback was incorporated to finalize the protocol.
3. Data coding and analysis
여기서는 데이터가 어떻게 코딩되고 분석되었는지에 대한 자세한 설명을 하게 된다. 그 주요 내용은 다음과 같다.
1) Coding Process (코딩 과정): 문서에서 관련 정보를 추출하는 과정을 포함하여 데이터가 어떻게 코딩되었는지를 설명한다. 코딩에 사용된 소프트웨어 및 여러 연구자가 참여한 경우 일관성을 보장하기 위한 방법 (예를 들어, inter-rater reliability check 등)을 설명한다.
예시 1: Research articles were coded by two researchers in MAXQDA. Two researchers independently coded 10% of the articles and then discussed and updated the coding framework. The second author who was a doctoral student coded the remaining studies. The researchers met bi-weekly to address coding questions that emerged. After the first phase of coding, we found that more than 100 studies fell into each of the categories of Learner Characteristics or Engagement, so we decided to pursue a second phase of coding and reexamine the two themes. Learner Characteristics were classified into the subthemes of Academic, Affective, Motivational, Self-regulation, Cognitive, and Demographic Characteristics. Engagement was classified into the subthemes of Collaborating, Communication, Community, Involvement, Interaction, Participation, and Presence.
예시 2: The 1,137 articles from Asian sources were classified into the 19-element cluster by the paper’s first author, who has 30 years of research experience in ET, and another scholar with 17 years of experience in the field. Initially, 230 articles, or about 20 % of the papers were randomly selected for the two coders to evaluate. With an initial agreement rate of 83 %, they discussed their classifications until agreeing upon these. They then shared the task of classifying the remaining articles. Finally, the second author confirmed the number of articles in each category and made some minor amendments to the classification.
2) Analysis Methods (분석 방법): 코딩된 데이터를 분석하는 데 사용된 방법을 설명한다. 예를 들어, thematic analysis, content analysis, narative analysis, discourse analysis 등 질적 분석 기법과 빈도 등의 양적 분석 등을 포함하여, 어떤 데이터 분석 기법을 사용하였는지를 제시하는 것이다. 아래 예시들을 보자.
예시 1: Frequency tables were generated for each of the variables so that outliers could be examined and narrative data could be collapsed into categories. Once cleaned and collapsed into a reasonable number of categories, descriptive statistics were used to describe each of the coded elements. We first present the frequencies of publications related to online learning in the 12 journals. The total number of articles for each journal (collectively, the population) was hand-counted from journal websites, excluding editorials and book reviews. The publication trend of online learning research was also depicted from 2009 to 2018. Then, the descriptive information of the 12 themes, including the subthemes of Learner Characteristics and Engagement were provided. Finally, research themes by research settings and methodology were elaborated.
예시 2: The content analysis method was used to analyze the papers. The main research topic of each paper was first identified in the abstract and then confirmed by the paper title and keywords. If the main topic could not be identified in this way, the entire text was consulted. If an article could be classified in more than one cluster, the study was further analyzed to identify its most important dimension.
마무리
문서 분석을 기반으로 한 연구 논문의 방법론 부분을 작성하는 것은 문서를 선택, 분류, 분석하는 과정을 자세히 기록하는 것을 포함한다. 이 방법론 부분은 포괄적이고 투명하며 재현 가능하게 작성할 수 있으며, 이는 연구의 전체적인 신뢰성과 타당성에 기여한다. 이장에서 소개한 전략들은 특정 주제에 관한 학술지의 논문들을 분석하는 연구, 혹은 정부의 기록물이나 정책 자료, 역사적 자료들을 분석하는 연구 등 연구 방법 자체가 다양한 문헌이나 자료들을 분석하는 연구의 방법론 부분을 쓸 때 특히 유용하게 활용될 수 있다.
## 이장에서 쓴 예시들은 다음 두 논문을 참조로 한 것이다.
1) A systematic review of research on online teaching and learning from 2009 to 2018
2) An analysis of Asia–Pacific educational technology research published internationally in 2000–2013
