12. 논문작성 6주 차: 방법론, 양적 연구의 심장
이제 서론 부분을 마치고 방법론을 이야기할 차례이다. 방법론 (Methods)은 연구의 심장이라고 불릴 정도로 핵심적인 부분이다. 체계적인 방법론은 연구 결과의 유효성과 신뢰성을 확보하도록 하며, 연구의 범위와 한계를 명확히 정의하여, 연구가 체계적으로 진행되고 재현 가능하도록 해 준다. 내 연구가 과학적으로 잘 진행되었음을 보여줄 수 있도록 논문에서 방법론 부분을 상세하면서도 명료하게 써야 한다. (pixabay의 무료 이미지 사용)
이전 8장 논문 작성 2주 차에서 양적 연구의 논문을 총 6000자로 쓰고자 한 경우, 방법론 부분 약 900자 (총 글자 수의 15% 정도)로 시작하라고 조언한 바 있다. 또한 방법론은 크게 4개 정도의 소제목 – Research design, Participants, Instruments, Data collection and analysis – 으로 나누어 각 부분을 명확히 기술하는 것을 추천하였다. 물론 여러분 연구의 방법론의 특성에 맞게 조정할 수 있다. 이 장에서는 양적 연구 논문의 방법론 부분을 어떻게 쓸 지에 관하여 이야기하고자 한다.
Research design (연구 설계)
방법론은 어떤 연구 설계를 하였는지 설명하는 Research design으로 시작한다. 연구자에 따라서는 이 Research design이라는 소제목 없이 Methods의 첫 문단에 연구의 전반적인 연구 설계를 소개하기도 한다.
Research design의 목적은 연구의 전체적인 접근 방식과 구조를 설명하며, 어떤 유형의 연구 설계를 사용했는지와 그 이유를 설명하고자 함이다. 즉, 실험 연구 (experimental design), 준 실험 연구 (quasi-experimental design), 상관관계 연구 (correlational; causal-comparative design) 등 다양한 양적 연구 방법들 중 어떤 연구 설계를 왜, 어떻게 하였는 지를 설명하면 된다. 내 연구의 Research design (연구 설계)이 잘 알려져 있거나 방법론의 다른 부분들을 읽고 짐작할 수 있다면 생략해도 좋다. 만약 연구 설계에 관하여 쓰고자 한다면 50 – 100 자 정도로 짧고 간결하게 쓰도록 하되, 다음 사항과 예시를 고려하기 바란다.
연구 설계 유형을 명시한다 (예: 실험 연구, 준실험 연구, 상관 연구). 연구 설계 유형을 길게 설명할 필요는 없다.
이 설계를 선택한 이유를 설명한다. 만약 그 이유가 널리 알려져 있거나 이미 설명한 바 있으면 생략해도 좋다.
연구에서 이 설계가 어떻게 구현되었는지 간략히 설명한다. 방법론의 Data collection 등의 부분에서 연구 설계가 구체적으로 어떤 순서로 진행되었는지를 설명하고 있다면 생략하는 것이 좋다.
예시 1
We employed a quasi-experimental design to examine the impact of a new teaching method on student performance. (연구 설계 유형을 명시하였다) This design was chosen because it allows for comparison between groups while accounting for variables that cannot be experimentally controlled in a school context. (이 연구 설계를 택한 이유를 적었다. 좀 더 구체적으로 쓸 수 있다면 그렇게 하는 것이 좋다.) The study involved two groups: one receiving the traditional teaching method and the other the new method, over a semester. (연구 설계가 어떻게 실현되었는지를 간단히 설명한다.) Approval from the Ethics Review Board of the first author's university was obtained prior to commencing the study, ensuring that all necessary ethical considerations were thoroughly addressed. (연구에서 윤리적 고려가 어떻게 되었는지를 설명하였다. 반드시 이곳에 적을 필요는 없으나, 적절하다고 생각되는 Methods의 다른 부분 - Participants 혹은 Data collection 등 - 에서 언급하여야 한다.)
예시 2
This study employs an ex post facto correlational-predictive design with a cross-sectional approach. This involves examining pre-existing differences and their relationships among specific variables. (연구 설계 유형을 명시하고 무엇인지 설명하였다) Specifically, the study investigates how the level of educational attainment as a key independent variable impacts job satisfaction, with workplace environment quality serving as the mediator variable. (연구 설계가 본 연구에 어떻게 적용되었는지, 구체적인 변인들을 명시하면서 설명하고 있다.) By establishing covariation and regression relationships among these variables, the research aims to confirm a mediation model where the quality of the workplace environment explains how educational attainment influences job satisfaction. (연구 설계와 연계하면서 연구 목적을 기술하고 있다. )
Participants (연구 참여자)
이 부분은 연구에 참여한 사람들에 대해 자세히 설명하며, 그들이 어떻게 선정되었고 주요 특성 정보가 무엇인지 설명하는 것이 목적이다. 참여자 대상의 설문 조사의 결과에서 얻은 참여자 정보를 이 부분에 제시하게 된다.
이 부분에 포함시켜야 하는 내용들은 1) 참여자 모집 방법, 과정 및 참여 기준, 2) 참여자 수, 3) 참여자 수와 연구와 관련된 통계 정보 (예: 나이, 성별, 교육 수준, 경험 정도, 전공 등)이다. 만약 어떤 참여자는 포함하고 어떤 참여자는 제외하였다면 그 기준을 명시한다. 대개 200 – 300자 정도로 연구 참여자를 설명하면 될 것이다.
연구자에 따라서는 서베이나 인터뷰 등을 통하여 얻게 되는 참여자에 대한 각종 통계 정보나 기타 상세한 특성들을 결과 (Results) 부분에 제시하는 경우가 있다. 그러나, 이러한 참여자 특성들이 연구 질문의 하나가 아니라면 참여자에 관한 주요 정보들은 모두 방법론 부분에 포함시켜야 함을 명심하라.
예시 1
이 예시는 이 논문에서 온 것이다.
A total of 201 university educators at higher education institutions, located in South Korea, participated in this study. (참여자가 몇 명이고 누구인지 서술해 준다. 어떤 방법으로 참여자를 선정하였는지는 설명되지 않고 있으나, 아래 참여자 특성을 보면 여러 대학들, 전공들에서 참여자를 모집했다는 것을 알 수 있다) The sample comprised 58.26% (n = 117) women, 40.8% (n = 82) men, and 1% (n = 2) who preferred not to state their gender. (참여자 성별) In regard to age, 6.0% (n = 12) of participants were in their thirties, 39.8% (n = 80) in their forties, 43.3% (n = 87) in their fifties, and 10.9% (n = 22) in their sixties. (참여자 나이) Teaching experience was relatively evenly distributed, with 8.5% (n = 17) with less than 5 years of teaching experience, 23.9% (n = 48) 6 to 10 years, 20.4% (n = 41) 11 to 15 years, 15.9% (n = 32) 16 to 19 years, and 31.3% (n = 63) more than 20 years. (참여자의 가르친 경험 정도) Most participants (80.6%, n = 162) could be considered to be at the beginner level of online teaching, with most at this level (69.2%, n = 139) having with no experience prior to COVID-19 and a smaller number at this level (11.4%, n = 23) having less than one-year of online teaching experience. (참여자의 온라인 교육 경험) Among the participants, 56.2% (n = 113) taught courses in the arts, humanities, and social sciences, 36.8% (n = 74) taught courses in engineering, sciences, and medical disciplines, and 7.0% (n = 14) taught multi-disciplinary courses. (참여자의 전공 분야) Course sizes were diverse: 3.0% (n = 6) of courses contained less than 10 students, 40.8% (n = 82) of 10 to 30 students, 31.8% (n = 64) of 31 to 50 students, 19.4% (n = 39) of 51 to 100 students, and 5.0% (n = 10) of more than 100 students. Institution sizes ranged from less than 10,000 students (62.7%, n = 126), to more than 10,000 students (37.3%, n = 75). (참여자의 강의 크기) – 이 예시에서는 표를 이용하고 있지 않으나, 독자들이 참여자 특성들을 보다 쉽게 이해할 수 있도록 하나의 표로 제시해 주는 것도 좋을 것이다.
예시 2
이 예시는 이 논문에서 온 것이다.
The study focused on 35 secondary school PE teachers in Fiji who were actively engaged in online teaching during the COVID-19 lockdowns in 2020 and 2021. (참여자가 누구인지를 제시) The participants were invited through professional and social networks using convenience sampling and snowballing techniques. The snowballing method allowed for a more diverse sample. (참여자 모집 방법을 설명) The study ensured the inclusion of participants from various school settings across Fiji through a randomized selection process. (어떤 참여자를 포함하려고 하였는지 설명) A consent form was included with the survey, detailing inclusion criteria, purpose of the study, time required, and participants’ right to withdraw. (윤리적 고려) PETs employed in Fijian secondary or high schools were included. (포함된 참여자 직업 특성) Participants answered open-ended and online survey questions. (참여자 정보를 얻은 방법) ---------The sample comprised 22 (62.9%) males and 13 (37.1%) females. (참여자 성별) Participants represented diverse demographics (Table 1 --- 참여자 특성을 표로 제시하면서 주요 특성은 다음과 같이 적어줌). The largest proportion of the participants were between 31 and 40 years of age (37.1%), while the smallest percentage was between the ages of 51 to 60 (11.4%). (참여자 나이) School settings ranged from urban (60%), suburban (14.3%), rural (20%), and maritime (5.7%) schools. (참여자들의 학교 특성) All the teachers were qualified to teach PE, and most had more than 15 years of teaching experience. (참여자의 자격과 경험) --- 이 예시의 연구자는 참여자에 대한 통계 정보를 Results (연구 결과) 부분에서 보고하고 있으나, 그것보다는 방법론의 Participants에서 제시해 주는 것이 독자들의 이해를 돕는 더 효과적인 전략이다.
Instrument/Measurement (연구 도구)
연구 도구들을 설명하는 이 부분의 제목은 Instrument, Instruments, Measurement, Measurements 등 단수나 복수로 쓸 수 있다. 여기서는 연구에서 사용된 각종 데이터 수집 도구들 (예: 서베이, 질문지, 시험 문제지, 구조화된 관찰지, 실험에 쓰인 책자 등)에 대해 설명하며, 이들의 개발 과정과 타당도 및 신뢰도를 포함한다. 방법론 중에서 이 도구 부분을 가장 상세히 설명하게 되는데, 대개 500 – 600자 정도의 글자 수를 배정한다. 그러나, 만약 연구 도구들이 많거나 여러 번의 단계를 거쳐 개발되었다면 더 길게 쓰기도 한다 (예시 1). 물론 연구 도구에 대한 긴 설명이 필요 없는 경우에는 짧게 쓰기도 한다 (예시 2). 이 부분에는 다음과 같은 내용들이 포함된다.
데이터 수집에 사용된 각 도구가 무엇인지 설명한다. 도구가 여러 개라면, 각 도구마다 소 제목을 붙여도 좋다.
각 도구가 어떻게 개발되었는지 또는 선택되었는지를 설명한다.
타당도와 신뢰도 검사를 어떻게 했는지, 그 결과는 무엇인지를 설명한다.
예시 1
이 예시는 이 논문에서 인용한 것이다. 총 690자 정도로, 4개의 소제목하에 연구 도구들을 설명하고 있다.
Instruments (제목에서 여러 도구들을 나타내기 위하여 복수를 사용하였다.)
The game: Marie's ChemLab (소제목을 붙여서 총 4개의 도구를 설명하고 있다)
Marie's ChemLab is a simulation game that is based on the TrainAR framework of Blattgerste et al. (2021). Marie's ChemLab uses mobile augmented reality (MAR) that provides a virtual environment to learn the basic concepts on acid–base. It is designed for early secondary school children and uses daily life chemistry to provide a relatable game experience. The game consists of three sequential levels that take place in different environments. To help the students proceed in the levels, they are guided by Marie, the intelligent agent of Marie's ChemLab, who provides hints and instructions throughout the game. In the present study, only data from the first and third levels were included because they consisted of similar and therefore comparable interactions (see Figure 1), whereas level two was mainly designed as a short overlay with fun elements (eg, interacting with Marie). The flow of the game is procedural, which means that the player needs to follow certain steps to advance within a level or to the next level. The objects within the game need to be combined (eg, the fruits need to be smashed with the hammer) and in case of a wrong interaction, the player receives feedback in the form of a mistake sound. In this game, the students are supposed to rank objects based on their acidity, measure them, and get introduced to different indicators (such as pH strips or blueberry juice). (본 연구에서 이용한 핵심 도구인 시뮬레이션 게임, Marie's ChemLab를 상세히 소개하고 있다. 아래 그림으로 시뮬레이션 게임 일부를 보여준다.)
FIGURE1 Three levels of Marie's ChemLab. (a) Fruit salad, (b) smoothie party, (c) kitchen detectivesSocio-economic status
To measure students' SES, the HBSC Family Affluence Scale (FAS III; Inchley et al., 2018) has been used. This scale has been widely used as a valid measure of SES that can be answered by students themselves (see Corell et al., 2021; Hobza et al., 2017). The FAS III consists of six items that measure material affluence (eg, Does your family have a dishwasher at home?). As such, it reflects a family's material resources, consumption pattern and purchase power. The scores on the items were summed and could range from 0 to 13, with a higher score reflecting a higher SES. Currie et al. (2008) originally suggested a summation of item scores to allow a categorization into three groups (low, medium, and high). For this study, the SES was treated as a continuous variable and therefore no groups were created. The SES among the included students was normally distributed with a lower bound score of 4 and the upper bound score of 13 (M = 9.25, SD = 1.74). (본 연구에서 참여 학생들의 사회경제적 지위를 재기 위하여 사용한 도구를 설명하면서, 그 도구를 이용하여 측정한 본연구 참여 학생들의 평균값을 제시하고 있다.)
In-game performance
Three indicators of in-game performance were distinguished: time-on-task, number of mistakes and dropout, which were calculated with the available log data of level 1 and level 3. Time-on-task was measured with the total time it took to complete one level. A longer time-on-task indicated that a student was less efficient in playing the game. Mistakes in both levels were measured with the number of wrong interactions; thus, the sum for each level was calculated. These two performance indicators were not correlated (r = −0.01; p = 0.904) for level 1, but correlated for level 3 (r = 0.75; p < 0.001). For dropout, the time-on-task of level 3 was used to determine whether the participant completed the game or not. In case, there was no time-on-task available for level 3, and the participant did not finish the game and was coded as dropout. (연구를 위한 게임 도중의 학생들의 성취를 측정하기 위하여 세 가지 값 (time-on-task, number of mistakes and dropout,)을 어떻게 측정하였는지 설명하면서 필요한 통계 정보를 제시한다.)
Situational interest and self-efficacy
Single-item questions reflecting situational interest and self-efficacy were embedded in the simulation game. For the present study, the questions that were asked after level 1 were used. The questions for situational interest (ie, this game is interesting) and self-efficacy (ie, I think I am doing well in this game) were based on the items used by Nuutila et al. (2020) with the term ‘task’ being exchanged with ‘game’ to fit the context. The items were embedded as a pop-up in the game environment and were ranked with smileys representing a Likert scale ranging from 1 to 5. Similar to Rodríguez-Aflecht et al. (2018), we used single items to measure situational interest and self-efficacy to avoid disrupting the gameplay too much. Findings of Gogol et al. (2014) suggest that single items measuring clear motivational constructs are a reliable alternative for longer scales. (기존의 도구를 어떻게 수정하여 본 연구의 도구로 썼으며, 어떻게 이용하였는 지를 설명하고 있다.)
예시 2
이 예시는 이 논문에서 온 것이다. 총 200자 정도로 짧게, 그러나 독자들이 잘 이해할 수 있는 정도로 연구 도구를 잘 설명하고 있다. 연구 도구가 하나인 경우에는 이 예시와 같은 흐름을 따라 명확히 작성하면 효과적일 것이다.
Measurement Instrument and Questionnaire Development (설문이 하나의 도구이므로 단수를 쓰고 있다. 간단하게 Measurement 혹은 Instrument라고 제목을 붙여도 될 것이다.)
This study used a questionnaire to collect data from undergraduates with different academic backgrounds. (연구 도구가 무엇이었는지를 첫 문장에 제시하고 있다.) The questionnaire consisted of two parts—demographic information and a MOOC survey. (도구인 설문지가 두 부분으로 구성되어 있음을 설명한다.) Demographic questions addressed five aspects, namely (a) gender, (b) age, (c) number of MOOC diplomas, (d) academic background, and (e) academic year. (첫 번째 부분에 포함되는 질문 내용을 소개하고 있다) The MOOC survey measured the variables of PU, PEOU, ATT, SN, PBC, and BI. A five-point Likert scale with 1 (strongly disagree) to 5 (strongly agree) was provided for each MOOC survey item. In total, 28 items were presented as independent and dependent variables. (두 번째 부분의 설문 내용을 설명하고 있다.)
To better predict students’ perception and behavioral intention regarding MOOCs, all the items for measuring the constructs of PU, PEOU, ATT, SN, PBC, and BI were based on Chin et al. (2008), Venkatesh and Goyal (2010), Venkatesh et al. (2011), Zhou (2016), and Lung-Guang (2019). (연구 도구인 설문지가 어떤 도구들을 참조하여 개발되었는 지를 밝히고 있다.) As well, suggestions were sought from content experts regarding how students actually perceive MOOCs. (또한 전문가들 의견도 참조하였음을 밝히고 있다.) Of the 28 items on the MOOC survey (see Appendix), (a) five items addressed PU, (b) four items related to PEOU, (c) eight items applied to ATT, (d) three items dealt with SN, (e) five items applied to PBC, and (f) three items focused on BI. (결과적으로 연구 도구인 설문지의 구성과 아이템 수를 제시하면서 사용된 설문지는 부록으로 붙였음을 밝히고 있다).
Data colletion and analysis (데이터 수집 및 분석)
이 부분은 데이터 수집 절차와 데이터 분석에 사용된 방법에 대해 설명한다. 언제부터 언제까지, 그리고 어떻게 누구에게 데이터가 수집되었는지를 과정별로 설명하고, 수집된 데이터를 어떤 도구를 이용하여 어떤 방식으로 분석하였는지 설명하도록 한다. 대략 100 – 200자 정도로 글자를 배정할 수 있다. 구체적으로 다음과 같이 기술한다.
데이터 수집 시기와 과정을 상세히 설명한다.
데이터를 누가 어떤 방법 (예: 설문 조사, 인터뷰, 관찰 등)으로 수집하였는 지를 설명한다. (예: 설문 조사, 인터뷰, 관찰).
데이터 분석에 사용된 도구와 소프트웨어가 무엇인지를 밝혀준다.
데이터를 분석하기 위해 적용된 통계적 또는 질적 방법에 대한 개요를 설명한다.
예시 1
먼저 아주 짧은 예시를 들어 보자. 이해하기 쉬운 구조이므로 이 예시의 각 문장을 따라 여러분의 연구 데이터 수집과 분석 내용을 써 내려가면 쉽게 이 부분을 쓸 수 있을 것이다.
Data were collected from March to June 2023 through online surveys administered to students via their school email addresses. Each participant completed the survey during a scheduled class period under teacher supervision. (데이터 수집이 언제, 누구를 대상으로 어떻게 되었는지 간결, 명료하게 설명하고 있다.) Data analysis was conducted using SPSS software. Descriptive statistics were calculated for demographic data, and an independent t-test was performed to compare the test scores of the two groups. Additionally, thematic analysis was applied to open-ended responses to identify common themes related to student experiences with the new teaching method. (어떤 소프트웨어로 어떤 통계 방식을 이용하여 데이터 분석을 하였는 지를 역시 간결 명료하게 설명하고 있다.)
예시 2
조금 복잡한 데이터 수집 및 분석 내용의 예시를 들어보자. 예시 1처럼 짧고 간결하게 데이터 수집과 분석 부분을 썼다면, 이제 예시 2를 따라 좀 더 상세히 내용을 더해 보기 바란다.
Data were collected through an online questionnaire survey of university students taking distance/online classes, who were selected through convenience sampling, from December 9 to December 16, 2020. (데이터 수집이 언제, 누구를 대상으로 되었는 지를 설명하고 있다.) The respondents were recruited through EM-Brain, a company specializing in online surveys. The survey was emailed to registered users of the company. (어떤 방식으로 데이터가 수집되었는 지를 설명한다.) The contents of the questionnaire and the purpose of the research were provided to each recipient prior to the completion of the questionnaire. Only recipients who confirmed that they were enrolled as college students and were currently taking online classes were allowed to complete the questionnaire. The survey was terminated for those who responded they that were not college students or did not take online classes. (데이터 수집 도구인 서베이가 어떻게 구성되어 데이터를 수집하였는가를 설명하고 있다.) All the responses were anonymous. (무기명으로 데이터를 수집하였음을 밝히고 있다. 윤리적 고려를 한 내용을 여기에 써 줄 수 있다.) The target sample for this study was 671 students; however, only 313 fully completed the survey. (총 몇 명에게 데이터를 수집하였음을 밝힌다.)
Data analysis was performed using SPSS and AMOS software. (데이터 분석에 쓰인 소프트웨어를 밝히고 있다.) First, a frequency analysis was performed to examine the demographic characteristics of the survey participants. Confirmatory factor analysis was then conducted for each item to verify the validity and reliability of the survey tool, and Cronbach’s α coefficient was calculated to ensure internal consistency between the items. Moreover, a correlation analysis was performed to investigate the correlation and multicollinearity of each factor with the confirmed unidimensionality of satisfaction and acceptance intention with TAM. To test the research hypotheses, a path analysis using structural equation modeling was performed, through which each hypothesis was either supported or rejected. (각 연구 질문에 답하기 위하여 어떤 통계 방식을 이용하였는 지를 열거하면서 각각 설명하고 있다.)
- 끝
