논문 리뷰 : 매력적이며 성가신 존재로서의 질적 데이터

Matthew B. Miles (1979)

Qualitative Data as an Attractive Nuisance: The Problem of Analysis

Miles, Matthew B. "Qualitative data as an attractive nuisance: The problem of analysis." Administrative science quarterly 24.4 (1979): 590-601.

https://eric.ed.gov/?id=EJ212341

ERIC - EJ212341 - Qualitative Data as an Attractive Nuisance: The Problem of Analysis., Administrative Science Quarterly, 1979-D

The legal doctrine of an “attractive nuisance” is simply illustrated by what happens if you abandon a car in your backyard:

‘매력적인 성가신 존재’에 대한 법적 교리는 뒷마당에 자동차를 방치했을 때 발생하는 상황으로 간단히 설명될 수 있다:

If neighboring children come eagerly to play in it, you are liable for their injuries.

주변 아이들이 그 자동차에서 놀다가 다쳤을 경우, 그 부상에 대한 책임은 자동차 주인에게 있다.

Qualitative data collected during the study of organizations fit this illustration well:

조직 연구 중에 수집된 질적 데이터는 이 비유와 잘 맞아떨어진다:

There are many reasons why more and more researchers are currently seeking such data, and there are many ways they can get hurt—or at least fail to achieve their purposes, and just as most children think that driving is easy, so many researchers somehow think that qualitative data present few problematic methodological issues.

현재 더 많은 연구자들이 질적 데이터를 추구하는 이유는 많으며, 이 과정에서 그들이 피해를 입거나, 적어도 연구 목표 달성에 실패할 가능성 또한 많다. 이는 대부분의 아이들이 운전을 쉽게 생각하는 것처럼 많은 연구자들이 질적 데이터가 거의 방법론적 문제를 제기하지 않는다고 생각하는 경향과 유사하다.

Qualitative data are attractive for many reasons: they are rich, full, earthy, holistic, “real”; their face validity seems unimpeachable;

질적 데이터는 여러 이유로 매력적이다: 데이터가 풍부하고, 깊이 있으며, 소박하고, 전체론적이며, ‘현실적’이다. 그 표면 타당성(face validity)은 거의 반박의 여지가 없어 보인다.

They preserve chronological flow where that is important, and suffer minimally from retrospective distortion; and they, in principle, offer a far more precise way to assess causality in organizational affairs than arcane efforts like cross-lagged correlations.

질적 데이터는 시간의 흐름이 중요한 경우 연대기를 유지하며, 회고적 왜곡의 영향을 최소화한다. 또한, 원칙적으로는 교차지연 상관(cross-lagged correlations)과 같은 난해한 방법보다 조직 내 사건의 인과성을 평가하는 데 있어 훨씬 정밀한 방식을 제공한다.

Furthermore, their collection requires minimal front-end instrumentation.

추가적으로, 질적 데이터의 수집은 초기 장비나 도구의 필요성이 최소화된다.

Qualitative data also have attractive qualities for their producers and consumers;

질적 데이터는 생산자와 소비자 모두에게 매력적인 특성을 가지고 있다.

They lend themselves to the production of serendipitous findings and the adumbration of unforeseen theoretical leaps;

질적 데이터는 우연한 발견과 예기치 못한 이론적 도약을 가능하게 한다.

They tend to reduce a researcher’s trained incapacity, bias, narrowness, and arrogance; and their results, reported in forms ranging from case studies to vignettes, have a quality of “undeniability” (Smith, 1978) that lends punch to research reports.

질적 데이터는 연구자의 습관화된 무능, 편향성, 좁은 시각, 그리고 오만함을 줄이는 경향이 있다. 또한, 사례 연구에서 단편적인 이야기 형식에 이르기까지 다양한 형태로 보고되는 결과는 연구 보고서에 강렬함을 더하는 ‘부인할 수 없는’ 특성을 가지고 있다(Smith, 1978).

Finally, there are many reasons to believe that qualitative data can very usefully be played off against quantitative information from the same organizational setting (Sieber, 1973) to produce more powerful analyses than either sort of information could have produced alone.

마지막으로, 동일한 조직 환경에서 수집된 정량적 정보와 질적 데이터를 비교하여 사용하면, 각각의 정보가 독립적으로 제공할 수 있는 분석보다 훨씬 강력한 분석 결과를 도출할 수 있다는 믿을 만한 이유가 많다(Sieber, 1973).

But qualitative data have serious weaknesses and problems as well.

하지만 질적 데이터는 심각한 약점과 문제점도 가지고 있다.

Collecting and analyzing the data is a highly labor-intensive operation, often generating much stress, even for top-quality research staff.

데이터 수집과 분석은 매우 노동 집약적인 작업이며, 이는 최고 수준의 연구진에게도 종종 상당한 스트레스를 초래한다.

Qualitative fieldwork is traditionally demanding even for the lone fieldworker, accountable only to the data and his or her discipline;

질적 현장 연구는 전통적으로 단독 연구자에게도 어려운 작업이며, 연구자는 오직 데이터와 자신의 학문적 책임에만 의존한다.

When several fieldworkers’ efforts must be coordinated, as is more and more typically the case, much energy is required to make data systematically “comparable.”

여러 명의 연구자의 노력이 조율되어야 하는 경우가 점점 일반화되고 있으며, 데이터가 체계적으로 ‘비교 가능’하도록 만드는 데 상당한 에너지가 필요하다.

Qualitative data tend to overload the researcher badly at almost every point: the sheer range of phenomena to be observed, the recorded volume of notes, the time required for write-up, coding, and analysis can all become overwhelming.

질적 데이터는 거의 모든 면에서 연구자에게 과도한 부담을 준다. 관찰해야 할 현상의 범위, 기록된 메모의 양, 작성 및 코딩, 분석에 필요한 시간 모두 압도적일 수 있다.

But the most serious and central difficulty in the use of qualitative data is that methods of analysis are not well formulated.

그러나 질적 데이터를 활용하는 데 있어 가장 심각하고 핵심적인 어려움은 분석 방법이 잘 정립되지 않았다는 점이다.

For quantitative data, there are clear conventions the researcher can use.

정량적 데이터의 경우, 연구자가 활용할 수 있는 명확한 규범이 존재한다.

But the analyst faced with a bank of qualitative data has very few guidelines for protection against self-delusion, let alone the presentation of “unreliable” or “invalid” conclusions to scientific or policy-making audiences.

그러나 질적 데이터를 다루는 분석가는 자기기만을 방지할 가이드라인이 거의 없으며, 과학적 혹은 정책 결정자들에게 ‘신뢰할 수 없거나’ ‘유효하지 않은’ 결론을 제시하지 않는 데 필요한 지침도 거의 없다.

How can we be sure that an “earthy,” “undeniable,” “serendipitous” finding is not, in fact, wrong?

‘현실적이고’, ‘부인할 수 없으며’, ‘우연히 발견된’ 결과가 실제로 잘못된 것이 아님을 어떻게 확신할 수 있을까?

This article addresses the issues and problems in analysis of qualitative data, through a review of experiences in a four-year project that relied centrally on such data.

이 글은 질적 데이터에 주로 의존했던 4년간의 프로젝트 경험을 통해 질적 데이터 분석에서 나타나는 문제와 쟁점을 다룬다.

Called the Project on Social Architecture in Education, it focused on the processes involved in the creation of innovative organizations.

‘교육 내 사회적 구조 프로젝트’라고 명명된 이 연구는 혁신적인 조직 창출에 관련된 과정에 초점을 맞추었다.

The organizations were public schools - three elementary and three secondary.

조직은 공립학교로, 초등학교 세 곳과 중등학교 세 곳이었다.

We examined closely how people went about the long process of envisioning the new organization, staffing it, dealing with the political surroundings, designing the organization’s structures, core technologies, and environmental linkages, bringing the actual organization into being, and stabilizing it over the first years of its life.

우리는 사람들이 새로운 조직을 구상하고, 인력을 배치하며, 정치적 환경과 대응하고, 조직의 구조, 핵심 기술 및 환경적 연계를 설계하며, 조직을 실제로 구현하고 초기 몇 년 동안 이를 안정화하는 긴 과정을 어떻게 수행했는지 면밀히 조사했다.

Much of what is written about “organization design” (e.g., Burack and Negandhi, 1977; Kilmann, 1977; Pfeffer, 1978) is conceptually abstract, with little relation to the actual process of organizational creation, so intensive qualitative data collection was indicated.

‘조직 설계’에 대한 많은 문헌(Burack and Negandhi, 1977; Kilmann, 1977; Pfeffer, 1978)은 개념적으로 추상적이며, 실제 조직 창출 과정과는 거의 관련이 없다. 따라서 집중적인 질적 데이터 수집이 필요했다.

THE SOCIAL ARCHITECTURE PROJECT

Conceptualization

Beginning with Glaser and Strauss (1967), much has been written about developing “grounded theory,” “being open to what the site has to tell us,” and slowly evolving a coherent framework rather than “imposing” one from the start.

Glaser와 Strauss(1967)로부터 시작하여, ‘근거 이론의 개발’, ‘현장이 제공하는 정보를 수용하는 태도’, 그리고 처음부터 강요된 틀을 적용하기보다는 점진적으로 일관된 틀을 발전시키는 것에 대해 많은 논의가 이루어졌다.

But the need to develop grounded theory usually exists in tension with the need for clarity and focus; research projects that pretend to come to the study with no assumptions usually encounter much difficulty.

그러나 근거 이론을 개발해야 할 필요는 명확성과 초점이 요구되는 필요성과 대립하는 경우가 많다. 가정 없이 연구를 시작한다고 주장하는 연구 프로젝트는 대개 많은 어려움에 직면하게 된다.

We believed—and still do—that a rough working frame needs to be in place near the beginning of fieldwork.

우리는 현장 연구 초기 단계에서 대략적인 작업 틀이 필요하다고 믿었으며, 지금도 그렇게 생각한다.

Of course it will change.

물론 그것은 변화할 것이다.

The risk is not that of “imposing” a self-blinding framework, but that an incoherent, bulky, irrelevant, meaningless set of observations may be produced, which no one can (or even wants to) make sense of.

위험은 자기 스스로를 눈가림하는 틀을 강요하는 것이 아니라, 아무도 이해할 수 없고, 이해하려고 하지도 않는 비일관적이고 방대하며 무관하고 무의미한 관찰 결과를 만들어내는 데 있다.

Thus, we chose the strategy of developing explicit preliminary frameworks quite early; even so, we revised them repeatedly over the life of the project.

따라서 우리는 명시적인 초기 틀을 상당히 일찍 개발하는 전략을 선택했으며, 그럼에도 불구하고 프로젝트 기간 동안 이를 반복적으로 수정했다.

Our effort to develop a coherent conceptual framework for the project began in 1974 with a series of “concept papers” developed by staff members on such topics as school-community relations, consulting behavior, leader and core-group member behavior, political processes in new-school development, alternative planning models, and social architecture generally.

프로젝트를 위한 일관된 개념적 틀을 개발하려는 우리의 노력은 1974년부터 시작되었으며, 여기에는 학교-지역사회 관계, 자문 행동, 리더와 핵심 그룹 구성원의 행동, 새로운 학교 개발의 정치적 과정, 대안적 계획 모델, 그리고 전반적인 사회적 구조와 같은 주제에 대해 직원들이 작성한 일련의 ‘개념 논문’이 포함되었다.

A preliminary general accounting-scheme framework posited a “core group” of planners and implementers, making decisions that bore on the internal properties of the new school and its political environment, based in part on goals and “desired system properties” of the organization that was being created.

예비적으로 작성된 일반적인 회계 체계 틀은 계획자와 실행자로 구성된 ‘핵심 그룹’을 상정했으며, 이들은 새 학교의 내부 속성과 정치적 환경에 영향을 미치는 결정을 내렸다. 이는 부분적으로는 조직이 추구하는 목표와 ‘바람직한 시스템 속성’에 기초한 것이었다.

Prior analyses of schools as organizations (Bidwell, 1965; Miles, 1967) were drawn on.

학교를 조직으로 보는 이전의 분석(Bidwell, 1965; Miles, 1967)을 활용했다.

Beginning in 1975, we revised and extended the general framework through several means: a work conference on problems of consultation in new systems; a series of staff seminars built around the earlier concept paper topics; the production of several convention papers (e.g., Gold, 1976; Miles, 1967a; Sullivan and Kironde, 1976); and the fact that in parallel with the research, a materials developer joined the research staff to create practical “learning materials” drawn from the study (Taylor, 1978) for future use by new-school planners.

1975년부터 우리는 일반적인 틀을 여러 방법을 통해 수정하고 확장했다. 여기에는 새로운 시스템에서의 자문 문제를 다룬 작업 컨퍼런스, 이전 개념 논문 주제를 중심으로 한 일련의 직원 세미나, 몇 가지 학술 논문의 작성(Gold, 1976; Miles, 1967a; Sullivan and Kironde, 1976), 그리고 연구와 병행하여 실용적인 ‘학습 자료’를 개발하기 위해 연구진에 합류한 자료 개발자(Taylor, 1978)가 포함되었다. 이는 향후 새 학교 설계자들이 사용할 수 있도록 고안된 것이었다.

The production of a series of survey instruments for teachers, parents, and students to assess “the state of the system” in two of our sites caused substantial shifts.

두 개의 연구 현장에서 시스템 상태를 평가하기 위해 교사, 학부모, 학생들을 대상으로 한 일련의 설문 도구 제작은 상당한 변화를 가져왔다.

More generally, the demands of continuing fieldwork in six sites forced us to simplify, select, and collapse a very large collection of categories into a more focused, winnowed-down, and coherent set of variables.

더 일반적으로, 여섯 개 현장에서 지속적인 현장 연구를 수행하기 위한 요구는 방대한 범주의 집합을 보다 초점화되고, 선별된, 일관된 변수 집합으로 단순화하고 통합하도록 우리를 압박했다.

New variables also appeared: we learned far more than we had dreamed of in our original “rational-designer” model about political maneuvering, environmental buffering, decision dilemmas, and coping styles.

새로운 변수들도 등장했다. 우리는 초기 ‘합리적 설계자’ 모델에서 상상했던 것보다 훨씬 더 많은 것을 배웠다. 여기에는 정치적 책략, 환경적 완충, 의사결정 딜레마, 대처 방식 등이 포함되었다.

Additionally, six sites and three fieldworkers provided useful comparative perspectives: a common conceptual language began to emerge during shared discussion and analysis of site events; cross-visits helped to make corrections for conceptual bias.

또한, 여섯 개의 현장과 세 명의 연구원이 유용한 비교 관점을 제공했다. 현장 사건에 대한 공유된 토론과 분석 중에 공통된 개념적 언어가 형성되기 시작했으며, 교차 방문은 개념적 편향을 수정하는 데 도움을 주었다.

A final formal framework was generated from a series of propositions during 1977; it outlined a series of “key dilemmas” (such as whether to choose familiar or innovative design components, whether to utilize external expertise or rely on internal resources, and whether to approach the political environment proactively or maintain a buffering stance).

1977년에 일련의 명제들로부터 최종적인 공식 틀이 만들어졌다. 이 틀은 ‘핵심 딜레마’를 일련의 항목으로 제시했다. 여기에는 친숙한 설계 구성 요소를 선택할 것인지 혁신적인 것을 선택할 것인지, 외부 전문 지식을 활용할 것인지 내부 자원에 의존할 것인지, 그리고 정치적 환경에 적극적으로 접근할 것인지 아니면 완충적 태도를 유지할 것인지 등이 포함되었다.

These dilemmas, which had been clearly visible in the fieldwork, were seen in the framework as deriving from generic aspects of the organizational creation task, such as its novelty, task complexity, and uncertainty (cf. Stinchcombe, 1965); they infused a series of “primary tasks” including political stabilization, knowledge utilization, vision development, social-architectural design, actualization of the design, and stabilization.

이러한 딜레마들은 현장 연구에서 명확히 드러났으며, 틀 내에서는 조직 창출 작업의 보편적 측면(예: 참신성, 과제 복잡성, 불확실성 cf. Stinchcombe, 1965)에서 비롯된 것으로 간주되었다. 이들은 정치적 안정화, 지식 활용, 비전 개발, 사회적 구조 설계, 설계 실행 및 안정화를 포함한 일련의 ‘주요 과제’에 스며들어 있었다.

Skills of developing legitimacy and investment, meta-planning, obtaining resources, acting reflexively, and decision-making were seen as determining the outcomes of dilemmas and work on primary tasks.

정당성과 투자 확보, 메타 기획, 자원 획득, 반성적 행동, 의사결정 기술은 딜레마 해결과 주요 과제 수행 결과를 결정짓는 요소로 간주되었다.

The important thing to note is that even with a starting framework, conceptual development occurred almost continuously for the first three years of the project; not until the production of case studies began in 1977 was there a firm stabilization.

주목할 점은 초기 틀이 존재하더라도 프로젝트의 첫 3년 동안 개념적 발전이 거의 지속적으로 이루어졌으며, 사례 연구가 1977년에 시작되기 전까지는 개념이 확고히 안정되지 않았다는 것이다.

The process was arduous and often stressful; but increasingly productive, informed as it was by analysis of site data.

이 과정은 힘들고 종종 스트레스를 유발했지만, 현장 데이터 분석을 통해 점점 더 생산적으로 변모했다.

The Data Base

Each of our six sites was visited weekly by a fieldworker, for a half or full day, and was often phoned as well.

우리의 여섯 개 현장은 각 현장 연구자가 주 1회 반나절 또는 하루 동안 방문하였고, 자주 전화 연락도 이루어졌다.

Senior project staff also visited sites from time to time.

수석 프로젝트 직원도 수시로 현장을 방문했다.

Field contacts lasted for periods ranging from two to nearly three years.

현장 접촉은 2년에서 거의 3년에 이르는 기간 동안 지속되었다.

The corpus of field notes ran to several thousand pages per site.

현장 메모의 총량은 각 현장에서 수천 페이지에 달했다.

Direct observation and informal interviewing were supplemented by document collection, a few formal retrospective interviews on the history of planning, a brief questionnaire on espoused goals for the new schools, and one to two waves of survey questionnaires administered to teachers, administrators, parents, and students after the schools opened.

직접 관찰과 비공식적 인터뷰 외에도 문서 수집, 계획의 역사에 관한 몇 차례의 공식적 회고 인터뷰, 새 학교의 제창된 목표에 관한 간단한 설문지, 그리고 학교 개교 후 교사, 관리자, 학부모 및 학생을 대상으로 실시된 1~2회의 설문 조사가 보완적으로 수행되었다.

We should note here some problems of time cost.

여기서 시간 비용과 관련된 몇 가지 문제를 언급할 필요가 있다.

There is no easy way to record qualitative data other than through running notes.

질적 데이터를 기록하는 데 있어 실시간 메모 외에 쉬운 방법은 없다.

But raw notes ordinarily mean little or nothing to anyone other than the fieldworker and need to be converted into write-ups.

그러나 원시 메모는 대개 현장 연구자 외에는 아무 의미도 없거나 거의 의미를 가지지 않으며, 작성된 보고서로 변환되어야 한다.

It takes almost as much time for a fieldworker to type notes as the time of the original contact, even for a fieldworker who is also a good typist.

심지어 타자 속도가 빠른 현장 연구자라 하더라도 메모를 입력하는 데 드는 시간은 원래의 접촉 시간과 거의 동일하다.

Dictated write-ups, much the easier for the fieldworker, typically take a good transcriber a similar or longer amount of time.

구술로 작성된 보고서는 현장 연구자에게는 훨씬 쉬운 방법이지만, 숙련된 타이피스트가 이를 기록하는 데 비슷하거나 더 많은 시간이 소요된다.

For example, an all-day contact usually resulted in 60-90 minutes of tape, which took the fieldworker 2-2½ hours to produce, and a secretary 6-8 hours to transcribe, and the fieldworker another hour to review and correct.

예를 들어, 하루 종일 현장에서 일한 결과 보통 6090분 분량의 녹음이 생성되며, 이를 현장 연구자가 22시간 반 동안 준비하고, 비서가 6~8시간 동안 타이핑한 후, 현장 연구자가 추가로 한 시간을 들여 검토하고 수정한다.

These figures cannot be reduced very much without losing many of the direct quotes, earthy data, etc., which make ethnographic data so useful, and introducing systematic inattention and biases in the interests of “simplicity.”

이 수치는 질적 데이터를 유용하게 만드는 많은 직접 인용과 생생한 데이터를 잃지 않고는 크게 줄일 수 없으며, ‘단순화’를 위한 체계적 부주의와 편향성을 초래할 수 있다.

Since data recording and transformation are defined as essential, they tend to drive out data reduction, analysis, and conceptualization.

데이터 기록과 변환이 필수적 과정으로 정의되기 때문에, 이는 데이터 축소, 분석 및 개념화를 배제하는 경향이 있다.

Fieldworkers characteristically ran late on write-ups.

현장 연구자들은 보통 보고서 작성이 늦어지는 경우가 많았다.

They ran even later on data reduction, coding, and analysis.

데이터 축소, 코딩, 분석 작업은 더욱 지연되었다.

Being at the site typically took priority: the fear was of “missing” something crucial.

현장에서 직접 활동하는 것이 일반적으로 우선시되었는데, 이는 ‘중요한 것을 놓치는’ 것에 대한 두려움 때문이었다.

But the more such “crucial” events were attended, the further behind data transformation, reduction, and coding fell.

그러나 이러한 ‘중요한’ 사건에 집중할수록 데이터 변환, 축소, 코딩 작업은 더 지연되었다.

We usually had write-up backlogs of 2-3 contacts, and coding backlogs of anywhere from 15-30 contacts.

우리는 대개 23번의 접촉분에 해당하는 보고서 작성 작업이 밀려 있었고, 코딩 작업은 1530번의 접촉분에 해당하는 양이 밀려 있었다.

Under these circumstances, data analysis becomes somewhat meaningless, and fieldworkers get progressively less interested in doing it.

이러한 상황에서는 데이터 분석이 다소 무의미해지며, 현장 연구자들은 점점 분석 작업에 흥미를 잃게 된다.

Instead of really understanding and thinking about the site, the fieldworker risks being run by the site.

현장을 진정으로 이해하고 사고하는 대신, 현장 연구자가 현장에 휘둘릴 위험이 있다.

And the richer and fuller the contacts with the site, the more reluctant the fieldworker is to miss a new and crucial site event.

현장과의 접촉이 풍부하고 충실할수록, 연구자는 새로운 중요한 사건을 놓치고 싶지 않아 한다.

Write-up delays can also cause problems in the quality of reported data: much is forgotten, oversimplified, or reinterpreted in the light of more recent contacts.

보고서 작성 지연은 보고된 데이터의 품질에도 문제를 초래할 수 있다. 많은 부분이 잊히거나 지나치게 단순화되거나, 더 최근의 접촉 내용을 바탕으로 재해석되기 때문이다.

It is fair to say that by the best of current standards, analysis of qualitative data is a mysterious, half-formulated art.

현재의 최고 기준에 따르면, 질적 데이터의 분석은 신비롭고 반쯤 정립된 예술이라고 말해도 과언이 아니다.

We detail our experience here to warn, and perhaps to enlighten others.

우리는 여기서 우리의 경험을 상세히 기술하여, 경고하고 아마도 다른 이들에게 통찰을 제공하고자 한다.

Data reduction.

How can write-ups be rendered less prolix, and their main issues and themes extracted as fieldwork goes forward?

보고서를 장황하지 않게 만들고, 현장 연구가 진행됨에 따라 주요 이슈와 주제를 추출할 수 있는 방법은 무엇인가?

There is a strong need to establish meaning in a systematic way.

체계적인 방식으로 의미를 정립할 필요성이 강하게 요구된다.

Data reduction is a form of preliminary analysis, which refines, iterates, and revises frameworks, suggests new leads for further data collection, and makes data more available for final assembly into case studies and cross-site analyses.

데이터 축소는 예비 분석의 한 형태로, 틀을 정교화하고 반복하며 수정하고, 추가 데이터 수집을 위한 새로운 단서를 제안하며, 데이터를 사례 연구와 교차 현장 분석을 위한 최종 조합에 더 적합하게 만든다.

Our project used several methods.

우리 프로젝트는 여러 방법을 사용했다.

At the beginning we developed an elaborate coding scheme, with over one hundred categories for key actors (“planner,” “principal”), for planning and implementation processes (“energy mobilization,” “resource allocation”), and for aspects of the new organization being planned (“governance,” “budget,” “reward system”).

초기에 우리는 주요 행위자(“계획자”, “교장”), 계획 및 실행 과정(“에너지 동원”, “자원 할당”), 그리고 설계 중인 새로운 조직의 측면(“거버넌스”, “예산”, “보상 시스템”)에 대해 100개 이상의 범주를 포함하는 정교한 코딩 체계를 개발했다.

The fieldworker applied these codes in the margins of the write-ups.

현장 연구자는 보고서 여백에 이러한 코드를 적용했다.

As we got deeper into the sites, this scheme was finally elaborated into 202 categories.

현장 연구를 심화하면서 이 체계는 최종적으로 202개의 범주로 정교화되었다.

Fieldworkers, including the coding specialist, hated the job.

코딩 전문가를 포함한 현장 연구자들은 이 작업을 매우 싫어했다.

It fell far behind.

작업은 크게 지연되었다.

The aim of the coding scheme was to permit systematic analysis “later.”

코딩 체계의 목적은 이후에 체계적인 분석을 가능하게 하는 것이었다.

Coded excerpts from the write-ups were put on 5 x 7 file cards to provide quick retrieval of all excerpts dealing with a particular code, such as “resource allocation.”

코드가 적용된 보고서의 발췌 내용은 5 x 7 크기의 파일 카드에 기록되어, “자원 할당”과 같은 특정 코드와 관련된 모든 발췌 내용을 신속히 검색할 수 있도록 했다.

The number of categories and what had become the meaninglessness of the coding task led us after a few more months to condense our 202 codes into 26 major “themes,” such as “planning adaptiveness” or “commitment.”

범주의 수와 코딩 작업의 무의미함이 몇 달 후 우리를 202개의 코드를 “계획 적응성” 또는 “책임감”과 같은 26개의 주요 “주제”로 압축하게 만들었다.

The fieldworker reread the write-up, gave a rating on each theme (high, medium, low, uncertain), and filled out two forms that summarized and coded key or salient points in the field contact, identified decisions made, and asked for hypotheses or explanations.

현장 연구자는 보고서를 다시 읽고 각 주제에 대해 점수(높음, 중간, 낮음, 불확실)를 매기고, 현장 접촉의 주요 또는 두드러진 점을 요약하고 코딩한 두 가지 양식을 작성했다. 또한 내려진 결정들을 확인하고 가설이나 설명을 요구했다.

A lone fieldworker usually manages all this in a much less systematic, more intuitive way.

단독 현장 연구자는 보통 이를 덜 체계적이고, 보다 직관적인 방식으로 처리한다.

But the question of coding reliability and validity remained, and the fact that we were trying to generate good knowledge across six different sites, with three different fieldworkers, had pushed us into an effort that we came to call “the bureaucratization of fieldwork”:

그러나 코딩의 신뢰성과 타당성에 대한 문제는 남아 있었고, 우리는 세 명의 연구자가 여섯 개의 서로 다른 현장에서 우수한 지식을 생성하려고 노력하면서 이를 “현장 연구의 관료화”라고 부르는 노력으로 이어지게 했다.

How to systematize, regularize, and coordinate the work of observation, recording, and analysis.

관찰, 기록, 분석 작업을 체계화하고 정규화하며 조정하는 방법에 대한 고민이었다.

But the system, finally, did not work in the sense in which it was intended.

그러나 이 시스템은 최종적으로 의도된 방식으로 작동하지 않았다.

Fieldworkers tended to become increasingly “the authorities” on their sites, and increasingly driven and absorbed by them.

현장 연구자들은 점점 더 자신이 담당하는 현장의 ‘권위자’가 되는 경향을 보였으며, 그 현장에 휘말리고 몰두하게 되었다.

And though they shared in the quest for a common intellectual framework, they were often the first to protest that their sites were in some important respects unique.

공통된 지적 틀을 찾는 데는 함께했지만, 그들의 현장이 중요한 몇 가지 면에서 독특하다고 항의하는 사람들도 주로 이들이었다.

So the project director’s demands and plans for systematic coding and formal continuing analysis were in fact resisted, and were eventually abandoned.

따라서 프로젝트 책임자가 체계적 코딩과 지속적인 공식 분석을 요구하는 계획은 결국 저항에 부딪혀 포기되었다.

The coding stopped, and the cards were not used for analysis.

코딩 작업은 중단되었고, 카드들은 분석에 사용되지 않았다.

Since the project’s outcomes rested centrally on the continued high quality of data collected by fieldworkers, the director felt he could not alienate them by continuing to press demands they were unwilling to meet.

프로젝트의 결과가 현장 연구자들이 수집한 고품질 데이터에 크게 의존하고 있었기 때문에, 책임자는 그들이 원하지 않는 요구를 계속해서 강요하여 이들을 소외시킬 수 없다고 느꼈다.

There was, however, a genuine residue of the extended efforts at coding.

그러나 코딩 작업을 확장하려는 노력에는 분명한 잔재가 있었다.

The arguments and clarifications they required were successful in generating a common language of concepts, which found their way into the general framework and guided further data analysis in less-formal modes.

코딩 작업에서 요구되었던 논의와 명확화 과정은 공통된 개념 언어를 생성하는 데 성공했으며, 이는 일반적인 틀에 포함되어 덜 형식적인 방식으로 데이터 분석을 안내하는 역할을 했다.

Experiments with Informal Data Analysis

 

Concerned about formulating clearer guidelines for qualitative data analysis, we also approached the problem empirically.

질적 데이터 분석을 위한 명확한 지침을 마련하기 위해 우리는 이 문제를 경험적으로 접근했다.

The strategy was that of producing site summaries.

그 전략은 현장 요약을 작성하는 것이었다.

Some of these were the straightforward, mirror-like reports we fed back as part of our contracts with sites, which had a minimum of inference and analysis.

이 요약들 중 일부는 계약의 일환으로 현장에 제공한 간단하고 거울 같은 보고서였으며, 추론과 분석은 최소화되었다.

Others, for research staff use, were more interpretive and attempted to integrate what we thought we knew about each of our sites as of 1975 in reports that ran from 40 to 50 pages.

다른 요약은 연구진을 위한 것으로, 더 해석적인 성격을 가지며 1975년 당시 각 현장에 대해 알고 있다고 생각했던 내용을 통합하여 40~50페이지 분량의 보고서를 작성하려 했다.

We also learned that much analysis was going on in the mind of the fieldworker.

우리는 또한 많은 분석이 현장 연구자의 머릿속에서 이루어지고 있다는 것을 알게 되었다.

Each one developed a fairly rich set of working hypotheses about what was going on in his or her site, along with a fairly retrievable store of specific anecdotes and incidents supporting the hypotheses.

각 연구자는 자신의 현장에서 일어나고 있는 일에 대해 비교적 풍부한 작업 가설을 개발했으며, 이 가설을 뒷받침하는 구체적인 일화와 사건을 비교적 잘 기억해두고 있었다.

              

But without interaction with colleagues, the hypotheses went unchallenged and usually untested, and the anecdotes remembered were only those in support of the hypotheses.

그러나 동료들과의 상호작용이 없으면 이러한 가설은 도전받지 않으며 대개 검증되지 않았고, 기억된 일화는 대개 가설을 뒷받침하는 것들에 국한되었다.

We developed the idea of site updates, which were regular addenda to the site summaries.

우리는 현장 요약에 정기적으로 추가되는 ‘현장 업데이트’라는 아이디어를 개발했다.

The fieldworker ordinarily met with one other staff member who knew the site, to summarize recent developments and to give his or her interpretations of what was happening.

현장 연구자는 보통 해당 현장을 알고 있는 다른 직원 한 명과 만나 최근의 발전 상황을 요약하고, 그 현장에서 일어나고 있는 일에 대한 자신의 해석을 제공했다.

This mode was further extended to the site analysis meeting;

이 방식은 더 나아가 ‘현장 분석 회의’로 확장되었다.

Here the primary fieldworker met every few weeks with the rest of the staff to review updates, identify major themes in the site, propose explanations, entertain alternative (or unpopular) explanations, and identify new data that needed to be collected.

이 회의에서 주요 현장 연구자는 몇 주에 한 번 나머지 직원들과 만나 업데이트를 검토하고, 현장의 주요 주제를 식별하며, 설명을 제안하고, 대안적(또는 비인기) 설명을 수용하며, 수집해야 할 새로운 데이터를 식별했다.

A site analysis recording form was used to keep notes of the discussions.

현장 분석 회의 기록 양식이 논의 내용을 기록하는 데 사용되었다.

These informal methods, less obsessive and atomized than the coding efforts, actively engaged staff in conceptualization and felt quite productive.

이러한 비공식적인 방법은 코딩 작업보다 덜 집착적이고 분리적이며, 직원들을 개념화 과정에 적극적으로 참여시켜 상당히 생산적인 결과를 낳았다.

The interaction provided some assurance against self-delusion, but just how much remained unclear.

이 상호작용은 자기기만을 방지하는 데 어느 정도 확신을 제공했지만, 그 정도가 얼마나 되는지는 불분명했다.

Use of Quantitative Data

We had been committed from the start to integrating quantitative and qualitative data, along the lines suggested by Sieber (1973), and did find the strategy fruitful.

우리는 시작부터 Sieber(1973)가 제안한 방향에 따라 정량적 데이터와 질적 데이터를 통합하는 데 전념했으며, 이 전략이 유용하다는 것을 발견했다.

In one method, which we invented and labeled “goal-system state analysis,” selected goals for the new organization were extracted from questionnaire and fieldwork data, and the analyst sought quantitative and qualitative evidence that the goals had been achieved, revised, or abandoned in the actualized organization of the new school, and generated possible explanations.

우리가 발명하고 ‘목표-시스템 상태 분석’이라고 명명한 방법 중 하나에서는 설문조사와 현장 연구 데이터를 통해 새 조직의 선정된 목표를 추출하고, 분석가는 해당 목표가 새로운 학교의 실현된 조직에서 달성되었는지, 수정되었는지, 혹은 폐기되었는지에 대한 정량적 및 질적 증거를 찾아 가능한 설명을 도출했다.

Other quantitative-qualitative linkages were simpler: for example, two principals in the same district with radically differing implementation success in their new schools were shown to differ substantially on the Social Support scale developed by Gross and Herriott (1965).

다른 정량적-질적 연계는 더 단순했다. 예를 들어, 동일한 학군에 속한 두 명의 교장이 새로운 학교의 실행 성공률에서 극명한 차이를 보였으며, 이는 Gross와 Herriott(1965)가 개발한 사회적 지원 척도에서 상당히 다른 점수로 나타났다.

For example, 72 percent of Principal A’s teachers said he (always) “displayed integrity in behavior,” while only 16 percent of Principal B’s said so.

예를 들어, A 교장의 교사 중 72%는 그가 ‘항상 행동에서 진실성을 보인다’고 응답한 반면, B 교장의 교사 중에는 16%만이 그렇게 응답했다.

In the fieldwork we had already noticed that several teachers in B’s school were reluctant to say much to the fieldworker because “it might get back to George”; rumors and mistrust were present.

현장 연구에서 우리는 이미 B 교장의 학교에서 몇몇 교사들이 ‘조지가 알게 될지도 모른다’는 이유로 현장 연구자에게 말을 아끼는 경향이 있음을 발견했으며, 이는 소문과 불신이 존재했음을 보여준다.

More elegantly, we had enough survey data to conduct path analyses (Galanter, 1978) to test our fieldworkers’ beliefs about “support systems” in the two schools.

더 정교하게는, 우리는 두 학교의 ‘지원 시스템’에 대한 현장 연구자들의 믿음을 테스트하기 위해 경로 분석(Galanter, 1978)을 수행할 수 있을 만큼 충분한 설문 데이터를 보유하고 있었다.

Formal Approaches to Qualitative Data Analysis

We could not escape the suspicion that others did not know much more than we about the arcane process of making valid sense of large amounts of qualitative information.

우리는 다른 사람들도 대량의 질적 정보를 유효하게 이해하는 신비로운 과정에 대해 우리보다 더 많이 알고 있지 않을 것이라는 의심을 떨칠 수 없었다.

Sieber (1976a), a staff member, reviewed the state of the art as described in seven well-respected texts on field methods (Glaser and Strauss, 1967; Filstead, 1970; Glaser, 1972; Runkel and McGrath, 1972; Schatzman and Strauss, 1973; Bogdan and Taylor, 1975; Smith, 1975).

연구원 중 한 명인 Sieber(1976a)는 현장 방법에 관한 일곱 권의 권위 있는 텍스트(Glaser and Strauss, 1967; Filstead, 1970; Glaser, 1972; Runkel and McGrath, 1972; Schatzman and Strauss, 1973; Bogdan and Taylor, 1975; Smith, 1975)에 기술된 기술 현황을 검토했다.

He found that most of the texts largely ignored the problem of analysis, typically devoting not more than 5 to 10 percent of their pages to it.

그는 대부분의 텍스트가 분석 문제를 거의 다루지 않았으며, 보통 전체 페이지 중 5~10%를 넘지 않는 분량만 할애하고 있다는 것을 발견했다.

Methodologists obviously prefer to spend more time on such matters as gaining access, interviewing, choosing informants, handling reciprocities, and so on, rather than on the intellectual work of analysis (p. 1).

방법론자들은 분석이라는 지적 작업보다는 접근 방법, 인터뷰, 정보 제공자 선택, 상호 관계 처리 등의 문제에 더 많은 시간을 할애하는 것을 선호하는 것이 분명하다(p. 1).

His other conclusions, not more optimistic, were:

그의 다른 결론들은 더 낙관적이지 않았다.

(1) There was little suggestion in the texts as to how analysis modes might vary according to varying purposes of fieldwork (e.g., generating theory, testing hypotheses, evaluating a program).

(1) 현장 연구 목적(예: 이론 생성, 가설 검증, 프로그램 평가)에 따라 분석 방식이 어떻게 달라질 수 있는지에 대한 제안이 텍스트에서 거의 없었다.

(2) Few guidelines were suggested as to when particular analytical approaches might be employed, or why.

(2) 특정 분석 방법을 언제, 그리고 왜 사용해야 하는지에 대한 지침이 거의 제시되지 않았다.

(3) The texts tended to confuse and blur concepts of reliability, validity, generalizability, and analysis.

(3) 텍스트는 신뢰성, 타당성, 일반화 가능성, 분석 개념을 혼란스럽고 모호하게 만드는 경향이 있었다.

Elsewhere Sieber (1976b: 1) pointed out that the quantitative view of reliability (inter-observer, inter-respondent, inter-instrument, or intra-respondent over time) is in many respects inapplicable in qualitative data collection.

Sieber(1976b: 1)은 다른 곳에서 정량적 관점의 신뢰성(관찰자 간, 응답자 간, 도구 간, 또는 시간 경과에 따른 동일 응답자 내 신뢰성)이 질적 데이터 수집에는 여러 면에서 적용되지 않는다고 지적했다.

Certain kinds of reliability must be intentionally violated in order to gain a depth of understanding about the situation (i.e., the observer’s behavior must change from subject to subject, unique questions must be asked of different subjects … there is an inherent conflict between validity and reliability - the former is what fieldwork is specially qualified to gain, and increased emphasis on reliability will only undermine that unique function).

상황에 대한 깊이 있는 이해를 얻기 위해 특정 종류의 신뢰성을 의도적으로 위반해야 할 수도 있다(즉, 관찰자의 행동은 대상에 따라 변화해야 하며, 대상마다 독특한 질문이 요구된다… 이는 타당성과 신뢰성 간에 본질적인 갈등을 초래하며, 타당성은 현장 연구가 특별히 자격을 갖춘 부분인 반면, 신뢰성을 강화하면 이 독특한 기능을 약화시킬 뿐이다).

Sieber went on, however, to extract what advice he could, suggesting that good analysis, as described in the texts, generally involved something like the following:

그러나 Sieber는 이어서 텍스트에 기술된 좋은 분석이 대체로 다음과 같은 과정을 포함한다고 제안하면서 가능한 조언을 추출했다.

Intertwining of analysis and data collection.

We have already reviewed how this proceeded in our project, and most text authors stressed it.

우리 프로젝트에서 이 과정이 어떻게 진행되었는지 이미 검토했으며, 대부분의 텍스트 저자들도 이를 강조했다.

Formulating classes of phenomena.

This is essentially a categorizing process, subsuming observations under “progressively more abstract concepts.”

이것은 본질적으로 점점 더 추상적인 개념 아래 관찰을 포함시키는 분류 과정이다.

An example from our study is “legitimacy” (the right to plan a new organization, as accorded by the environment).

우리 연구에서의 예는 ‘정당성’(환경이 부여한 새로운 조직을 계획할 권리)이다.

Identifying themes.

Here the process is one of making linkages between concepts, noting regularities which have aroused the researcher’s curiosity, and perhaps specifying “if-then” hypotheses.

이 과정은 개념 간 연계를 만들고, 연구자의 호기심을 자극한 규칙성을 기록하며, 아마도 “만약-그렇다면” 가설을 구체화하는 것이다.

For example, we noted a puzzling and recurrent pattern of wandering circular discussion in one organizational planning group, and finally began speculating that it was a consequence of weak legitimacy.

예를 들어, 우리는 한 조직 계획 그룹에서 반복적으로 나타나는 이해할 수 없는 순환적 논의 패턴을 발견했으며, 이는 약한 정당성의 결과일 수 있다고 추측하기 시작했다.

Provisional testing of hypotheses.

Here, as with quantitative data, the analyst looks for concomitant variation, tries to rule out spurious or confounding factors, assesses conditions making for greater or lesser concomitant variation, looks for intervening variables, and so on.

여기서도 정량적 데이터와 마찬가지로, 분석가는 공변 변화를 찾고, 허위적이거나 혼란을 일으키는 요인을 제거하며, 공변 변화의 크고 작은 조건을 평가하고, 매개 변수를 탐색하는 등의 작업을 한다.

In the example, a possible factor that might have caused the circular discussion was lack of group process skills.

예시에서 순환적 논의를 초래했을 가능성이 있는 요인은 그룹 프로세스 기술의 부족이었다.

This could be ruled out when one noted that a process consultant had supplied assistance to the group, but with little or no effect; the circular discussions (and the weak legitimacy) continued.

이는 프로세스 컨설턴트가 그룹에 지원을 제공했지만 효과가 거의 없거나 전혀 없었다는 점에서 배제될 수 있었다. 순환적 논의(그리고 약한 정당성)는 계속되었다.

Sieber’s work led to the production of a set of “rules of thumb” (Miles, 1976b) for qualitative analysis, including such items as:

Sieber의 작업은 Miles(1976b)이 제시한 질적 분석을 위한 일련의 “경험적 규칙”의 제작으로 이어졌으며, 여기에는 다음과 같은 항목이 포함되었다.

Consider the validity of any particular generalization. Is there supporting evidence from elsewhere in the data? Does it hold true for several different people, roles, groups, or occasions? Is there any negative evidence?

특정 일반화의 타당성을 고려하라. 데이터의 다른 곳에서 이를 뒷받침하는 증거가 있는가? 이는 여러 사람, 역할, 그룹, 상황에서 유효한가? 반증이 존재하는가?

Given a generalization, make a prediction. What else would be true if this generalization were true? Then go look at the “else” to see if it is there or not.

일반화를 가정했을 때, 이 일반화가 참이라면 무엇이 참일 것인가를 예측하라. 그런 다음 이 “다른 것”을 찾아 실제로 존재하는지 확인하라.

Test propositions: Does Y always go with Z, and is it reasonable to think that it causes Z? Are certain conditions necessary for Y to cause Z? Sufficient?

명제를 검증하라: Y는 항상 Z와 함께 발생하는가? Y가 Z를 초래한다고 생각하는 것이 합리적인가? Y가 Z를 초래하기 위해 필요한 조건이 있는가? 혹은 충분한가?

Look at extreme-bias cases: If even the most self-interested role or group gives an explanation which fits yours, though it’s against their interest or bias, then the conclusion is stronger.

극단적 편향 사례를 살펴보라. 심지어 가장 자기중심적인 역할이나 그룹이 자신들의 이익이나 편향에 반하는 경우에도 당신의 설명과 일치하는 설명을 제공한다면, 결론은 더욱 강력해진다.

Since Sieber’s analysis, some additional thoughtful work has appeared, including Smith’s (1978) overview, Glaser’s (1978) set of practical guidelines for the “constant comparative” method, and Dawson’s (1979) overview of validity issues.

Sieber의 분석 이후, Smith(1978)의 개요, Glaser(1978)의 “지속적 비교” 방법에 대한 실용적 지침, 그리고 Dawson(1979)의 타당성 문제 개요를 포함하여 추가적인 심도 있는 연구가 등장했다.

Case Study Production

Though these (and our other) rules of thumb seemed reasonable and desirable, and reduced anticipatory analysis anxiety a good deal, we found that the actual process of analysis during case-writing was essentially intuitive, primitive, and unmanageable in any rational sense.

이러한 (그리고 우리의 다른) 경험적 규칙들은 합리적이고 바람직해 보였으며, 사전 분석에 대한 불안을 상당히 줄여주었지만, 실제 사례 작성 중 분석 과정은 본질적으로 직관적이고 원시적이며, 합리적인 의미에서 관리하기 어려운 것으로 드러났다.

As we have noted, the data cards were not used, and fieldworkers and analysts (usually, but not always, the same person) read through the write-ups and interim analyses, selected data, and arranged the information using a chronologically organized case outline derived from the general conceptual framework of the study.

앞서 언급했듯이, 데이터 카드는 사용되지 않았으며, 현장 연구자와 분석가(대개 동일인이지만 항상 그런 것은 아니었다)는 보고서와 중간 분석을 읽고 데이터를 선택하여, 연구의 일반 개념 틀에서 도출된 연대기적으로 조직된 사례 개요를 사용해 정보를 배열했다.

While one can remember occasional use of the “rules of thumb” (e.g., a pause to search for negative evidence), the analysis process is more memorable for its moments of sheer despair in the face of the mass of data, alternating with moments of achieved clarity, soon followed by second-guessing skepticism (“Would someone else come to the same conclusion?”).

가끔 ‘경험적 규칙’을 사용하는 경우(예: 반증을 찾기 위해 멈추는 경우)를 떠올릴 수는 있겠지만, 분석 과정은 방대한 데이터 앞에서의 순전한 절망의 순간, 그리고 이어지는 명확성의 달성 순간, 곧이어 찾아오는 회의적 의문(“다른 사람이 동일한 결론에 도달할까?”)이 더욱 기억에 남는다.

The final cases had a strong ring of truth, as well as being fascinating accounts.

최종 사례는 진실성을 강하게 느끼게 했으며, 흥미로운 내용으로 구성되어 있었다.

They had been discussed and cross-checked among the staff, and read and critiqued by the site personnel.

이 사례들은 연구진 간에 논의되고 교차 검증되었으며, 현장 인력이 읽고 비평했다.

But one suspects that cognitive dissonance may have been at work as well: an analysis which has taken 45 days of hard labor, and another 20 for the revision must be right.

그러나 45일간의 고된 작업과 추가로 20일이 소요된 수정 작업을 거친 분석은 옳을 것이라는 인지 부조화가 작용했을 수도 있다.

But loving that for which one has suffered is not the soundest basis for confidence in findings.

그러나 자신이 고생한 결과를 사랑하는 것은 연구 결과에 대한 신뢰의 가장 건전한 근거는 아니다.

Validation through Feedback to Sites

We decided to give semifinal drafts to personnel from our sites, inviting them to correct errors of fact, and supply alternative interpretations to those we had made.

우리는 준최종 초안을 현장 인력에게 제공하여 사실 오류를 수정하고, 우리가 제시한 해석에 대한 대안을 제시하도록 요청하기로 결정했다.

We learned several things.

우리는 몇 가지를 배웠다.

First, there is no possibility of real anonymity inside the site.

첫째, 현장 내에서는 진정한 익명성이 가능하지 않다.

Even with pseudonyms, everyone in the case knew exactly who was who.

가명을 사용하더라도 사례에 포함된 모든 사람이 누가 누구인지 정확히 알고 있었다.

Second, some people felt vulnerable. Information not previously known to others had been fed into the system.

둘째, 일부 사람들은 취약함을 느꼈다. 이전에 다른 사람들에게 알려지지 않았던 정보가 시스템에 투입되었다.

The vulnerability was justified because jobs and careers could be affected.

이 취약성은 정당화되었는데, 이는 직업과 경력이 영향을 받을 수 있었기 때문이다.

Third, not surprisingly, there was much self-aggrandizing and self-protective response.

셋째, 예상할 수 있듯이, 많은 자기 과시와 자기 방어적 반응이 있었다.

(In 3 of 6 sites, we were threatened with suit by one person or another.)

(6개 현장 중 3곳에서는 누군가로부터 소송 위협을 받았다.)

In all sites there was “rewriting of history” by individuals to present themselves more favorably.

모든 현장에서 개인들이 자신을 더 유리하게 보이게 하려고 “역사 재작성”을 시도했다.

These problems were stronger and deeper the more the case used the unique aspects of qualitative data (its richness, complexity, detail, serendipitousness).

이러한 문제는 사례가 질적 데이터의 고유한 측면(풍부함, 복잡성, 세부 사항, 우연성)을 더 많이 사용할수록 더 강하고 심각해졌다.

People almost never objected to a survey result (76 percent responded in such and such a way), but they almost always objected to direct quotes or specific characterizations of their behavior, if they thought them unflattering or damaging.

사람들은 설문조사 결과(76%가 특정 방식으로 응답했다)에 거의 반대하지 않았지만, 자신들의 행동에 대한 직접 인용이나 특정한 묘사가 자신들에게 불리하거나 해가 된다고 생각될 경우 거의 항상 이에 반대했다.

Cases usually required a considerable amount of revision to take account of the factual errors, the defensive responses, and the genuinely alternative interpretations.

사례는 보통 사실 오류, 방어적 반응, 그리고 진정한 대안적 해석을 고려하기 위해 상당한 수정이 필요했다.

The turnaround time for the whole process was usually a minimum of two months, and longer when we started with the most vulnerable people—teachers—before proceeding to less vulnerable ones—principals, central office staff.

전체 과정의 처리 시간은 보통 최소 2개월이 걸렸으며, 취약성이 높은 사람들(교사들)부터 시작하여 취약성이 낮은 사람들(교장, 중앙 사무국 직원)로 진행할 경우 더 오래 걸렸다.

Cross-Site Analysis

One of the major reasons for doing a multi-site study is that idiosyncratic aspects of the sites can be seen in perspective, and self-delusion about conclusions is less likely.

다중 현장 연구를 수행하는 주요 이유 중 하나는 현장의 특이한 측면을 관점에서 볼 수 있으며, 결론에 대한 자기기만 가능성이 줄어든다는 점이다.

The problem is that no well-developed set of methods for doing cross-site analysis exists.

문제는 교차 현장 분석을 수행하기 위한 잘 개발된 방법이 존재하지 않는다는 것이다.

A look at several recent efforts at cross-site analysis (Hyde, 1977; Miles, Fullan, and Taylor, 1978; Herriott and Gross, 1979) suggests only that one should have a reasonably clear conceptual framework in mind and that some form of cross-validation or checking of generalizations, using alternate data sources, is desirable.

최근의 교차 현장 분석 노력(Hyde, 1977; Miles, Fullan, and Taylor, 1978; Herriott and Gross, 1979)을 살펴보면, 명확한 개념적 틀을 염두에 두어야 하며, 대체 데이터 소스를 활용한 교차 검증 또는 일반화 검토 형태가 바람직하다는 것만을 시사한다.

Beyond this, the methods used in these studies are simply not particularly explicit, though the results sound plausible and fruitful.

이 외에도, 이러한 연구에서 사용된 방법은 명확하지 않지만, 결과는 그럴듯하고 유익하게 들린다.

In this study, we proceeded primitively, by focusing on the “primary tasks” drawn from our general conceptual framework, and reviewing the case studies, particularly the analysis sections, for themes and generalizations that seemed plausible.

이 연구에서 우리는 우리의 일반 개념 틀에서 도출된 ‘주요 과제’에 초점을 맞추고, 사례 연구, 특히 분석 부분을 검토하여 그럴듯해 보이는 주제와 일반화를 찾는 원시적인 접근 방식을 취했다.

But even when generalizations swam into view, the complexity of cross-site comparison (and the problem that the same behavior may have different meanings in two different contexts) often seemed quite unmanageable.

그러나 일반화가 나타났을 때조차, 교차 현장 비교의 복잡성(그리고 동일한 행동이 두 개의 다른 맥락에서 다른 의미를 가질 수 있다는 문제)은 종종 관리할 수 없을 정도로 복잡해 보였다.

A brief exhibit may be useful: In what way are leaders’ roles in new organizations connected to the process of more or less stable institutionalization?

짧은 예가 유용할 수 있다: 새로운 조직에서 지도자의 역할이 어느 정도 안정적인 제도화 과정과 어떻게 연결되는가?

In nearly all of our schools, the principal or director became central as implementation and institutionalization proceeded.

우리 학교들 대부분에서, 실행과 제도화가 진행됨에 따라 교장이나 감독이 중심적인 역할을 하게 되었다.

Appelbaum’s Harold Lassiter exerted more and more influence; Arts Coop’s David Steinhoff became more and more isolated and decision-responsible.

Appelbaum의 Harold Lassiter는 점점 더 많은 영향을 미쳤고, Arts Coop의 David Steinhoff는 점점 더 고립되고 결정에 책임을 지게 되었다.

Lincoln Acres’ Ellis Brown more and more abrogated the collegial plan the teachers and he had supposedly opted for.

Lincoln Acres의 Ellis Brown은 교사들과 자신이 선택한 것으로 알려진 협력 계획을 점점 더 무효화했다.

Westgate 3’s George Rieger maintained steady centrality from the beginning.

Westgate 3의 George Rieger는 처음부터 지속적으로 중심 역할을 유지했다.

Only Westgate 2’s Ed Pallacino seemed to be less central, allowing for the development of a strong collegial support system, but even he claimed to have been “responsible” for setting it up: “I was behind it all.”

Westgate 2의 Ed Pallacino만이 덜 중심적이었고, 강력한 협력 지원 시스템의 발전을 허용한 것처럼 보였지만, 그조차도 “나는 이 모든 것 뒤에 있었다”며 시스템을 구축한 데 대해 자신이 ‘책임이 있다’고 주장했다.

And though Brown’s successor, Alberta Bard, encouraged collegial decision making in the second year at Lincoln Acres, it was clear that her presence was an immensely calming and stabilizing force.

그리고 Brown의 후임인 Alberta Bard가 Lincoln Acres에서 2년 차에 협력적 의사 결정을 장려했지만, 그녀의 존재가 엄청나게 진정시키고 안정화시키는 힘이었음은 분명했다.

The table compares these six leaders.

이 표는 이 여섯 명의 지도자를 비교한다.

It shows that the centrality of these leaders did not stem from a comparable style, and displays their differences on five major dimensions and on institutionalization.

이 표는 이 지도자들의 중심성이 유사한 스타일에서 비롯되지 않았음을 보여주며, 다섯 가지 주요 차원과 제도화 측면에서 그들의 차이를 나타낸다.

As a small experiment, the reader may wish to consider what conclusions he or she would draw from this array.

작은 실험으로, 독자는 이 배열에서 어떤 결론을 도출할 수 있을지 고민해볼 수 있다.

Our conclusions emphasized the importance of predictability and the fact that task emphasis predicts nothing.

우리의 결론은 예측 가능성의 중요성과 업무 강조가 아무것도 예측하지 못한다는 사실을 강조했다.

A closer look at the two Westgate principals also suggested the importance of support and collaborativeness as well, since they apparently succeeded in overriding the otherwise important dimension of proactiveness.

Westgate의 두 교장을 자세히 살펴본 결과, 지원과 협력의 중요성도 시사되었는데, 이는 그들이 다른 중요 요소인 적극성을 극복하는 데 성공한 것으로 보였기 때문이다.

(Quiet, passive Ed Pallacino achieved more institutionalization in the same district than low-supportive, low-collaborative George Rieger.)

(조용하고 소극적인 Ed Pallacino가 동일 학군에서 낮은 지원과 낮은 협력을 보인 George Rieger보다 더 많은 제도화를 달성했다.)

But these conclusions are surely tempered by deeper and wider knowledge of the site than readers have.

그러나 이러한 결론은 독자가 가진 것보다 더 깊고 폭넓은 현장 지식을 바탕으로 조정된 것임이 분명하다.

An excellent example appears in the Arts Coop case.

Arts Coop 사례에서 훌륭한 예를 찾을 수 있다.

Though Steinhoff gave little support and was only moderately predictable and collaborative, he nevertheless achieved rapid and enduring institutionalization.

Steinhoff는 지원을 거의 하지 않았고 예측 가능성과 협력성도 중간 수준에 불과했지만, 그럼에도 불구하고 빠르고 지속적인 제도화를 이루어냈다.

So he contradicts the theory.

따라서 그는 이론에 반하는 사례가 된다.

But other knowledge of Arts Coop by the analyst includes the fact that Arts Coop, more than any other site, had a clear and compelling vision driving the planning and implementation.

그러나 분석가는 Arts Coop이 다른 어떤 현장보다도 명확하고 강력한 비전을 가지고 계획과 실행을 이끌었다는 사실을 알고 있었다.

So the theory about leaders’ roles holds only when visions are cloudy.

따라서 지도자의 역할에 대한 이론은 비전이 불분명할 때만 유효하다.

Is such an analysis believable, replicable?

이러한 분석이 믿을 수 있고 재현 가능한가?

We simply do not know, at the present state of the art.

현재의 기술 수준에서는 단순히 알 수 없다.

If anything, the art of cross-site analysis is even less well-formulated than within-site analysis.

어느 정도를 말하자면, 교차 현장 분석의 기술은 단일 현장 분석보다도 훨씬 덜 정립되어 있다.

Issues in Team Research

We have already alluded to the problems encountered when our project tried to systematize and bureaucratize fieldwork across multiple sites and among multiple workers.

우리의 프로젝트가 여러 현장과 여러 연구자들 간에 현장 작업을 체계화하고 관료화하려고 시도했을 때 발생했던 문제들에 대해 이미 언급한 바 있다. 

There are several unresolved issues here; it is clear that the social psychology of research projects complicates and deepens the formidable issues of qualitative data analysis we have been outlining.

여기에는 몇 가지 해결되지 않은 문제가 있으며, 연구 프로젝트의 사회적 심리학이 우리가 서술해온 질적 데이터 분석의 막대한 문제를 복잡하고 심화시킨다는 것이 분명하다.

First, should projects be organized collegially or hierarchically?

첫째, 프로젝트는 협력적으로 조직해야 하는가, 아니면 계층적으로 조직해야 하는가?

The former gains “ownership” but runs the risk of conceptual mushiness, and the latter is crisper but may easily produce the “hired hand” syndrome, with resultant problems of data validity.

전자는 ‘소유권’을 확보할 수 있지만 개념적 혼란의 위험이 있으며, 후자는 더 명확할 수 있지만 ‘고용된 손’ 증후군을 쉽게 초래하여 데이터의 타당성 문제를 야기할 수 있다.

Second, should coding and analysis be separated from data collection?

둘째, 코딩과 분석은 데이터 수집과 분리해야 하는가?

Glaser (1978) says resoundingly no, since fieldworkers generate all the implicit hypotheses that are worth anything anyway.

Glaser(1978)는 명백히 아니라고 말하는데, 이는 현장 연구자들이 어차피 가치 있는 모든 암묵적 가설을 생성하기 때문이다.

But such differentiation was workable in our project, has been historically useful in quantitative studies, and should not be ruled out.

그러나 이러한 분리는 우리 프로젝트에서 실행 가능했고, 정량적 연구에서 역사적으로 유용했으며 배제되어서는 안 된다.

Third, what are possible conceptual and organizational solutions to the steady tension between the unique, contextually specific nature of single sites, and the need to make sense across a number of sites?

셋째, 단일 현장의 고유하고 맥락적으로 특수한 성격과 여러 현장을 종합적으로 이해할 필요성 간의 지속적인 긴장에 대한 개념적 및 조직적 해결책은 무엇인가?

Must we trade close-up descriptive validity for accurate but “thin” generalization?

우리는 자세한 서술적 타당성을 정확하지만 ‘얕은’ 일반화를 위해 포기해야 하는가?

Many more problems have been named here than have been solved, in the belief that the attractive aspects of qualitative research are real, and that the nuisances can be reduced by thoughtful methodological inquiry—most centrally into the problem of analysis and how it can be carried out in ways that deserve the name of science.

여기서 해결된 것보다 더 많은 문제가 제기되었으며, 질적 연구의 매력적인 측면이 실제로 존재하고, 세심한 방법론적 탐구를 통해 문제점, 특히 분석 문제와 과학이라는 이름에 걸맞게 이를 수행할 방법에 대해 탐구함으로써 이러한 문제를 줄일 수 있다는 믿음이 깔려 있다.

Without more such inquiry, qualitative research on organizations cannot be expected to transcend story-telling, and we will be stuck with the limitations of numbers.

이러한 탐구가 더 이루어지지 않는다면, 조직에 대한 질적 연구는 이야기 수준을 넘어서지 못할 것이며, 우리는 숫자의 한계에 갇힐 것이다.