논문리뷰 : 조직의 인공지능 시스템의 배치를 위한 접근

Asatiani, Aleksandre, et al. (2021)

Sociotechnical Envelopment of Artificial Intelligence: An Approach to Organizational Deployment of Inscrutable Artificial Intelligence Systems

Asatiani, Aleksandre, et al. "Sociotechnical envelopment of artificial intelligence: An approach to organizational deployment of inscrutable artificial intelligence systems." Journal of the association for information systems 22.2 (2021): 325-352.

https://research.aalto.fi/en/publications/sociotechnical-envelopment-of-artificial-intelligence-an-approach

Sociotechnical Envelopment of Artificial Intelligence: An Approach to Organizational Deployment of Inscrutable Artificial Intell

Abstract

The paper presents an approach for implementing inscrutable (i.e., nonexplainable) artificial intelligence (AI) such as neural networks in an accountable and safe manner in organizational settings.

본 논문은 뉴럴 네트워크와 같은 설명이 어려운 인공지능(AI)을 조직 환경에서 책임감 있고 안전하게 구현하기 위한 접근법을 제시한다.

Drawing on an exploratory case study and the recently proposed concept of envelopment, it describes a case of an organization successfully “enveloping” its AI solutions to balance the performance benefits of flexible AI models with the risks that inscrutable models can entail.

탐색적 사례 연구와 최근 제안된 포괄(envelopment) 개념을 바탕으로, 유연한 AI 모델의 성능 이점과 설명이 어려운 모델이 초래할 수 있는 위험을 균형 있게 조화시킨 조직의 성공적인 사례를 설명한다.

The authors present several envelopment methods—establishing clear boundaries within which the AI is to interact with its surroundings, choosing and curating the training data well, and appropriately managing input and output sources—alongside their influence on the choice of AI models within the organization.

저자들은 AI가 환경과 상호작용할 경계를 명확히 설정하고, 훈련 데이터를 신중히 선택 및 관리하며, 입력 및 출력 소스를 적절히 관리하는 여러 포괄 방법을 제시하며, 이들이 조직 내 AI 모델 선택에 미치는 영향을 논의한다.

This work makes two key contributions:

이 연구는 두 가지 주요 기여점을 제공한다.

It introduces the concept of sociotechnical envelopment by demonstrating the ways in which an organization’s successful AI envelopment depends on the interaction of social and technical factors, thus extending the literature’s focus beyond mere technical issues.

조직의 성공적인 AI 포괄이 사회적 및 기술적 요인의 상호작용에 어떻게 의존하는지를 보여줌으로써, 사회기술적 포괄 개념을 소개하며 기존 문헌의 초점을 단순한 기술적 문제를 넘어 확장한다.

Secondly, the empirical examples illustrate how operationalizing a sociotechnical envelopment enables an organization to manage the trade-off between low explainability and high performance presented by inscrutable models.

둘째, 경험적 사례는 사회기술적 포괄의 실행이 조직이 설명 가능성이 낮고 성능이 높은 모델의 트레이드오프를 관리하는 데 어떻게 기여하는지를 보여준다.

These contributions pave the way for more responsible, accountable AI implementations in organizations, whereby humans can gain better control of even inscrutable machine-learning models.

이러한 기여는 조직에서 보다 책임감 있고 신뢰할 수 있는 AI 구현을 위한 길을 열어주며, 이를 통해 인간이 설명하기 어려운 기계 학습 모델조차도 더 잘 통제할 수 있도록 한다.

Keywords: Artificial Intelligence, Explainable AI, XAI, Envelopment, Sociotechnical Systems, Machine Learning, Public Sector

키워드: 인공지능, 설명 가능한 AI, XAI, 포괄, 사회기술 시스템, 기계 학습, 공공 부문

1. Introduction

Advances in big data and machine-learning (ML) technology have given rise to systems using artificial intelligence (AI) that bring significant efficiency gains and novel information-processing capabilities to the organizations involved.

빅데이터와 기계 학습(ML) 기술의 발전은 인공지능(AI)을 사용하는 시스템의 등장을 촉진하였으며, 이는 관련 조직에 상당한 효율성 향상과 새로운 정보 처리 역량을 제공하고 있다.

While ML models may be able to surpass human experts’ performance in demanding analysis and decision-making situations (McKinney et al., 2020), their operation logic differs dramatically from humans’ ways of approaching similar problems.

ML 모델은 까다로운 분석 및 의사결정 상황에서 인간 전문가의 성과를 능가할 수 있지만(McKinney et al., 2020), 이들의 작동 논리는 유사한 문제를 접근하는 인간의 방식과는 크게 다르다.

Rapid growth in the volumes of data and computing power available has made AI systems increasingly complex, rendering their behavior inscrutable and, therefore, hard for humans to interpret and explain (Faraj et al., 2018; Stone et al., 2016).

데이터 및 이용 가능한 컴퓨팅 파워의 급격한 증가로 인해 AI 시스템은 점점 더 복잡해졌으며, 그 결과 동작이 난해해지고 인간이 이를 해석하거나 설명하기 어려워졌다(Faraj et al., 2018; Stone et al., 2016).

While the economic value of such systems is rarely in doubt, broader organizational and societal implications, including negative side-effects such as undetected biases, have started to cause concerns (Benbya et al., 2020; Brynjolfsson & McAfee, 2014; Newell & Marabelli, 2015).

이러한 시스템의 경제적 가치는 거의 의심받지 않지만, 탐지되지 않은 편향과 같은 부정적인 부작용을 포함한 조직적 및 사회적 함의가 우려를 불러일으키기 시작했다(Benbya et al., 2020; Brynjolfsson & McAfee, 2014; Newell & Marabelli, 2015).

Thus, humans’ ability to explain how AI systems produce their outputs, referred to as “explainability” (e.g., Rosenfeld & Richardson, 2016), has become a prominent issue in various fields.

따라서 AI 시스템이 출력을 생성하는 방식을 설명하는 인간의 능력, 즉 ‘설명 가능성’(Rosenfeld & Richardson, 2016)이 다양한 분야에서 중요한 이슈로 부각되고 있다.

The inscrutability of AI systems leads to a host of ethics-related, legal, and practical issues.

AI 시스템의 난해함은 윤리적, 법적, 그리고 실질적 문제들을 야기한다.

ML models, by necessity, operate mindlessly, meaning that they approach the work from a single perspective, with no conscious understanding of the broader context (Burrell, 2016; Salovaara et al., 2019).

ML 모델은 필연적으로 무의식적으로 작동하며, 이는 더 넓은 맥락에 대한 의식적인 이해 없이 단일 관점에서 작업을 접근함을 의미한다(Burrell, 2016; Salovaara et al., 2019).

For example, ML models cannot reflect on the ethics or legality of their actions.

예를 들어, ML 모델은 자신의 행동에 대한 윤리적 또는 법적 측면을 반영할 수 없다.

Accordingly, an AI system may exhibit unintended biases and discrimination after learning to consider inappropriate factors in its decision-making (Martin, 2019).

따라서 AI 시스템은 의사결정 과정에서 부적절한 요소를 학습한 후 의도치 않은 편향과 차별을 나타낼 수 있다(Martin, 2019).

Through such problems during the training stage and beyond, an organization may (wittingly or not) end up operating in a manner that conflicts with its values (Firth, 2019), with models being susceptible to biases and errors connected with vexing ethics issues, such as discrimination against specific groups of people.

이러한 문제들은 훈련 단계와 그 이후에 발생하며, 조직은 의도했든 그렇지 않든 간에 특정 집단에 대한 차별과 같은 난처한 윤리적 문제와 관련된 편향 및 오류에 취약한 모델로 인해 조직의 가치와 충돌하는 방식으로 운영될 수 있다(Firth, 2019).

Designing models with solid ethics in mind could provide means to identify, judge, and correct such biases and errors (Martin, 2019), but all of this is impossible if the model’s actions are inscrutable.

확고한 윤리적 기준을 염두에 두고 모델을 설계하면 이러한 편향과 오류를 식별, 판단, 수정할 수 있는 방법을 제공할 수 있지만, 모델의 행동이 난해하다면 이는 모두 불가능하다(Martin, 2019).

Alongside ethics matters, there are legislative factors that impose concrete and inescapable requirements for explainability (Desai & Kroll, 2017).

윤리 문제와 함께 설명 가능성에 대한 구체적이고 필수적인 요구를 부과하는 입법적 요인도 존재한다(Desai & Kroll, 2017).

Public authorities often must honor requirements for transparency in their actions, and private companies may also be compelled to explain and justify, for instance, how they use customer data.

공공기관은 종종 자신들의 행동에 투명성을 요구받으며, 민간 기업 또한 고객 데이터를 어떻게 사용하는지에 대해 설명하고 정당화할 것을 요구받을 수 있다.

The European Union’s General Data Protection Regulation (GDPR) serves as a prominent example of recent legislative action that promotes the rights of data subjects to obtain an explanation of any decision based on data gathered on them (European Union, 2016).

유럽연합의 일반 데이터 보호 규정(GDPR)은 데이터 주체가 자신에 대한 데이터를 기반으로 내린 결정에 대한 설명을 받을 권리를 촉진하는 최근 입법 조치의 대표적인 예이다(European Union, 2016).

Yet producing an explainable AI system may not always be feasible.

그러나 설명 가능한 AI 시스템을 만드는 것은 항상 가능하지 않을 수 있다.

For example, ML models cannot reflect on the ethics or legality of their actions.

예를 들어, ML 모델은 자신들의 행동에 대한 윤리적 또는 법적 측면을 성찰할 수 없다.

Accordingly, an AI system may exhibit unintended biases and discrimination after learning to consider inappropriate factors in its decision-making (Martin, 2019).

따라서 AI 시스템은 의사결정 과정에서 부적절한 요소를 학습한 이후, 의도치 않은 편향과 차별을 나타낼 수 있다(Martin, 2019).

Through such problems during the training stage and beyond, an organization may (wittingly or not) end up operating in a manner that conflicts with its values (Firth, 2019), with models being susceptible to biases and errors connected with vexing ethics issues, such as discrimination against specific groups of people.

이러한 문제는 훈련 단계에서뿐만 아니라 이후에도 나타날 수 있으며, 조직은 (의도적으로든 비의도적으로든) 특정 집단에 대한 차별과 같은 윤리적 문제와 관련된 편향과 오류로 인해 조직의 가치와 충돌하는 방식으로 운영될 가능성이 있다(Firth, 2019).

Inscrutability takes many forms, linked to such elements as intentional corporate or state secrecy, technical illiteracy, and innate characteristics of ML models (Burrell, 2016).

난해함은 의도적인 기업 또는 국가의 비밀 유지, 기술적 문맹, 그리고 ML 모델의 고유한 특성과 같은 요소들과 연관된 다양한 형태로 나타난다(Burrell, 2016).

This multifaceted nature, combined with limitations on human logic, means there are no simple solutions to explainability problems (Edwards, 2018; Robbins, 2020).

이러한 다면적인 성격과 인간 논리의 한계가 결합되어 설명 가능성 문제에 대한 간단한 해결책은 존재하지 않는다(Edwards, 2018; Robbins, 2020).

For example, some legal scholars maintain that the GDPR’s provision for a right to explanation is insufficient and could result in meaningless “transparency” that does not actually match user needs (Edwards & Veale, 2017).

예를 들어, 일부 법학자들은 GDPR이 제공하는 설명에 대한 권리가 불충분하며, 사용자 요구와 실제로 부합하지 않는 무의미한 “투명성”을 초래할 수 있다고 주장한다(Edwards & Veale, 2017).

While there may technically be an explanation for a given decision, this might not be understandable for the person(s) affected.

기술적으로 특정 결정에 대한 설명이 존재할 수 있지만, 이는 영향을 받는 사람이 이해하기 어려울 수 있다.

Though approaches such as legal auditing (O’Neil, 2016; Pasquale, 2015), robust system design (Rosenfeld & Richardson, 2019), and user education may improve explainability in some cases, they are unidimensional and inadequate for tackling the fundamental challenges presented by the mindless operation of AI (Burrell, 2016).

법적 감사(O’Neil, 2016; Pasquale, 2015), 견고한 시스템 설계(Rosenfeld & Richardson, 2019), 사용자 교육과 같은 접근법은 일부 경우에서 설명 가능성을 개선할 수 있지만, 이들은 단면적이고 AI의 무의식적 작동이 제기하는 근본적인 문제를 해결하기에는 부족하다(Burrell, 2016).

In an organizational setting, information-technology (IT) systems affect a broad spectrum of stakeholders who display differing, often sharply contrasting, demands and expectations (Koutsikouri et al., 2018).

조직 환경에서 정보기술(IT) 시스템은 폭넓은 이해관계자들에게 영향을 미치며, 이들은 종종 크게 대조되는 요구와 기대를 나타낸다(Koutsikouri et al., 2018).

Explanation of AI agents’ behavior is further complicated by the environment wherein AI development takes place, with various incumbent work processes, structures, hierarchies, and legacy technologies.

AI 에이전트의 행동 설명은 AI 개발이 이루어지는 환경, 즉 기존 작업 프로세스, 구조, 계층, 그리고 레거시 기술에 의해 더욱 복잡해진다.

These challenges have prompted calls for human-centered and pragmatic approaches to explainability (Mittelstadt et al., 2019; Ribera & Lapedriza, 2019).

이러한 도전 과제는 인간 중심적이고 실용적인 설명 가능성 접근법에 대한 요구를 촉발하였다(Mittelstadt et al., 2019; Ribera & Lapedriza, 2019).

This invites us to approach explainability from a sociotechnical perspective to account for the interconnected nature of technology, humans, processes, and organizational arrangements, and thereby give balanced attention to instrumental and humanistic outcomes of technology alike (Sarker et al., 2019).

이는 기술, 인간, 프로세스 및 조직적 배열의 상호 연결된 특성을 고려하기 위해 설명 가능성을 사회기술적 관점에서 접근할 것을 요구하며, 이를 통해 기술의 도구적 결과와 인간 중심적 결과 모두에 균형 있는 주의를 기울이도록 한다(Sarker et al., 2019).

It is against this backdrop that we set out to address the following research question (RQ): How can an organization exploit inscrutable AI systems in a safe and socially responsible manner?

이러한 배경을 바탕으로 우리는 다음 연구 질문(RQ)에 답하고자 한다: 조직은 이해하기 어려운 AI 시스템을 안전하고 사회적으로 책임 있는 방식으로 활용할 수 있는가?

Our inquiry was inspired by a desire to understand how organizations cope with AI models’ inscrutability when facing explainability demands.

우리의 연구는 조직이 설명 가능성 요구에 직면했을 때 AI 모델의 난해함에 어떻게 대처하는지 이해하고자 하는 열망에서 영감을 받았다.

The sociotechnical nature of the problem became apparent during the early phases of a research project at the case organization.

이 문제의 사회기술적 성격은 사례 조직에서의 연구 프로젝트 초기 단계에서 분명해졌다.

We observed a need to integrate the organization’s social side (people, processes, and organizational structures) with its technical elements (information technology and AI systems) synergistically if the organization wished to take advantage of a wider array of AI models, including some of the inscrutable models available.

우리는 조직이 사용할 수 있는 일부 난해한 모델을 포함하여 더 다양한 AI 모델을 활용하고자 한다면, 조직의 사회적 측면(사람, 프로세스, 조직 구조)을 기술적 요소(정보 기술 및 AI 시스템)와 시너지 효과를 내며 통합할 필요가 있음을 관찰했다.

This pursuit involved two types of goals, explainability- and performance-oriented goals, which, in the case of AI implementation, present conflicting demands.

이 추구는 설명 가능성 지향 목표와 성능 지향 목표라는 두 가지 유형의 목표를 포함하며, 이는 AI 구현의 경우 상충하는 요구를 제기한다.

Here, we draw on Sarker et al.’s (2019) concepts of instrumental and humanistic outcomes of information-system implementation to analyze the well-known tradeoff between explainability and accuracy.

여기에서 우리는 정보 시스템 구현의 도구적 결과와 인간 중심적 결과라는 Sarker et al.(2019)의 개념을 활용하여 설명 가능성과 정확성 간의 잘 알려진 트레이드오프를 분석한다.

In its development of powerful AI models, the organization sought instrumentally oriented outcomes (better performance and greater efficiency) but also needed to cater to humanistic outcomes by making sure that the use of such models would not diminish human agency or harm people affected by the models’ use.

강력한 AI 모델 개발에서 조직은 도구적 결과(더 나은 성능과 더 큰 효율성)를 추구했지만, 이러한 모델의 사용이 인간의 주체성을 감소시키거나 모델 사용에 영향을 받는 사람들에게 피해를 주지 않도록 보장함으로써 인간 중심적 결과를 충족할 필요가 있었다.

As we drilled down to precisely how the organization addressed both sets of desired outcomes, envelopment emerged as an illuminating lens for conceptualizing the various approaches.

조직이 원하는 두 가지 결과를 모두 어떻게 해결했는지를 정확히 분석하면서, 포괄(envelopment)은 다양한 접근법을 개념화하기 위한 유용한 렌즈로 등장했다.

This concept—envelopment of AI—has recently emerged as a potentially useful approach to cope with the explainability challenges described above (Robbins, 2020).

이 AI 포괄 개념은 위에서 설명한 설명 가능성 문제에 대처하기 위한 잠재적으로 유용한 접근법으로 최근 등장했다(Robbins, 2020).

It suggests that, by controlling the training data carefully, appropriately choosing both input and output data, and specifying other boundary conditions mindfully, one may permit even inscrutable AI to make decisions, because these specific precautions erect a predictable envelope around the agent’s virtual maneuvering space.

이는 훈련 데이터를 신중히 관리하고, 입력 및 출력 데이터를 적절히 선택하며, 다른 경계 조건을 신중히 지정함으로써 설명하기 어려운 AI조차도 결정을 내릴 수 있도록 허용할 수 있음을 시사하며, 이러한 구체적인 예방 조치는 에이전트의 가상 작업 공간 주변에 예측 가능한 경계를 설정한다.

Thus far, however, envelopment has been illustrated in only a handful of contexts (e.g., autonomous driving, playing Go, and recommending apparel) and on a conceptual level only; thus, relatively limited insights have been presented for tackling explainability challenges in complex real-world organizations.

그러나 지금까지 포괄(envelopment)은 자율주행, 바둑 게임, 의류 추천과 같은 몇 가지 맥락에서만 개념적 수준으로 설명되었으며, 따라서 복잡한 현실 조직에서 설명 가능성 문제를 해결하기 위한 통찰은 상대적으로 제한적으로 제시되었다.

To address this gap, we describe how envelopment is practiced in one pioneering organization that has embarked on utilizing AI in its operations, and we show that envelopment is fundamental to enabling an organization to use inscrutable systems safely even in settings that necessitate explainability.

이 간극을 해결하기 위해, 우리는 AI를 운영에 활용하기 시작한 선구적 조직에서 포괄이 어떻게 실천되는지를 설명하고, 포괄이 설명 가능성이 요구되는 환경에서도 조직이 난해한 시스템을 안전하게 사용할 수 있도록 하는 데 필수적임을 보여준다.

Further, we deepen the concept of envelopment by showing how it emerges via sociotechnical interactions in a complex organizational setting.

더 나아가, 우리는 복잡한 조직 환경에서 포괄이 사회기술적 상호작용을 통해 어떻게 나타나는지를 보여줌으로써 이 개념을 심화한다.

With the empirical findings presented here, we argue that the sociotechnical envelopment concept has widespread relevance and offers tools to mitigate many challenges that stand in the way of making the most of advanced AI systems.

여기에서 제시된 실증적 연구 결과를 바탕으로, 우리는 사회기술적 포괄 개념이 광범위한 관련성을 가지며, 첨단 AI 시스템을 최대한 활용하는 데 방해가 되는 많은 문제를 완화할 수 있는 도구를 제공한다고 주장한다.

2. Review of the Literature and Theory Development

This section offers a review of lessons already learned from organizational AI implementations and their sociotechnical underpinnings.

이 절에서는 조직 내 AI 구현과 그 사회기술적 기초에서 이미 얻은 교훈을 검토한다.

Also, we address the properties of good explanations and provide a more detailed picture of the envelopment concept.

또한, 좋은 설명의 특성을 다루고 포괄(envelopment) 개념에 대한 보다 구체적인 그림을 제시한다.

2.1 A Sociotechnical Approach to Organizational AI

The recent emergence and proliferation of new generations of ML tools have reawakened interest in organizational AI research (Faraj et al., 2018; Keding, 2021; Sousa et al., 2019).

최근 새로운 세대의 ML 도구의 등장과 확산은 조직 AI 연구에 대한 관심을 다시 불러일으켰다(Faraj et al., 2018; Keding, 2021; Sousa et al., 2019).

Like human intelligence, AI is notoriously difficult to define as a concept.

인공지능은 인간 지능과 마찬가지로 개념적으로 정의하기 매우 어렵다.

For the purposes of our study, we follow Kaplan and Haenlein (2019) in defining AI as a “system’s ability to interpret external data correctly, to learn from such data, and to use those learnings to achieve specific goals” (p. 17).

우리 연구의 목적을 위해 Kaplan과 Haenlein(2019)의 정의를 따르며, AI를 “외부 데이터를 올바르게 해석하고, 그러한 데이터로부터 학습하며, 이러한 학습을 특정 목표를 달성하는 데 사용하는 시스템의 능력”으로 정의한다(p. 17).

Complementing conceptual works, empirical studies on the topic have started to appear (e.g., Ghasemaghaei, Ebrahimi, & Hassanein, 2018; Salovaara et al., 2019; Schneider & Leyer, 2019).

개념적 연구를 보완하는 실증 연구도 점차 등장하기 시작했다(Ghasemaghaei, Ebrahimi, & Hassanein, 2018; Salovaara et al., 2019; Schneider & Leyer, 2019).

The papers have increasingly shifted the position of AI research from a largely technical one to a perspective encompassing the social component (Ågerfalk, 2020).

이 논문들은 AI 연구의 초점이 주로 기술적 관점에서 사회적 요소를 포함하는 관점으로 점점 이동하고 있음을 보여준다(Ågerfalk, 2020).

Whereas the technical facet involves the information systems (IS) angle, IT infrastructure, and platforms, the social aspect brings in people, work processes, organizational arrangements, and cultural and societal factors (Sarker et al., 2019).

기술적 측면이 정보 시스템(IS) 관점, IT 인프라 및 플랫폼을 포함하는 반면, 사회적 측면은 사람들, 작업 프로세스, 조직적 배열, 문화적 및 사회적 요인을 포함한다(Sarker et al., 2019).

Although scholars have discussed issues such as replacing humans with machines versus augmenting humans’ capabilities (e.g., Davenport, 2016; Jarrahi, 2018; Raisch & Krakowski, in press), there is still little critical empirical work investigating the human aspects involved with deploying and managing AI in organizations (Keding, 2021).

학자들은 인간을 기계로 대체하는 문제와 인간의 능력을 증강하는 문제(Davenport, 2016; Jarrahi, 2018; Raisch & Krakowski, 출판 예정)에 대해 논의해 왔지만, 조직 내 AI의 배치 및 관리에 수반되는 인간적 측면을 조사하는 비판적 실증 연구는 여전히 부족하다(Keding, 2021).

Research on organizations’ implementation and use of AI and other forms of automated decision-making has highlighted some recurrent patterns.

조직의 AI 및 기타 형태의 자동화된 의사결정 구현과 사용에 관한 연구는 몇 가지 반복적인 패턴을 강조해 왔다.

First, AI’s mindless and, thereby, error-prone nature necessitates careful control of the AI’s agency and autonomy in the implementation.

첫째, AI의 무의식적이고 따라서 오류 발생 가능성이 높은 특성은 AI의 대리성과 자율성을 구현 과정에서 신중하게 통제할 필요가 있다.

Humans can serve as important counterweights in this equation (Butler & Gray, 2006; Pääkkönen et al., 2020; Salovaara et al., 2019).

이 방정식에서 인간은 중요한 균형추 역할을 할 수 있다(Butler & Gray, 2006; Pääkkönen et al., 2020; Salovaara et al., 2019).

The division of labor and knowledge between humans and AI can be arranged in various ways whereby organizations can balance rigidity and predictability against flexibility and creative problem-solving (Asatiani et al., 2019; Lyytinen et al., in press).

인간과 AI 간의 작업 분담과 지식 공유는 다양한 방식으로 조직될 수 있으며, 이를 통해 조직은 경직성과 예측 가능성을 유연성과 창의적 문제 해결과 균형을 이룰 수 있다(Asatiani et al., 2019; Lyytinen et al., 출판 예정).

Second, organizations’ AI agents interact with many types of human stakeholders, each with a particular dependence on AI and distinct abilities to understand its operation (Gregor & Benbasat, 1999; Preece, 2018; Weller, 2019).

둘째, 조직의 AI 에이전트는 다양한 유형의 인간 이해관계자들과 상호작용하며, 이들은 각각 AI에 대한 특정 의존성을 가지고 있고, AI의 작동을 이해하는 능력도 다르다(Gregor & Benbasat, 1999; Preece, 2018; Weller, 2019).

Studies indicate that AI is rarely considered a “plug-and-play” technology and that an organization deploying it requires a clear implementation strategy that takes into account the wide spectrum of stakeholders (Keding, 2021).

연구에 따르면, AI는 “플러그 앤 플레이” 기술로 간주되는 경우가 거의 없으며, 이를 배치하는 조직은 광범위한 이해관계자를 고려하는 명확한 구현 전략이 필요하다(Keding, 2021).

For instance, since the impact of AI’s implementation varies greatly between stakeholders, decisions to decouple stakeholders from the process of designing, implementing, and using it increase the likelihood of unethical conduct and breach of social contracts, often leading to the systems’ ultimate failure (Wright & Schultz, 2018).

예를 들어, AI 구현의 영향이 이해관계자 간에 크게 다르기 때문에, 설계, 구현, 사용 과정에서 이해관계자를 배제하려는 결정은 비윤리적 행위와 사회적 계약 위반 가능성을 높이며, 이는 종종 시스템의 궁극적 실패로 이어진다(Wright & Schultz, 2018).

Collectively, the literature on organizational AI shows how important it is for organizations to balance the risks associated with AI against the efficiency gains that may be reaped.

조직 AI에 관한 문헌은 조직이 AI와 관련된 위험을 효율성 향상과 균형 있게 관리하는 것이 얼마나 중요한지 보여준다.

These considerations also show that organizational AI deployment entails a significant amount of coordination and mutual adaptation between humans and AI and is thus inescapably a matter of sociotechnical organization design (Pääkkönen et al., 2020).

이러한 고려 사항은 또한 조직의 AI 배치가 인간과 AI 간의 상당한 조율과 상호 적응을 수반하며, 따라서 이는 사회기술적 조직 설계의 문제임을 보여준다(Pääkkönen et al., 2020).

Those advocating a sociotechnical approach maintain that attention must be given both to the technical artifacts and to the individuals/collectives that develop and utilize the artifacts in social (e.g., psychological, cultural, and economic) contexts (Bostrom et al., 2009; Briggs et al., 2010).

사회기술적 접근법을 지지하는 이들은 기술적 산물뿐만 아니라 이를 사회적(예: 심리적, 문화적, 경제적) 맥락에서 개발하고 활용하는 개인/집단에도 주의를 기울여야 한다고 주장한다(Bostrom et al., 2009; Briggs et al., 2010).

In a corollary to this, taking a sociotechnical stance is aimed at meeting instrumental objectives (e.g., effectiveness and accuracy of the model or other artifact developed) and humanistic objectives (e.g., engaging users and retaining employee skills) alike (Mumford, 2006).

이에 따라 사회기술적 관점은 도구적 목표(예: 개발된 모델 또는 기타 산물의 효율성과 정확성)와 인간 중심적 목표(예: 사용자 참여 및 직원 기술 유지)를 동시에 충족하는 것을 목표로 한다(Mumford, 2006).

Sarker et al. (2019) have reviewed the intricate ways in which the social and the technical may become interwoven such that neither the social nor technical aspects come to dominate.

Sarker et al.(2019)는 사회적 측면과 기술적 측면이 서로 얽혀 어느 한쪽도 지배적이지 않은 복잡한 방식을 검토하였다.

They show that this relationship is quite varied, and they demonstrate this by presenting examples of reciprocal as well as moderating influence, inscription of the social in the technical, entanglement, and imbrication.

이들은 이러한 관계가 매우 다양하다는 것을 보여주며, 상호적 및 조정적 영향을 포함하여 사회적 요소가 기술에 새겨지는 과정, 얽힘, 중첩의 예를 제시하며 이를 입증한다.

For instance, from the perspective of reciprocal influence, technology and organizational arrangements may be seen to coevolve throughout an IS implementation as they mutually appropriate each other (Benbya & McKelvey, 2006).

예를 들어, 상호적 영향 관점에서 기술과 조직적 배열은 정보 시스템(IS) 구현 전반에 걸쳐 서로를 적절히 조정하며 함께 진화하는 것으로 볼 수 있다(Benbya & McKelvey, 2006).

From the sociomaterial perspective of imbrication, in turn, humans and technologies are viewed as agencies whose abilities interlock to produce routines and other stable emergent processes.

반면, 중첩(imbrication)의 사회물질적 관점에서는 인간과 기술이 상호 결합하여 루틴 및 기타 안정적인 발생 프로세스를 생성하는 주체로 간주된다.

2.2 Challenges of Inscrutable AI

As noted in the introduction, complex AI models often promise better performance than simple ones, but such models also tend to lack transparency, and their outputs can be hard or even impossible to explain.

서론에서 언급했듯이, 복잡한 AI 모델은 단순한 모델보다 더 나은 성능을 약속하는 경우가 많지만, 이러한 모델은 투명성이 부족하며 출력 결과를 이해하거나 설명하기 어려운 경우가 많다.

Writings on AI explainability often employ the interrelated concepts of transparency, interpretability, and explainability in efforts to disentangle the threads of this problem.

AI 설명 가능성에 관한 논문들은 종종 이 문제의 실타래를 풀기 위해 투명성, 해석 가능성, 설명 가능성이라는 상호 관련된 개념을 사용한다.

Transparency refers to the possibility of monitoring AI-internal operations—e.g., tracing the paths via which the AI reaches its conclusions (Rosenfeld & Richardson, 2019; Sørmo et al., 2005).

투명성은 AI의 내부 작동을 모니터링할 수 있는 가능성, 예를 들어 AI가 결론에 도달하는 경로를 추적할 수 있는 능력을 의미한다(Rosenfeld & Richardson, 2019; Sørmo et al., 2005).

Its opposite is opacity, a property of “black-box” systems, which hide the decision process from users and sometimes even from the system’s developers (Lipton, 2018).

그 반대 개념은 “블랙박스” 시스템의 특성인 불투명성으로, 이는 사용자뿐만 아니라 때로는 시스템 개발자에게도 의사결정 과정을 숨긴다(Lipton, 2018).

The two other concepts—interpretability and explainability—refer to the AI outputs’ understandability for a human (e.g., Doshi-Velez & Kim, 2017; Miller, 2019).

다른 두 개념인 해석 가능성과 설명 가능성은 인간이 AI의 출력 결과를 이해할 수 있는 정도를 의미한다(Doshi-Velez & Kim, 2017; Miller, 2019).

On occasion, the terms are used interchangeably (e.g., Došilović et al., 2018; Liu et al., 2020) while sometimes authors employ separate definitions.

때로는 이 용어들이 혼용되기도 하고(예: Došilović et al., 2018; Liu et al., 2020), 다른 경우에는 별도로 정의되기도 한다.

Often, interpretability has strong technical connotations while explainability is more human-centered in nature and hence a more sociotechnically oriented concept.

대개 해석 가능성은 강한 기술적 의미를 가지는 반면, 설명 가능성은 더 인간 중심적 성격을 가지며, 따라서 더 사회기술적으로 지향된 개념이다.

Many of the more traditional AI models, such as linear regression, with its handling of only a limited number of known input variables, and decision trees, which can display the if-then sequence followed, are considered explainable.

선형 회귀처럼 제한된 수의 알려진 입력 변수를 처리하거나, if-then 순서를 보여줄 수 있는 의사결정 나무와 같은 전통적인 AI 모델들은 대체로 설명 가능하다고 간주된다.

However, more and more of today’s AI models are so complex that explainability is rendered virtually impossible.

그러나 오늘날의 AI 모델은 점점 더 복잡해지고 있어, 설명 가능성을 사실상 불가능하게 만들고 있다.

For instance, when a traditional decision-tree model is “boosted” via a machine-learning technique called gradient boosting, its performance improves but its behavior becomes far more difficult to explain.

예를 들어, 전통적인 의사결정 나무 모델이 그래디언트 부스팅이라는 기계 학습 기법을 통해 “부스팅”될 경우, 성능은 향상되지만 작동 방식은 훨씬 더 설명하기 어려워진다.

Other examples of highly accurate models that lack explainability are deep and recurrent neural networks, complexly layered computing systems whose structure resembles that of the biological networks of a brain’s neurons.

설명 가능성이 부족하지만 높은 정확성을 가진 다른 예는 깊고 반복적인 신경망으로, 이들은 뇌의 뉴런 생물학적 네트워크와 유사한 구조를 가진 복잡하게 계층화된 컴퓨팅 시스템이다.

Then, one deems them inscrutable (Dourish, 2016; Martin, 2019), referring to situations wherein the system’s complexity outstrips practical means of analyzing it comprehensively.

그리하여, 이러한 모델들은 난해하다고 여겨지며(Dourish, 2016; Martin, 2019), 이는 시스템의 복잡성이 이를 종합적으로 분석할 수 있는 실질적 수단을 초과하는 상황을 의미한다.

A recent open-domain chatbot developed at Google, which has 2.6 billion free parameters in its deep neural network (Adiwardana et al., 2020), is an extreme example of an AI system whose inner workings are inscrutable for humans even if they are transparent.

구글에서 개발한 최근의 오픈 도메인 챗봇은 26억 개의 자유 매개변수를 가진 심층 신경망을 기반으로 하고 있으며(Adiwardana et al., 2020), 이는 투명성을 갖추고 있다 하더라도 그 내부 작동 방식이 인간에게 난해한 AI 시스템의 극단적 사례이다.

Unrestrained use of inscrutable systems can be problematic.

난해한 시스템을 제약 없이 사용하는 것은 문제가 될 수 있다.

Humans interacting with such systems are unable to validate whether the decisions made by the system correspond to real-world requirements and adhere to legal or ethics norms (Rosenfeld & Richardson, 2019).

이러한 시스템과 상호작용하는 인간은 시스템이 내린 결정이 실제 세계의 요구 사항에 부합하고 법적 또는 윤리적 기준을 준수하는지 검증할 수 없다(Rosenfeld & Richardson, 2019).

The issue is far from academic; after all, reliance on inscrutable systems could lead to systematic biases in decision-making, completely invisible to humans interacting with or affected by the system (Došilović et al., 2018).

이 문제는 단순히 학문적 논의에 그치지 않는다. 결국 난해한 시스템에 대한 의존은 의사결정에서 체계적인 편향을 초래할 수 있으며, 이는 시스템과 상호작용하거나 영향을 받는 인간에게 완전히 보이지 않을 수 있다(Došilović et al., 2018).

In consequence, organizations intending to deploy AI systems face an explainability-accuracy tradeoff (Došilović et al., 2018; Linden et al., 2019; London, 2019; Martens et al., 2011; Rosenfeld & Richardson, 2019).

결과적으로, AI 시스템을 배치하려는 조직은 설명 가능성과 정확성 간의 트레이드오프에 직면하게 된다(Došilović et al., 2018; Linden et al., 2019; London, 2019; Martens et al., 2011; Rosenfeld & Richardson, 2019).

On the one hand, complex models with greater flexibility, such as deep neural networks, often yield more accurate predictions than do simple ones such as linear regression or decision trees.

한편으로, 심층 신경망과 같이 더 큰 유연성을 가진 복잡한 모델은 선형 회귀나 의사결정 나무와 같은 단순한 모델보다 더 정확한 예측을 산출하는 경우가 많다.

On the other hand, simple models are usually easier for humans to interpret and explain.

다른 한편으로, 단순한 모델은 대개 인간이 더 쉽게 해석하고 설명할 수 있다.

The tradeoff that seems to exist between explainability and accuracy forces the design to prioritize one over the other: an organization wishing to reduce the risks associated with inscrutable AI must settle for AI models with a high degree of explainability.

설명 가능성과 정확성 간에 존재하는 것으로 보이는 이 트레이드오프는 설계가 둘 중 하나를 우선하도록 강요하며, 난해한 AI와 관련된 위험을 줄이려는 조직은 높은 수준의 설명 가능성을 가진 AI 모델을 선택해야 한다.

Figure 1 illustrates this tradeoff, following depictions by Linden et al. (2019) and Rosenfeld and Richardson (2019).

그림 1은 Linden et al.(2019) 및 Rosenfeld와 Richardson(2019)의 묘사를 따라 이 트레이드오프를 보여준다.

Figure 1. The Explainability-Accuracy Tradeoff

One approach recently introduced to address the risks brought by black-boxed systems is envelopment.

최근에 블랙박스 시스템이 가져오는 위험을 해결하기 위해 도입된 접근법 중 하나는 포괄(envelopment)이다.

In recognition of its potential for managing the explainability-accuracy tradeoff, the following section delves into the suggestions that researchers have presented in relation to this approach.

설명 가능성과 정확성 간의 트레이드오프를 관리할 수 있는 잠재력을 인식하며, 다음 절에서는 이 접근법과 관련해 연구자들이 제시한 제안들을 자세히 살펴본다.

2.3 Envelopment

As noted above, we identified envelopment (Floridi, 2011; Robbins, 2020) as a suitable sensemaking concept when examining the domain of organizational AI development.

앞서 언급했듯이, 조직의 AI 개발 영역을 검토할 때 포괄(envelopment)을 적절한 의미 부여 개념으로 확인하였다(Floridi, 2011; Robbins, 2020).

In its original context in robotics, a work envelope is “the set of points representing the maximum extent or reach of the robot hand or working tool in all directions” (RIA Robotics Glossary, 73; cited by Scheel, 1993, p. 30).

로봇 공학에서 본래의 맥락에서 작업 영역(work envelope)은 “로봇 팔이나 작업 도구가 모든 방향으로 닿을 수 있는 최대 범위를 나타내는 점들의 집합”을 의미한다(RIA Robotics Glossary, 73; Scheel, 1993, p. 30에서 인용).

Robots’ work envelopes, often presented as shaded regions on factories’ floor maps and as striped areas on factory floors, are a practical solution for fulfilling what is known as the “principle of requisite variety” (Ashby, 1958)—i.e., meeting the requirement that the number of states of a robot’s logic be larger than the number of environmental states in which it operates.

로봇의 작업 영역은 종종 공장 바닥 지도에서 음영 처리된 영역이나 공장 바닥의 줄무늬 영역으로 표시되며, 이는 “필수 다양성의 원칙”(Ashby, 1958)을 충족하기 위한 실용적인 해결책이다. 이는 로봇 논리 상태의 수가 로봇이 작동하는 환경 상태의 수보다 많아야 한다는 요구를 의미한다.

If a robot acts in an environment whose complexity exceeds its comprehension, it will pose a risk to the surroundings.

로봇이 자신의 이해 능력을 초과하는 복잡성을 가진 환경에서 작동할 경우, 이는 주변 환경에 위험을 초래할 것이다.

Work envelopes—areas that no other actors will enter—can guarantee that the physical environment of the robot is simplified sufficiently (i.e., that the number of possible states of the environment is reduced enough).

작업 영역은 다른 행위자가 들어오지 않는 구역으로, 로봇의 물리적 환경이 충분히 단순화되도록 보장할 수 있다(즉, 환경의 가능한 상태 수가 충분히 줄어들도록 한다).

Through this modification, the robot can handle those states that still need to be controlled, thereby fulfilling the principle of requisite variety.

이러한 수정 작업을 통해 로봇은 여전히 제어가 필요한 상태를 처리할 수 있으며, 이로써 필수 다양성의 원칙을 충족한다.

In addition to physical parameters, a robot’s envelope may be specified by means of time thresholds, required capabilities/responsibilities, and accepted tasks (McBride & Hoffman, 2016, p. 79).

물리적 매개변수 외에도 로봇의 작업 영역은 시간 임계값, 요구되는 능력/책임, 수락된 작업 등을 통해 지정될 수 있다(McBride & Hoffman, 2016, p. 79).

These parameters are dynamic: when a robot faces new problems, the envelope parameters are adjusted to accommodate what the requisite variety now entails (p. 81).

이러한 매개변수는 동적이다. 로봇이 새로운 문제에 직면하면 작업 영역의 매개변수는 필수 다양성이 요구하는 바를 수용할 수 있도록 조정된다(p. 81).

Our research is a continuation of work wherein this concept has been applied to cases that involve humans and nonphysical work performed by AI agents.

우리의 연구는 이 개념이 인간과 AI 에이전트에 의해 수행되는 비물리적 작업을 포함하는 사례에 적용된 연구의 연속이다.

In this context, the envelope is not physically specified but relates to the realm of information processing.

이러한 맥락에서 작업 영역은 물리적으로 정의되지 않으며, 정보 처리 영역과 관련이 있다.

This domain change notwithstanding, there remains a need for collaboration with a human partner who maintains the envelope and thus guarantees the safety and correctness of the AI’s operation (Floridi, 2011).

이와 같은 영역 변경에도 불구하고, 작업 영역을 유지하고 AI의 작동 안전성과 정확성을 보장하는 인간 파트너와의 협업 필요성은 여전히 존재한다(Floridi, 2011).

Also, the underlying principle of requisite variety continues to persist, meaning that the AI should not be used for tasks it cannot master and that it should not be trained with data irrelevant to the tasks.

또한, 필수 다양성의 기본 원칙은 여전히 유효하며, 이는 AI가 숙달할 수 없는 작업에 사용되어서는 안 되며, 작업과 무관한 데이터로 훈련되어서도 안 된다는 것을 의미한다.

Such undesired effects—“excessive risks” in Figure 1—can manifest themselves in several forms, among them erroneous input-action mappings, ethics dilemmas that an AI agent should not be allowed to tackle by itself, and behaviors that demonstrate bias (e.g., Robbins, 2020).

그림 1의 “과도한 위험”으로 나타난 이러한 바람직하지 않은 효과는 잘못된 입력-행동 매핑, AI 에이전트가 스스로 해결해서는 안 되는 윤리적 딜레마, 그리고 편향을 드러내는 행동 등 여러 형태로 나타날 수 있다(예: Robbins, 2020).

Even if the realization of such risks does not impair the financial bottom line or operations’ efficiency, it can result in problematic humanistic outcomes.

이러한 위험이 실현되더라도 재정적 손익이나 운영 효율성을 손상시키지 않는 경우가 있을 수 있지만, 문제적인 인간 중심 결과를 초래할 수 있다.

For example, an AI system that processes job applications to identify the most promising candidates may increase the efficiency of an HR department, and consistently identify candidates that meet requirements for the position.

예를 들어, 지원서를 처리하여 가장 유망한 후보자를 식별하는 AI 시스템은 HR 부서의 효율성을 높이고, 일관되게 직무 요구 사항을 충족하는 후보자를 식별할 수 있다.

At the same time, the system could consistently discriminate against certain groups of applicants who would otherwise qualify because of a bias in an underlying model.

동시에, 시스템은 기본 모델의 편향으로 인해 원래는 적격일 수 있었던 특정 지원자 그룹을 일관되게 차별할 수 있다.

In such scenarios, AI actions may not impact the bottom line of the company, at least in the short term, but may be nevertheless problematic.

이러한 상황에서 AI의 행동은 적어도 단기적으로는 회사의 재정적 결과에 영향을 미치지 않을 수 있지만, 여전히 문제가 될 수 있다.

Envelopment can be advanced via several methods.

포괄(envelopment)은 여러 방법을 통해 발전시킬 수 있다.

Figure 2 presents our interpretation of the five methods that Robbins (2020) articulated.

그림 2는 Robbins(2020)이 제시한 다섯 가지 방법에 대한 우리의 해석을 보여준다.

Figure 2. Illustration of AI Envelopment Methods Suggested by Robbins (2020)

We summarize them below, then build on them in relation to our study.

이 방법들을 아래에서 요약하고, 우리 연구와 관련하여 이를 기반으로 논의한다.

Boundary envelopes represent the most general of the envelopment methods.

경계 포괄(boundary envelope)은 포괄 방법 중 가장 일반적인 방법을 나타낸다.

The envelope delineates where the AI operates—for example, only analyzing images of human faces photographed in good lighting conditions.

이 포괄은 AI가 작동하는 범위를 정의하며, 예를 들어 좋은 조명 조건에서 촬영된 인간 얼굴 이미지만을 분석하는 경우를 들 수 있다.

An AI model enveloped in this way will not encounter any tasks other than those carefully designated for it (condition A in Figure 2).

이와 같이 포괄된 AI 모델은 철저히 지정된 작업 외에는 어떤 작업도 접하지 않게 된다(그림 2의 조건 A).

Robbins (2020) takes the design of a robot vacuum cleaner as an example.

Robbins(2020)은 로봇 진공청소기의 설계를 예로 든다.

Its boundary envelopment mechanism means that the robot does not need to be able to avoid threats that never exist in indoor domestic spaces (e.g., puddles of water).

로봇의 경계 포괄 메커니즘은 실내 가정 공간에 존재하지 않는 위협(예: 물 웅덩이)을 회피할 필요가 없음을 의미한다.

The benefit of boundary envelopment is that the AI does not need to incorporate methods to recognize whether the agent is being made to operate in scenarios that extend beyond its ability to comprehend the surroundings (i.e., requisite variety).

경계 포괄의 이점은 AI가 에이전트가 주변 환경을 이해할 수 있는 능력을 초과하는 시나리오에서 작동하도록 강제되고 있는지를 인식하는 방법을 통합할 필요가 없다는 점이다(즉, 필수 다양성).

Among the other envelopment methods are three that refer to the notion of what content the AI will manipulate (Robbins, 2020).

기타 포괄 방법 중 세 가지는 AI가 처리할 콘텐츠의 개념과 관련된다(Robbins, 2020).

The first of them is the training-data envelope, related to the curation of the correct input-output mappings with which the AI model is trained.

그 중 첫 번째는 훈련 데이터 포괄(training-data envelope)로, AI 모델이 훈련되는 올바른 입력-출력 매핑의 관리와 관련이 있다.

Robbins cites biases and other representativeness problems (“B” in Figure 2) as particularly likely to propagate or uphold societal stereotypes if the envelope is not handled properly.

Robbins는 포괄이 적절히 처리되지 않을 경우 편향 및 기타 대표성 문제(그림 2의 “B”)가 특히 사회적 고정관념을 확산하거나 유지할 가능성이 높다고 지적한다.

Input envelopes, in turn, address the technical details of inputs to the AI.

입력 포괄(input envelope)은 AI에 제공되는 입력의 기술적 세부 사항을 다룬다.

For example, in Robbins’s example, a recommendation AI uses various pieces of weather and user data (e.g., temperature, real-time weather status, and the user’s calendar) to produce clothing recommendations (e.g., the suggestion to wear a raincoat).

예를 들어, Robbins의 사례에서는 추천 AI가 기온, 실시간 날씨 상태, 사용자의 캘린더와 같은 여러 날씨 및 사용자 데이터를 사용하여 의류 추천(예: 우비 착용 제안)을 생성한다.

For good results, the data should arrive from sources that are high quality, noise free, and of appropriate granularity.

좋은 결과를 위해 데이터는 높은 품질, 잡음 없음, 적절한 세분성을 가진 출처에서 제공되어야 한다.

Input envelopment limits input channels to those that meet appropriate criteria in this regard and prevents poorly understood sources from affecting the model’s behavior.

입력 포괄은 이와 관련하여 적절한 기준을 충족하는 입력 채널로 제한하며, 잘 이해되지 않은 출처가 모델의 행동에 영향을 미치는 것을 방지한다.

The third envelopment method in the “what” category is the use of output envelopes.

“무엇” 카테고리에서 세 번째 포괄 방법은 출력 포괄(output envelope)의 사용이다.

These define the set of actions that may be performed within the realm of the AI’s operation.

이는 AI의 작동 영역 내에서 수행될 수 있는 행동의 집합을 정의한다.

In the case of an autonomously driving car, the outputs might be specified as speeding up, turning the wheels, and braking.

자율주행 자동차의 경우, 출력은 가속, 조향, 제동으로 지정될 수 있다.

Even if speeding would be technically possible and sometimes useful, it presents risks to passengers and other traffic.

속도 초과가 기술적으로 가능하고 때로는 유용할 수 있더라도, 이는 승객 및 다른 교통수단에 위험을 초래한다.

Therefore, that output is enveloped out of an autonomous car’s actions.

따라서 그러한 출력은 자율주행 자동차의 행동에서 배제된다.

In Figure 2, “C” and “D” illustrate the input- and output-envelopment methods described above.

그림 2에서 “C”와 “D”는 위에서 설명한 입력 및 출력 포괄 방법을 나타낸다.

The fifth and final method, use of a function envelope, addresses the question of why the AI exists and what goals and ethics it has been designed to advance.

다섯 번째이자 마지막 방법인 기능 포괄(function envelope)의 사용은 AI가 왜 존재하며, 어떤 목표와 윤리를 발전시키기 위해 설계되었는지를 다룬다.

This category of envelopment is applied to limit the AI’s use for malicious or otherwise problematic purposes, even in cases wherein it operates correctly.

이 포괄 범주는 AI가 올바르게 작동하는 경우에도 악의적이거나 기타 문제 있는 목적으로 사용되는 것을 제한하는 데 적용된다.

For example, the functions of conversational home assistants such as Echo or Alexa are limited to only a small set of domestic activities to avoid privacy infringements (Robbins, 2020).

예를 들어, Echo 또는 Alexa와 같은 대화형 홈 어시스턴트의 기능은 프라이버시 침해를 방지하기 위해 제한된 소규모 가정 활동으로 국한된다(Robbins, 2020).

Such filtering out of functions is denoted as “E” in Figure 2.

기능의 이러한 필터링은 그림 2에서 “E”로 표시된다.

Robbins suggests that with such variety of envelopment methods available, one can either overcome some problems connected with black-box AI or neutralize their effects.

Robbins는 이러한 다양한 포괄 방법을 사용하여 블랙박스 AI와 관련된 일부 문제를 극복하거나 그 영향을 중화할 수 있다고 제안한다.

Our work is thus informed by the envelopment concept, and we consider its applicability in complex and emergent sociotechnical settings.

따라서 우리의 연구는 포괄 개념에 의해 정보를 얻었으며, 복잡하고 새롭게 부상하는 사회기술적 환경에서의 적용 가능성을 고려한다.

In particular, we maintain that humans play an important role in an AI agent’s envelopment and in how it is organized by striving to guarantee that the AI does not face tasks it is unable to process or interpret correctly—where the problems exceed its requisite variety (e.g., Salovaara et al., 2019).

특히, 우리는 인간이 AI 에이전트의 포괄 및 조직 방식에서 중요한 역할을 한다고 주장하며, 이는 AI가 필수 다양성을 초과하는 문제를 처리하거나 올바르게 해석할 수 없는 작업에 직면하지 않도록 보장하는 데 노력함으로써 이루어진다(예: Salovaara et al., 2019).

Next, we report on our case study.

다음으로, 우리는 사례 연구에 대해 보고한다.

3. The Case Study: Machine Learning in a Governmental Setting

To examine how an organization may tackle explainability challenges, we conducted an exploratory case study at a government agency that actively pursues the deployment of AI via several ML projects.

조직이 설명 가능성 문제를 어떻게 해결할 수 있는지 검토하기 위해, 우리는 여러 ML 프로젝트를 통해 AI 배치를 적극적으로 추진하는 정부 기관에서 탐색적 사례 연구를 수행하였다.

We selected a case organization with both extensive capabilities to develop AI/ML tools and a commitment to accountability and explainability.

우리는 AI/ML 도구를 개발할 수 있는 광범위한 역량과 책임성과 설명 가능성에 대한 확고한 의지를 갖춘 사례 조직을 선택하였다.

3.1 The Study Setting

The Danish Business Authority (DBA) is a government entity operating under the Ministry of Industry, Business, and Financial Affairs of Denmark.

덴마크 비즈니스청(DBA)은 덴마크 산업·비즈니스·재무부 산하에서 운영되는 정부 기관이다.

It has approximately 700 employees and is based in Copenhagen, with satellite departments in Silkeborg and Nykøbing Falster.

이 기관은 약 700명의 직원으로 구성되어 있으며, 코펜하겐에 본부를 두고 실케보르와 뉘쾨빙 팔스터에 위성 부서를 두고 있다.

The authority is charged with a wide array of core tasks related to business, clustered around enhancing the potential for business growth throughout Denmark.

이 기관은 덴마크 전역에서 비즈니스 성장 가능성을 강화하는 것을 중심으로 다양한 핵심 비즈니스 관련 과제를 수행한다.

The DBA maintains the digital platform VIRK, through which Danish companies can submit business documents and that allows the DBA to maintain an online business register (containing approximately 809,000 companies, with roughly 812,000 registrations in all and together filing about 292,000 annual statements per year).

DBA는 덴마크 기업이 사업 문서를 제출할 수 있는 디지털 플랫폼 VIRK를 관리하며, 이를 통해 DBA는 온라인 비즈니스 등록부를 유지한다(약 809,000개의 기업이 포함되어 있으며, 총 약 812,000건의 등록이 이루어지고 연간 약 292,000건의 연차 보고서를 제출한다).

The DBA has maintenance and enforcement remits related to laws such as Denmark’s Companies Act, Financial Statements Act, Bookkeeping Act, and Act on Commercial Foundations.

DBA는 덴마크의 기업법, 재무제표법, 부기법, 상업재단법과 같은 법률과 관련된 유지 및 집행 권한을 가지고 있다.

In the past, the DBA also collaborated with Early Warning Europe (EWE)—a network established to help companies and entrepreneurs across Europe—to produce support mechanisms for companies in distress.

과거 DBA는 유럽 전역의 기업 및 기업가를 돕기 위해 설립된 네트워크인 Early Warning Europe(EWE)과 협력하여 어려움을 겪는 기업을 위한 지원 메커니즘을 개발했다.

The ML projects analyzed in our study are related to the DBA’s core tasks—for example, understanding VIRK users’ behavior and checking business registrations and annual statements for mistakes and evidence of fraud.

우리 연구에서 분석한 ML 프로젝트는 DBA의 핵심 과제와 관련이 있으며, 예를 들어 VIRK 사용자의 행동을 이해하고 사업 등록 및 연차 보고서에서 오류와 사기 증거를 점검하는 작업이 포함된다.

The idea of using ML at the DBA originated in 2016.

DBA에서 ML을 사용하는 아이디어는 2016년에 시작되었다.

The agency embarked on AI-related market research, which culminated in several data-science projects and the establishment of the Machine Learning Lab (“the ML Lab” from here on) in 2017.

이 기관은 AI 관련 시장 조사를 시작하였고, 이는 여러 데이터 과학 프로젝트와 2017년 머신러닝 연구소(이하 “ML Lab”)의 설립으로 이어졌다.

One factor creating the impetus for establishing the ML Lab was tremendous growth in the quantities of various types of documents processed by the DBA.

ML Lab 설립의 동력을 제공한 요인 중 하나는 DBA에서 처리하는 다양한 유형의 문서 양이 급격히 증가한 것이다.

Rather than engage and rely on external consultants, the DBA opted to hire its own data engineers and data scientists.

외부 컨설턴트를 고용하고 의존하기보다는, DBA는 자체적으로 데이터 엔지니어와 데이터 과학자를 고용하는 방식을 선택했다.

The main reasons for this in-house approach were cost-management concerns and a desire to retain relevant knowledge within the agency.

이러한 내부적 접근 방식을 선택한 주요 이유는 비용 관리 문제와 기관 내부에 관련 지식을 유지하려는 의도였다.

Creating ML solutions internally by combining technologies such as Neo4j graph database management, Docker containers, and Python offers a better fit for the organization than commercial off-the-shelf solutions.

Neo4j 그래프 데이터베이스 관리, Docker 컨테이너, Python과 같은 기술을 결합하여 내부적으로 ML 솔루션을 개발하는 것은 상용 기성 솔루션보다 조직에 더 적합하다.

Also, the ML Lab’s role is restricted largely to experimentation and development surrounding proof-of-concept models.

또한, ML Lab의 역할은 개념 증명 모델(proof-of-concept models)의 실험과 개발로 주로 제한된다.

If a solution is deemed useful and meets the quality criteria set, its deployment is offloaded to external consulting firms, which then put the model into production use.

솔루션이 유용하다고 판단되고 설정된 품질 기준을 충족하면, 배포는 외부 컨설팅 회사로 이전되며, 이들은 모델을 실제 사용 환경에 적용한다.

This decision was primarily based on DBA culture, in which vendors take responsibility for the support and maintenance functions related to their code: the ML models follow the same governance as other IT projects within the DBA.

이 결정은 주로 DBA 문화에 기반한 것으로, 여기서 공급업체는 코드와 관련된 지원 및 유지 보수 기능에 대한 책임을 진다. ML 모델은 DBA의 다른 IT 프로젝트와 동일한 거버넌스를 따른다.

Hence, DBA operations related to ML are divided between two main entities: a development unit (the ML Lab) and an implementation unit (external consultants).

따라서 ML과 관련된 DBA의 운영은 두 가지 주요 단위로 나뉜다: 개발 단위(ML Lab)와 구현 단위(외부 컨설턴트).

The ML Lab’s role is to collaborate closely with domain experts (hereafter “case workers”) to develop functional prototypes as part of a proof of concept.

ML Lab의 역할은 도메인 전문가(이하 “케이스 워커”)와 긴밀히 협력하여 개념 증명의 일환으로 기능적 프로토타입을 개발하는 것이다.

The lab’s main objective is to prove that the problems identified by the case workers can be solved by means of ML.

랩의 주요 목표는 케이스 워커들이 식별한 문제가 ML을 통해 해결될 수 있음을 입증하는 것이다.

In combination, the proof of concept and documentation such as the evaluation plan form the foundation for the DBA steering committee’s decision-making on whether to forward the model to the implementation unit.

개념 증명과 평가 계획과 같은 문서는 함께 DBA 운영위원회가 모델을 구현 단위로 이관할지 여부를 결정하는 데 기초를 형성한다.

Different stakeholders are accountable for different parts of the process.

다양한 이해관계자가 프로세스의 서로 다른 부분에 대해 책임을 진다.

The ML Lab is responsible for developing the prototype, and the case workers provide domain knowledge to the lab’s staff as that prototype is developed.

ML Lab은 프로토타입 개발을 담당하며, 케이스 워커는 프로토타입 개발 과정에서 랩 직원들에게 도메인 지식을 제공한다.

The case workers also answer for the ML models’ operational correctness, being charged with evaluating each model and with its retraining as needed.

케이스 워커는 또한 ML 모델의 운영 정확성을 책임지며, 각 모델을 평가하고 필요에 따라 재학습을 수행한다.

The steering committee then decides which models will enter production use and when.

운영위원회는 어떤 모델이 언제 실제 사용 단계에 들어갈지를 결정한다.

Finally, the implementation unit is accountable for implementing the model and overseeing its technical maintenance.

마지막으로, 구현 단위는 모델의 구현과 기술적 유지 보수를 감독하는 데 책임을 진다.

3.2 Data Collection

Interviews and observations at the DBA served as our main data sources.

DBA에서의 인터뷰와 관찰이 주요 데이터 출처로 사용되었다.

We used purposive sampling (Bernard, 2017) and selected the case organization by applying the following criteria.

우리는 목적 표본추출(Bernard, 2017)을 사용하였으며, 다음 기준을 적용하여 사례 조직을 선정하였다.

The organization needed to have advanced AI and ML capabilities, in terms of both resources and know-how.

조직은 자원과 전문 지식 측면에서 고급 AI 및 ML 역량을 보유해야 했다.

It also had to be committed to developing explainable systems.

또한, 설명 가능한 시스템을 개발하려는 의지가 있어야 했다.

Finally, the researchers needed access to the AI/ML projects, associated processes, and relevant stakeholders.

마지막으로, 연구자는 AI/ML 프로젝트, 관련 프로세스 및 관련 이해관계자에 대한 접근 권한이 필요했다.

The last criterion was especially important for giving us a broader perspective on the projects and for enabling the verification of explainability claims made by the informants.

마지막 기준은 프로젝트에 대한 더 넓은 관점을 제공하고, 정보 제공자가 제기한 설명 가능성 주장에 대한 검증을 가능하게 하는 데 특히 중요했다.

The DBA met all of these criteria.

DBA는 이러한 모든 기준을 충족했다.

To gain access to the DBA, we used the known-sponsor approach (Patton, 2001): we had access to a senior manager at the DBA working with ML initiatives within the organization, who helped us arrange interviews at the early stages of data collection.

DBA에 접근하기 위해 우리는 알려진 후원자 접근법(known-sponsor approach, Patton, 2001)을 사용했으며, 조직 내 ML 이니셔티브를 담당하는 DBA의 고위 관리자를 통해 데이터 수집 초기 단계에서 인터뷰를 주선할 수 있었다.

Piggybacking on that manager’s legitimacy and credibility helped us establish our legitimacy and credibility within the DBA from the start (Patton, 2001).

그 관리자에 대한 정당성과 신뢰성을 바탕으로 DBA 내에서 처음부터 우리의 정당성과 신뢰성을 확립할 수 있었다(Patton, 2001).

In addition, one of the authors had a working relationship with the organization at the operations level, allowing us to arrange interviews further along in the data-collection work.

또한, 저자 중 한 명이 운영 단계에서 조직과 업무 관계를 맺고 있어, 데이터 수집 작업 중 추가 인터뷰를 주선할 수 있었다.

This helped us to establish mutual trust with the informants and prevented us from being seen as agents of the upper management.

이로 인해 정보 제공자들과 상호 신뢰를 구축할 수 있었으며, 우리가 고위 경영진의 대리인으로 간주되는 것을 방지할 수 있었다.

We collected and analyzed data in a four-stage iterative process (presented in Table 1), in which the phases overlapped and earlier stages informed subsequent stages.

우리는 4단계 반복 프로세스를 통해 데이터를 수집하고 분석했으며(표 1에 제시), 단계들은 서로 겹치며 이전 단계가 이후 단계를 보완하였다.

Table 1. The Four Phases of Gathering the Data

To prevent elite bias, we sought to interview a wide range of DBA employees with varying tenure at several levels in the hierarchy (Miles et al., 2014; Myers & Newman, 2007).

엘리트 편향을 방지하기 위해, 우리는 여러 계층에서 다양한 재직 기간을 가진 DBA 직원들과 인터뷰를 진행하려 노력했다(Miles et al., 2014; Myers & Newman, 2007).

Phase 1 was explorative in nature.

1단계는 탐색적 성격을 띠고 있었다.

Its purpose was to establish research collaboration and create a picture of the DBA’s current and future ML projects and visions from a data-science and case-work perspective.

이 단계의 목적은 연구 협력을 구축하고 데이터 과학 및 사례 작업 관점에서 DBA의 현재 및 미래 ML 프로젝트와 비전을 파악하는 것이었다.

The second phase was aimed at gaining an in-depth understanding of the DBA’s various ML projects and the actors involved.

2단계는 DBA의 다양한 ML 프로젝트와 관련된 이해관계자들에 대한 심층적인 이해를 얻는 것을 목표로 했다.

In this phase, we focused on the ML Lab and its roles and responsibilities in the projects, along with explainability in relation to ML.

이 단계에서는 ML Lab과 프로젝트에서의 역할 및 책임, 그리고 ML과 관련된 설명 가능성에 초점을 맞췄다.

Then, in Phase 3, we interviewed all ML Lab employees as well as two case workers who acted in close collaboration with the lab.

그 후, 3단계에서는 ML Lab의 모든 직원들과 랩과 긴밀히 협력한 두 명의 케이스 워커를 인터뷰하였다.

The final phase involved validating the interpretations from our analysis and obtaining further insight into the technical infrastructure supporting the lab.

마지막 단계에서는 분석 결과에 대한 해석을 검증하고 랩을 지원하는 기술적 인프라에 대한 추가 통찰을 얻는 작업이 포함되었다.

We conducted semi-structured interviews in all phases, taking place from August 2018 to October 2020.

우리는 2018년 8월부터 2020년 10월까지 모든 단계에서 반구조화된 인터뷰를 진행하였다.

Initial impressions are important for establishing trust between researchers and informants (Myers & Newman, 2007); hence, we always presented ourselves as a team of impartial researchers conducting an academic study.

초기 인상은 연구자와 정보 제공자 간 신뢰를 구축하는 데 중요하며(Myers & Newman, 2007), 따라서 우리는 항상 학술 연구를 수행하는 공정한 연구팀으로 자신을 소개했다.

At the start of each interview, we explained the overall purpose of the study and our reasons for selecting the informant(s) in question to participate.

각 인터뷰의 시작에서, 우리는 연구의 전체 목적과 해당 정보 제공자를 선택하여 참여하게 된 이유를 설명하였다.

We promised anonymity and confidentiality to all the informants and asked for explicit consent to record the interviews.

모든 정보 제공자에게 익명성과 기밀성을 보장하며, 인터뷰를 녹음할 수 있는 명시적인 동의를 요청했다.

Also, we explained the right to withdraw consent at any time during the interview or after it, up to the time of the final publication of a research article.

또한, 인터뷰 중이나 이후에, 연구 논문이 최종적으로 발표되기 전까지는 언제든 동의를 철회할 수 있는 권리를 설명했다.

We made sure to address any concerns the informants expressed about the procedure and answered all questions.

절차에 대해 정보 제공자가 제기한 우려를 반드시 해결하고, 모든 질문에 답변했다.

The interviews were conducted in English, with one of the authors, a native Danish speaker, being present for all of them and clarifying terminology as necessary.

인터뷰는 영어로 진행되었으며, 저자 중 한 명인 덴마크어 원어민이 모든 인터뷰에 참석하여 필요한 경우 용어를 명확히 했다.

In addition, the informants had the opportunity to speak Danish if they so preferred.

또한, 정보 제공자는 원한다면 덴마크어로 말할 수 있는 기회를 제공받았다.

The choice of English as the primary language was made in consideration of the fact that most members of the research team did not speak Danish, whereas all informants were highly proficient in English.

영어를 주요 언어로 선택한 이유는 연구팀 대부분이 덴마크어를 하지 못하는 반면, 모든 정보 제공자가 영어에 능숙했기 때문이다.

Though we recognize potential downsides to conducting interviews in a language that is not native to the interviewees, we accepted the remaining risk for the sake of enabling the whole research team to be involved in the data-collection process and data analysis.

인터뷰 대상자의 모국어가 아닌 언어로 인터뷰를 진행하는 데 따른 잠재적 단점을 인지하고 있었지만, 연구팀 전체가 데이터 수집 과정과 데이터 분석에 참여할 수 있도록 하기 위해 이러한 위험을 감수하였다.

All interviews were audio-recorded and transcribed, yielding 167,006 words of text.

모든 인터뷰는 음성 녹음 및 필사되었으며, 총 167,006 단어의 텍스트가 생성되었다.

In addition to interviews, we employed participant observation and document analysis.

인터뷰 외에도, 우리는 참여 관찰과 문서 분석을 활용하였다.

Handwritten field diaries kept by the Danish-speaking author provided background information.

덴마크어를 사용하는 저자가 작성한 수기 현장 일지가 배경 정보를 제공하였다.

These go back to September 2017, when he became involved with ML at the DBA.

이 일지는 2017년 9월로 거슬러 올라가며, 그가 DBA에서 ML에 관여하기 시작한 시점이다.

Covering work as an external consultant and then a collaborative PhD student funded equally by the IT University of Copenhagen and the DBA, the diary material comprises observations, task descriptions, and notes taken at meetings.

외부 컨설턴트로서의 업무와 IT 코펜하겐 대학교와 DBA가 공동으로 지원하는 박사 과정 학생으로서의 업무를 포함하여, 일지 자료는 관찰, 작업 설명 및 회의에서 작성된 메모로 구성되어 있다.

The diaries extended over the full duration of our research period, including the time when most ML projects were either very early in their development or had not even begun.

이 일지는 대부분의 ML 프로젝트가 개발 초기 단계에 있거나 아직 시작되지 않은 시기를 포함하여, 연구 기간 전체에 걸쳐 작성되었다.

Accounting for approximately every other workday at the DBA, the doctoral student’s observations give a realistic view of day-to-day work life at the case organization.

박사 과정 학생의 관찰은 DBA에서 격일로 이루어진 업무를 반영하며, 사례 조직의 일상적인 업무 생활에 대한 현실적인 관점을 제공한다.

We used the field diaries for memory support, to fill gaps in the interview data, and as a reference for basic information about key informants, organizational structure, and organizational processes and work practices.

우리는 현장 일지를 기억 보조 도구로 사용하고, 인터뷰 데이터의 공백을 채우며, 주요 정보 제공자, 조직 구조, 조직 프로세스 및 작업 관행에 대한 기본 정보를 참조하기 위해 활용하였다.

In addition, the diaries helped to corroborate some claims made by informants.

또한, 이 일지는 정보 제공자들이 제기한 일부 주장을 입증하는 데 도움을 주었다.

Similarly, the document analysis addressed the entire time span of interest.

마찬가지로, 문서 분석은 관심 있는 전체 시간 범위를 다루었다.

This work included analyzing documentation and user stories extracted from the DBA’s Jira system, a project management tool.

이 작업에는 DBA의 프로젝트 관리 도구인 Jira 시스템에서 추출한 문서 및 사용자 스토리를 분석하는 작업이 포함되었다.

The document analysis also extended to accessing the DBA’s Git repository (used in version control) and verifying which model was applied in each project.

문서 분석은 또한 DBA의 Git 저장소(버전 관리를 위해 사용)를 접근하여 각 프로젝트에 어떤 모델이 적용되었는지를 확인하는 작업까지 확장되었다.

In addition, the collaborative doctoral researcher had access to a personal email account at the organization and could search old conversations and start new ones if decisions made during ML projects needed further explanation.

추가적으로, 협력 박사 연구자는 조직 내 개인 이메일 계정에 접근할 수 있었으며, ML 프로젝트 중 내린 결정에 대해 추가 설명이 필요할 경우 과거 대화를 검색하거나 새로운 대화를 시작할 수 있었다.

Finally, to verify the interpretations arising in the course of the authors’ analysis, we asked the ML Lab data scientists to fill in an outline document for each of the ML projects alongside the authors in an assessment exercise.

마지막으로, 저자들의 분석 과정에서 도출된 해석을 검증하기 위해, 우리는 ML Lab 데이터 과학자들에게 각 ML 프로젝트에 대한 개요 문서를 작성하도록 요청하며, 이를 평가 작업의 일환으로 진행했다.

This exercise produced an input–ML-model–output framework that allowed us to verify the ML projects’ fundamentals and establish uniform project descriptions characterizing, for example, the data fed into the model, the type of ML model employed, and the nature of the output produced.

이 작업은 입력-ML 모델-출력 프레임워크를 생성하여, 모델에 투입된 데이터, 사용된 ML 모델 유형, 생성된 출력의 성격과 같은 ML 프로젝트의 기본 요소를 검증하고 일관된 프로젝트 설명을 확립할 수 있게 했다.

Appendix A provides a summary of this framework.

부록 A는 이 프레임워크의 요약을 제공한다.

Appendix A: The DBA’s ML Projects

3.3 Data Analysis

Overall, our analysis approach can be considered abductive: it began as inductive but was later informed by a theoretical lens that emerged as a suitable sensitizing device (Sarker et al., 2018; Tavory & Timmermans, 2014).

전체적으로 우리의 분석 접근법은 귀납적으로 시작되었으나, 이후 적절한 감각 장치로 떠오른 이론적 렌즈를 통해 보완되었기에, 납득적(abductive)이라고 간주될 수 있다(Sarker et al., 2018; Tavory & Timmermans, 2014).

We coded all interview data in three stages, utilizing coding and analysis techniques adopted from less procedure-oriented versions of grounded theory (Belgrave & Seide, 2019; Charmaz, 2006).

우리는 절차 지향적이지 않은 근거 이론의 변형 버전에서 채택된 코딩 및 분석 기법을 활용하여 모든 인터뷰 데이터를 세 단계로 코딩했다(Belgrave & Seide, 2019; Charmaz, 2006).

In practice, this entailed relying on constant comparative analysis to identify initial concepts.

실제로는 초기 개념을 식별하기 위해 지속적인 비교 분석에 의존하는 과정을 포함했다.

The processes of data collection and analysis were mutually integrated (Charmaz, 2006), constantly taking us between the specific interview and the larger context of the case organization (Klein & Myers, 1999).

데이터 수집과 분석 과정은 상호 통합되었으며(Charmaz, 2006), 특정 인터뷰와 사례 조직의 더 큰 맥락 사이를 지속적으로 오갔다(Klein & Myers, 1999).

Later, we linked the emerging concepts to higher-level categories.

이후 우리는 도출된 개념들을 더 높은 수준의 범주에 연결했다.

Similarities can be seen between our approach to using elements of grounded theory for qualitative data analysis and methods established in earlier IS studies (e.g., Asatiani & Penttinen, 2019; Sarker & Sarker, 2009).

근거 이론 요소를 정성적 데이터 분석에 활용한 우리의 접근법과 이전 정보 시스템(IS) 연구에서 확립된 방법(e.g., Asatiani & Penttinen, 2019; Sarker & Sarker, 2009) 간에 유사점을 확인할 수 있다.

The three stages of coding produced concepts (first-order constructs), themes (second-order constructs), and aggregate dimensions (see Appendix C), paralleling the structure proposed by Gioia, Corley, and Hamilton (2013).

세 단계의 코딩은 개념(1차 구성), 주제(2차 구성), 및 종합적 차원(부록 C 참조)을 도출했으며, 이는 Gioia, Corley, Hamilton(2013)이 제안한 구조와 유사하다.

In the first stage, we performed open coding with codes entirely grounded in our data.

첫 번째 단계에서는, 우리의 데이터에 완전히 기반한 코드를 사용하여 개방형 코딩을 수행했다.

This involved paragraph-by-paragraph coding, using in vivo codes taken directly from the informants’ discourse (Charmaz, 2006) with minimal interpretation by the coders.

이 과정에서는 정보 제공자의 담론에서 직접 가져온 in vivo 코드를 사용하여 단락별로 코딩했으며(Charmaz, 2006), 코더의 해석을 최소화했다.

For example, the extract: “There would be a guidance threshold. Actually, no. For this model, there would be some guidance set by us, yeah. And then case workers will be free to move it up and down” was assigned two codes: “case workers’ control thresholds” and “guidance threshold.”

예를 들어, 다음 발췌문은 “There would be a guidance threshold. Actually, no. For this model, there would be some guidance set by us, yeah. And then case workers will be free to move it up and down”라는 구절에서 두 개의 코드인 “case workers’ control thresholds(케이스 워커의 통제 임계값)“와 “guidance threshold(안내 임계값)“로 코딩되었다.

Two of the authors performed open coding independently, after which the two sets of codes were revisited, compared, and refined.

저자 두 명이 개방형 코딩을 독립적으로 수행한 후, 두 코드 세트를 재검토하고 비교하여 정제했다.

Conceptually similar codes were merged into the set of concepts.

개념적으로 유사한 코드들은 하나의 개념 세트로 통합되었다.

In the second stage, we analyzed the results from the open coding and started to look for emerging themes.

두 번째 단계에서는 개방형 코딩의 결과를 분석하고 새로운 주제를 찾아보기 시작했다.

We iterated between the open codes and interview transcripts, coding data for broader themes connecting several concepts (axial coding).

우리는 개방형 코드와 인터뷰 원고를 반복적으로 검토하며 여러 개념을 연결하는 더 넓은 주제를 위해 데이터를 코딩했다(축 코딩).

While these themes were at a higher level than the in vivo codes from the first stage, they still were firmly grounded in the data.

이러한 주제는 1단계의 in vivo 코드보다 높은 수준에 위치했지만 여전히 데이터에 확고히 기반하고 있었다.

All the authors participated in this stage, which culminated in the codes identified being compared and consolidated to yield the second-order constructs—the themes.

모든 저자가 이 단계에 참여했으며, 이 과정은 식별된 코드를 비교하고 통합하여 2차 구성물인 주제를 도출하는 것으로 마무리되었다.

In the third stage, we applied theoretical coding to our data.

세 번째 단계에서는 데이터에 이론적 코딩을 적용하였다.

That term notwithstanding, the goal for this stage was not to validate a specific theory.

이 용어에도 불구하고, 이 단계의 목표는 특정 이론을 검증하는 것이 아니었다.

Rather, we wanted to systematize the DBA’s approaches to tackling explainable AI challenges where building a transparent system was not an option.

오히려, 우리는 투명한 시스템 구축이 선택지가 아닌 경우에 DBA가 설명 가능한 AI 문제를 해결하는 접근 방식을 체계화하고자 했다.

For this, the envelopment framework of Robbins (2020) served as a sensitizing lens to help us organize the themes that emerged in the second stage of analysis.

이를 위해, Robbins(2020)의 포괄(envelopment) 프레임워크를 감각적 렌즈로 활용하여 2단계 분석에서 도출된 주제를 체계적으로 정리했다.

The decision was data-driven—we had not anticipated finding such strong focus on envelopment at the case organization, but the first two stages of analysis inductively revealed that the DBA’s strategy resembled an envelopment rather than a method whereby the DBA would attempt to guarantee explainability in all of its AI model implementations.

이 결정은 데이터 기반으로 이루어졌으며, 사례 조직에서 포괄 개념에 강하게 초점을 맞춘 것을 예상하지 못했지만, 첫 두 단계의 분석을 통해 DBA의 전략이 모든 AI 모델 구현에서 설명 가능성을 보장하려는 방법보다는 포괄 전략과 유사하다는 점이 귀납적으로 드러났다.

All authors participated in this stage of the work, performing coding independently.

모든 저자가 이 단계의 작업에 참여하며, 독립적으로 코딩을 수행했다.

Then, the codes were compiled, compared, and synthesized into a single code set.

그 후, 코드들은 모아지고, 비교되며, 하나의 코드 세트로 통합되었다.

4 Findings

Our findings draw from the DBA ML Lab’s work in eight AI projects, denoted here as Auditor’s Statement, Bankruptcy, Company Registration, Land and Buildings, ID Verification, Recommendation, Sector Code, and Signature (see Appendix A for project details).

우리의 연구 결과는 DBA ML Lab에서 수행한 8개의 AI 프로젝트에서 도출되었으며, 이를 감사 보고서, 파산, 회사 등록, 토지 및 건물, ID 검증, 추천, 섹터 코드, 서명 프로젝트로 명명하였다(프로젝트 세부 사항은 부록 A 참조).

While every project had a distinct purpose, each was aimed at supporting the DBA’s role in society as a government business authority.

모든 프로젝트가 뚜렷한 목적을 가지고 있었지만, 각각은 DBA가 정부 비즈니스 기관으로서 사회에서 수행하는 역할을 지원하는 데 초점을 맞추고 있었다.

At the time of writing this paper, many of these projects had been deployed and entered continuous use.

이 논문을 작성하는 시점에서, 이러한 프로젝트 중 다수는 배포되어 지속적으로 사용되고 있었다.

The DBA had faced pressure to be highly efficient while remaining a transparent and trustworthy actor in the eyes of the public, and AI-based tools represented an efficient alternative to the extremely resource-intensive fully human-based processing of data.

DBA는 높은 효율성을 유지하면서도 공공의 신뢰를 받는 투명한 행위자로 남아야 한다는 압박에 직면했으며, AI 기반 도구는 자원이 매우 많이 소모되는 전적으로 인간에 의존한 데이터 처리의 효율적인 대안으로 나타났다.

At the same time, the use of such tools presented a risk of coming into conflict with the DBA’s responsibility to be transparent.

동시에, 이러한 도구의 사용은 DBA가 투명성을 유지해야 할 책임과 충돌할 위험을 제기했다.

To situate the set of envelopment methods employed by the DBA in this context, we begin by analyzing the DBA’s viewpoint on requirements for the AI systems to be used in the agency’s operations.

DBA가 이 맥락에서 활용한 포괄(envelopment) 방법들을 설명하기 위해, 우리는 우선 DBA가 기관 운영에 사용되는 AI 시스템의 요구 사항에 대해 가진 관점을 분석하는 것으로 시작한다.

This sets the stage for discussing the envelopment methods that the DBA developed to address the challenges of the explainability-accuracy tradeoff (see Figure 1) introduced by its development of ML solutions.

이는 DBA가 ML 솔루션 개발 과정에서 설명 가능성과 정확성 간의 상충 관계를 해결하기 위해 개발한 포괄 방법들(그림 1 참조)을 논의하기 위한 기초를 마련한다.

4.1 Requirements for AI at the DBA

Our interviews showed that, given the drive to improve its operations by using AI models, the DBA must devote significant attention to making sure instrumental outcomes do not come bundled with ignoring humanistic ones.

인터뷰 결과, AI 모델을 활용해 운영을 개선하려는 추진력을 고려할 때, DBA는 도구적 결과가 인간적 결과를 간과하지 않도록 상당한 주의를 기울여야 함을 알 수 있었다.

Two factors have shaped the organization’s quest to find balance in terms of the explainability-accuracy tradeoff: its position as a public agency and diverse stakeholder requirements.

이 조직이 설명 가능성과 정확성 간의 균형을 찾기 위해 노력하게 된 데에는 두 가지 요인이 작용했다: 공공 기관으로서의 위치와 다양한 이해 관계자의 요구사항이다.

First, as a public agency, the DBA has significant responsibility for making sure that its decisions are as fair and bias-free as possible.

첫째, 공공 기관으로서 DBA는 가능한 한 공정하고 편향 없는 결정을 내리도록 보장할 중요한 책임이 있다.

Recent discussion surrounding regulations such as the GDPR has brought further attention to the handling of personal data and to citizens’ rights to explanation.

GDPR과 같은 규제를 둘러싼 최근의 논의는 개인 데이터 처리와 시민들의 설명받을 권리에 대한 관심을 더욱 증가시켰다.

These reasons have impelled the DBA to be sure that the organization’s ML solutions respond to explainability requirements sufficiently.

이러한 이유로 인해 DBA는 조직의 ML 솔루션이 설명 가능성 요구사항에 충분히 부응하도록 해야 했다.

This comment from a chief consultant on the DBA annual statements team, Mary, addresses transparency’s importance:

DBA 연례 보고서 팀의 수석 컨설턴트인 Mary의 다음 언급은 투명성의 중요성을 강조한다:

“I think in Denmark, generally, we have a lot of trust towards systems …. I’m very fond of transparency. I think it’s the way to go that it’s fully disclosed why a system reacts [the way] it does. Otherwise, you will feel unsafe about why the system makes the decisions it does … For me, it’s very important that it’s not a black box.”

“덴마크에서는 일반적으로 시스템에 대한 신뢰가 많다고 생각합니다. 저는 투명성을 매우 중요하게 여깁니다. 시스템이 왜 그렇게 반응하는지 완전히 공개하는 것이 올바른 방향이라고 생각합니다. 그렇지 않으면 시스템이 내리는 결정의 이유를 알 수 없어 불안감을 느낄 것입니다. 제게는 시스템이 블랙박스가 아닌 것이 매우 중요합니다.”

Still, the DBA has ample opportunities to benefit from deploying AI in its operations, in that it has access to vast volumes of data and boasts proactive case workers who are able to identify relevant tasks for the AI.

그럼에도 불구하고, DBA는 방대한 데이터에 접근할 수 있고 AI가 수행할 적절한 작업을 식별할 수 있는 적극적인 케이스 워커를 보유하고 있어, AI를 운영에 도입함으로써 얻을 수 있는 혜택이 많다.

Sometimes inscrutable models clearly outperform explainable ones, so the agency has a strong incentive to seek ways of expanding the range of AI models that are feasible for its operations, in pursuit of higher accuracy and better performance.

때로는 설명 가능한 모델보다 설명이 불가능한 모델이 더 뛰어난 성능을 발휘하기 때문에, 이 기관은 더 높은 정확성과 더 나은 성능을 추구하기 위해 운영에 적합한 AI 모델의 범위를 확장하려는 강한 동기를 가지고 있다.

However, it needs to do so without incurring excessive risks associated with inscrutable models:

그러나 설명이 불가능한 모델과 관련된 과도한 위험을 초래하지 않고 이를 수행해야 한다:

“If the output of the algorithm is very bad when using the [explainable] models and we see a performance boost in more advanced or black-box algorithms, we will use [the more advanced ones]. Then, we will afterwards check like ‘okay, how to make this transparent, how to make this explainable…’” (Steven, ML Lab)

“만약 [설명 가능한] 모델을 사용할 때 알고리즘의 출력이 매우 나쁘고 더 발전된 블랙박스 알고리즘에서 성능 향상을 확인한다면, 우리는 [더 발전된 알고리즘을] 사용할 것입니다. 이후에 ‘이걸 어떻게 투명하게 만들고 설명 가능하게 만들지’를 검토할 것입니다…” (Steven, ML Lab)

Secondly, the quest for explainable AI is made even more complex by the diversity of explanation-related requirements among various DBA stakeholders.

둘째, 설명 가능한 AI를 추구하는 작업은 DBA의 다양한 이해 관계자들 사이에서 설명 관련 요구사항의 다양성으로 인해 더욱 복잡해진다.

The internal stakeholders comprise several distinct employee categories, including managers, data scientists, system developers, and case workers.

내부 이해 관계자에는 관리자, 데이터 과학자, 시스템 개발자, 그리고 케이스 워커를 포함한 몇 가지 명확히 구분되는 직원 그룹이 포함된다.

Externally, the DBA interacts with citizens and the companies registered in Denmark, as well as with the IT consulting firms that maintain the agency’s AI models deployed in the production environment.

외부적으로는 DBA가 덴마크에 등록된 시민 및 기업들과 상호작용하며, 생산 환경에 배포된 기관의 AI 모델을 유지 관리하는 IT 컨설팅 회사와도 협력한다.

Each of these stakeholders requires a specific kind of explanation of a given model’s internal logic and outputs.

이러한 각 이해 관계자는 주어진 모델의 내부 논리와 출력에 대해 특정한 형태의 설명을 필요로 한다.

While an expert may consider it helpful to have a particular sort of explanation for the logic behind the model’s behavior, that explanation may be useless to someone who is not an expert user.

전문가는 모델 동작의 논리에 대한 특정 유형의 설명이 유용하다고 여길 수 있지만, 그 설명은 비전문 사용자에게는 무용지물이 될 수 있다.

For a nonexpert user, a concise, directed, and even partially nontransparent explanation may have more value than a precise technical account.

비전문 사용자에게는 간결하고 명확하며 부분적으로 불투명한 설명이 정확한 기술적 설명보다 더 가치 있을 수 있다.

David, a case worker with Early Warning Europe, offered an example: “When [a data scientist] explained this to us, of course it was like the teacher explaining … brain surgery to a group of five-year-olds.”

Early Warning Europe의 케이스 워커인 David는 다음과 같은 예를 제시했다: “데이터 과학자가 우리에게 이를 설명했을 때, 물론 그건 다섯 살짜리 아이들에게 뇌수술을 설명하는 것 같았습니다.”

These two factors together explain why expanding the scope of candidate models can pose problems even if more accurate models are available and technically able to be brought into use.

이 두 가지 요인은 더 정확한 모델이 사용 가능하고 기술적으로 활용 가능하더라도 후보 모델의 범위를 확장하는 것이 왜 문제가 될 수 있는지를 설명한다.

Because of the different stakeholders’ various needs, a suitable level of explainability is hard to reach.

다양한 이해 관계자의 서로 다른 요구로 인해 적절한 수준의 설명 가능성을 달성하기 어렵다.

Therefore, approaches that could broaden the range of models—visualized as a circle with a dashed outline in Figure 1—are sorely needed.

따라서, 모델의 범위를 확장할 수 있는 접근 방식이 절실히 필요하며, 이는 그림 1에서 점선으로 표시된 원으로 시각화된다.

Our findings indicate that envelopment offers a potential solution to the explainability-accuracy tradeoff.

우리의 연구 결과는 포괄(envelopment)이 설명 가능성과 정확성 간의 상충 관계에 대한 잠재적 해결책을 제공할 수 있음을 시사한다.

With a variety of envelopment methods, the risks of inscrutable AI may be controlled in a manner that is acceptable to the different stakeholders, even when technical explanations are not available.

다양한 포괄 방법을 통해 기술적 설명이 불가능한 경우에도 다양한 이해 관계자들에게 수용 가능한 방식으로 설명이 어려운 AI의 위험을 통제할 수 있다.

As Steven stated:

Steven이 말한 것처럼:

“Often, we [are] able to unpack the black box if necessary and unpack it in a way that would be more than good enough for our case workers to understand and to use it and also for us to explain how the model came to the decision it did.”

“우리는 종종 필요한 경우 블랙박스를 열어보고, 케이스 워커가 이해하고 활용하기에 충분히 적합한 방식으로 이를 설명하며, 모델이 어떤 결정을 내렸는지 설명할 수 있는 수준으로 해석할 수 있습니다.”

Next, we discuss how the DBA has succeeded in this by enveloping its AI systems’ boundaries, training data, and input and output data.

다음으로, DBA가 AI 시스템의 경계, 학습 데이터, 입력 및 출력 데이터를 포괄함으로써 이 과정을 성공적으로 수행한 방법에 대해 논의한다.

We then consider our findings with regard to the connection between the choice of AI model and envelopment.

그 후, AI 모델 선택과 포괄 간의 연결점에 대한 연구 결과를 검토한다.

4.2 Boundary Envelopment

The notion of boundary envelopment suggests that an AI agent’s limits can be bounded by well-defined principles that demarcate the environment within which it is allowed to process data and make decisions.

경계 포괄 개념은 AI 에이전트의 한계를 명확히 정의된 원칙에 의해 설정하여 데이터를 처리하고 결정을 내릴 수 있는 환경을 구분하는 것을 의미한다.

One example of boundary envelopment at the DBA is the document filter implemented in the Signature project.

DBA에서 경계 포괄의 한 가지 사례는 Signature 프로젝트에서 구현된 문서 필터이다.

It filters out images that are not photographs of a paper document.

이 필터는 종이 문서의 사진이 아닌 이미지를 걸러낸다.

The need for such a filter was identified when an external evaluator tested the model with a picture of a wooden toy animal and the model judged the image to be a signed document because it was operating beyond its intended environment.

외부 평가자가 나무 장난감 동물의 사진으로 모델을 테스트했을 때, 모델이 이를 서명된 문서로 판단하는 사례가 발생하며, 모델이 의도된 환경을 넘어 작동하고 있음을 확인하게 되었다.

Having not been trained to analyze images other than scans and photographs of black-and-white documents, the model returned unpredictable answers.

흑백 문서의 스캔본과 사진 외의 이미지를 분석하도록 훈련받지 않은 상태에서, 모델은 예측할 수 없는 결과를 반환했다.

By limiting the types of input images to ones that the model had been trained to recognize, the filter created in response acts as a boundary envelope guaranteeing the requisite variety for the AI model that constitutes the next element in the information-processing pipeline.

모델이 훈련받은 유형의 입력 이미지로 제한함으로써, 이에 대응하여 만들어진 필터는 정보 처리 파이프라인의 다음 요소를 구성하는 AI 모델을 위한 필수적인 다양성을 보장하는 경계 포괄 역할을 한다.

Thus, the AI model was enveloped in two ways: technically, via the development of a filter for its input data, and socially, via a change in workflow, whereby documents now undergo screening before they are assessed for completeness.

따라서, AI 모델은 두 가지 방식으로 포괄되었다: 기술적으로는 입력 데이터를 위한 필터를 개발함으로써, 그리고 사회적으로는 문서가 완전성을 평가받기 전에 스크리닝 과정을 거치도록 워크플로우를 변경함으로써 포괄되었다.

Both social and technical dimensions of envelopment were evident also in other instances at the case organization.

이 사례 조직의 다른 경우에서도 포괄의 사회적 및 기술적 차원이 명확히 나타났다.

The following quotes exemplify how the DBA orchestrates its AI agents’ boundary-creation work and makes sure that its AI solutions speak to very different stakeholders’ concerns.

다음 인용문들은 DBA가 AI 에이전트의 경계 생성 작업을 조율하고, AI 솔루션이 매우 다양한 이해 관계자의 우려를 반영하도록 보장하는 방식을 보여준다.

To ensure that AI systems’ abilities and limitations are controlled and therefore enveloped, the DBA decided to divide its AI development into a process of incremental stages by introducing multiple small-scale solutions, each dedicated to a certain set of relatively simple and well-defined actions.

AI 시스템의 능력과 한계를 통제하고 포괄하기 위해, DBA는 비교적 단순하고 명확히 정의된 작업 집합에 각각 전념하는 다수의 소규모 솔루션을 도입하여 AI 개발을 점진적 단계로 나누기로 결정했다.

The following comment summarizes this method:

다음 언급은 이 방법을 요약한 것이다:

“Well, I’m working at an organization where, luckily, the management wants us to develop results fast or fail fast, so they are happy with having small solutions put into production [use] rather than having large projects fail …. We decided to use an event-driven architecture, because when dealing with complex systems, it’s better to allow an ordered chaos than try to have a chaotic order. By having an event-driven architecture, you can rely on loosely coupled systems, and by having sound metadata it will help you create order in the chaos of different systems interacting with the same data.” (Jason, ML Lab)

“저는 다행히도 관리층이 빠르게 결과를 내거나 실패를 경험하길 원하고, 큰 프로젝트가 실패하는 것보다 작은 솔루션을 생산 환경에 배치하는 것을 기뻐하는 조직에서 일하고 있습니다. 복잡한 시스템을 다룰 때 혼란스러운 질서를 시도하는 것보다 체계화된 혼란을 허용하는 것이 더 낫기 때문에 이벤트 기반 아키텍처를 사용하기로 결정했습니다. 이벤트 기반 아키텍처를 통해 느슨하게 결합된 시스템에 의존할 수 있고, 건전한 메타데이터를 통해 동일한 데이터를 다루는 다양한 시스템 간의 혼란에서 질서를 만들어낼 수 있습니다.” (Jason, ML Lab)

Thus, from a purely technical angle, the event-driven architecture and loosely coupled systems constitute a technique in which the various components of a larger architecture operate autonomously and malfunctions are limited to local impacts only.

따라서 순전히 기술적인 관점에서 보면, 이벤트 기반 아키텍처와 느슨하게 결합된 시스템은 더 큰 아키텍처의 다양한 구성 요소가 자율적으로 작동하며, 오작동이 국소적인 영향을 미치도록 제한하는 기술을 구성한다.

For instance, erroneous decisions are less likely to be passed onward to other systems, and if this somehow does occur, the loose coupling allows the DBA to rapidly curb the failure’s escalation.

예를 들어, 잘못된 결정이 다른 시스템으로 전달될 가능성이 줄어들고, 만약 이런 일이 발생하더라도 느슨한 결합 구조는 DBA가 실패의 확산을 신속하게 억제할 수 있도록 한다.

Each component is therefore operating in its own envelope, and larger envelopes are created to control AI components’ operation as a network.

따라서 각 구성 요소는 자체적인 포괄 경계 내에서 작동하며, 더 큰 포괄 경계가 생성되어 AI 구성 요소의 네트워크 작동을 제어한다.

However, as highlighted by the reference above to envelopes that meet various stakeholders’ needs, boundary envelopes do not serve a technical purpose alone.

그러나 앞서 언급한 다양한 이해 관계자의 요구를 충족하는 포괄 경계를 통해 알 수 있듯이, 경계 포괄은 기술적인 목적만을 수행하지 않는다.

The following extract from the data shows how important the understanding of these boundaries is for those human stakeholders that are tasked with judging the correctness of the model’s operation when, for example, the complexity of the environment exceeds the model’s comprehension capability:

다음 데이터 추출 내용은, 예를 들어 환경의 복잡성이 모델의 이해 능력을 초과할 때 모델의 작동 정확성을 판단해야 하는 인간 이해 관계자들에게 이러한 경계에 대한 이해가 얼마나 중요한지를 보여준다:

“We have around 160 rules. We have technical rules that look into whether the right taxonomy is being used, whether it is the XBRL format, and whether it is compliant. We also have business rules. For example, do assets and liabilities match? Some rules only look at technical issues in the instance report. Other rules are what we called full-stop rules … filers are not allowed to file the report until they have corrected the error. We also have more guidance[-type] rules, where we say, ‘It looks like you’re about to make a mistake. Most people do it this way. Are you sure you want to continue filing the report?’ And then [users] can choose whether to ignore the rule [or not].” (Mary)

“우리는 약 160개의 규칙을 가지고 있습니다. 올바른 분류법이 사용되고 있는지, XBRL 형식인지, 그리고 규정을 준수하고 있는지를 검토하는 기술 규칙이 있습니다. 또한 비즈니스 규칙도 있습니다. 예를 들어, 자산과 부채가 일치하는가와 같은 것입니다. 일부 규칙은 인스턴스 보고서의 기술적 문제만을 살펴봅니다. 다른 규칙은 우리가 ‘완전 중지 규칙’이라고 부르는 것으로, 오류를 수정하기 전에는 제출자가 보고서를 제출할 수 없습니다. 또한 ‘가이드라인형’ 규칙이 있는데, ’실수를 할 것 같습니다. 대부분의 사람들은 이렇게 합니다. 보고서를 계속 제출하시겠습니까?’라고 묻습니다. 그리고 [사용자가] 이 규칙을 무시할지 여부를 선택할 수 있습니다.” (Mary)

In addition to the technical issues connected with accounting for multiple kinds of failure, the comment attests to boundary envelopes’ social dimension.

여러 유형의 실패를 고려한 기술적 문제 외에도, 이 언급은 경계 포괄의 사회적 차원을 입증한다.

The boundaries are clearly explained to internal users at the DBA, who can overrule the models if necessary.

경계는 DBA의 내부 사용자들에게 명확히 설명되며, 이들은 필요할 경우 모델의 결정을 무효화할 수 있다.

Moreover, customer-facing models operate within an environment that has clearly defined rules constraining their operation.

더 나아가, 고객 대면 모델은 작동을 제한하는 명확히 정의된 규칙이 있는 환경 내에서 작동한다.

Wherever nonexpert employees interact directly with a model, these rules are explained to them, and the human always has the power to ignore the models’ recommendations if they seem questionable.

비전문 직원들이 모델과 직접 상호작용하는 경우, 이러한 규칙은 그들에게 설명되며, 인간은 모델의 추천이 의심스러울 경우 이를 무시할 권한을 항상 가진다.

Thus, importantly, for every customer-facing AI model at the DBA, the final boundary envelope is a human.

따라서 중요하게도, DBA의 모든 고객 대면 AI 모델에서 최종 경계 포괄은 인간이다.

A decision suggested by an AI model is always verified by a case worker.

AI 모델이 제안한 결정은 항상 케이스 워커에 의해 검증된다.

In simple terms, human rationality creates a boundary that envelops the model’s operation.

간단히 말하면, 인간의 합리성이 모델의 작동을 포괄하는 경계를 만든다.

This serves a dual purpose: it denies any model the power to make unsupervised decisions while it also makes certain that every DBA decision is compliant with legal requirements.

이는 이중적인 목적을 수행한다. 모델이 감독 없이 결정을 내리는 권한을 부정하며, 동시에 모든 DBA의 결정이 법적 요구사항을 준수하도록 보장한다.

According to Jason:

Jason에 따르면:

“The agency can be taken into court when we dissolve a company, when we end a company [forceably] by means of the law. And we, in that situation, in court, will have to provide … full documentation of why that decision has been made. Now, legally speaking, as soon as there’s a human involved, as there always is, we always keep a human in [the] loop, [so we are on the safe side]. In that context, it’s only legally necessary to present that human’s decision. But we want to be able to explain also decision support, so that’s why we need explainability in our model and information chain. Explainability, on the microscale, is beneficial to understanding [the] organization on a sort of macroscale.”

“우리는 법적으로 회사의 청산이나 강제적인 해산과 같은 결정을 내릴 때, 그 결정의 이유를 완전하게 문서화하여 법정에서 제출해야 할 수도 있습니다. 법적으로 말하자면, 항상 인간이 개입되어 있는 한, 즉 우리가 항상 인간을 과정에 포함시키는 한 안전한 상황에 있습니다. 이런 맥락에서 법적으로는 인간의 결정만 제시하면 됩니다. 하지만 우리는 의사결정 지원도 설명할 수 있기를 원합니다. 그래서 모델과 정보 체인에 설명 가능성이 필요한 것입니다. 미시적 차원의 설명 가능성은 조직을 거시적 차원에서 이해하는 데 유익합니다.”

In other instances, expert case workers are allowed to set thresholds for the model in question, to make certain it produces the most useful and precise recommendations.

다른 경우에는, 전문 케이스 워커가 문제의 모델에 대한 임계값을 설정하도록 허용되어, 모델이 가장 유용하고 정확한 추천을 제공하도록 한다.

This has a knock-on effect in facilitating DBA workers’ acceptance of the relevant model:

이는 관련 모델에 대한 DBA 직원들의 수용을 촉진하는 간접적인 효과를 가져온다:

“For some [of our] models, there would be some guidance threshold set by us. And then case workers are free to move it up and down.” (Susan, ML Lab)

“우리의 일부 모델에 대해서는 우리가 설정한 가이드라인 임계값이 있습니다. 이후 케이스 워커가 이를 올리거나 내릴 자유가 있습니다.” (Susan, ML Lab)

“The ability to ‘mute’ a model or change the threshold has been a major cultural factor in [the] business adaptation of this technology.” (Jason)

“모델을 ‘음소거’하거나 임계값을 변경할 수 있는 능력은 이 기술의 비즈니스 적응에서 중요한 문화적 요소였습니다.” (Jason)

In summary, envelopment of boundaries involves both resolving technical issues (understanding the limits of the model’s abilities, etc.) and addressing social factors (providing the various stakeholders with sufficient explainability and, thereby, affording trust in the model’s accuracy, etc.).

요약하자면, 경계 포괄은 기술적 문제(모델의 능력 한계 이해 등)를 해결하는 것과, 사회적 요인(다양한 이해 관계자에게 충분한 설명 가능성을 제공하여 모델의 정확성에 대한 신뢰를 부여하는 것)을 모두 포함한다.

4.3 Training-Data Envelopment

The crucial importance of the data used in AI systems’ training is widely acknowledged in the AI/ML community.

AI 시스템 훈련에 사용되는 데이터의 중요성은 AI/ML 커뮤니티에서 널리 인정받고 있다.

If trained on different data sets, two models with otherwise identical structure produce vastly different outputs.

다른 데이터 세트로 훈련된 경우, 동일한 구조를 가진 두 모델은 완전히 다른 출력을 생성한다.

Accordingly, close control of the training data and the training process form an important aspect of envelopment.

따라서, 학습 데이터와 학습 과정을 면밀히 통제하는 것은 포괄의 중요한 측면을 형성한다.

If the spectrum of phenomena that the training data represent is considered with care, one can better understand what the model will—and will not—be able to interpret.

학습 데이터가 표현하는 현상의 범위를 신중히 고려하면, 모델이 무엇을 해석할 수 있고, 무엇을 해석할 수 없는지를 더 잘 이해할 수 있다.

Since the DBA wants to avoid any undesired outcomes from an uncontrolled model roaming freely on a sea of potentially biased training data, the organization has decided to maintain full control over the learning process.

DBA는 통제되지 않은 모델이 잠재적으로 편향된 학습 데이터 속에서 자유롭게 작동하여 원하지 않는 결과를 초래하는 것을 방지하기 위해, 학습 과정을 완전히 통제하기로 결정했다.

Thus, it abstains from using online-learning models, which continue learning autonomously from incoming data.

따라서, DBA는 들어오는 데이터로부터 자율적으로 학습을 계속하는 온라인 학습 모델 사용을 지양한다.

This aids the DBA in protecting its systems from the unintended overfitting and bias that less tightly controlled training data could more easily introduce.

이는 DBA가 덜 엄격하게 통제된 학습 데이터가 쉽게 초래할 수 있는 의도치 않은 과적합과 편향으로부터 시스템을 보호하는 데 도움을 준다.

The training may be implemented in a controlled, stepwise manner:

훈련은 통제된 단계별 방식으로 실행될 수 있다:

“We have taken a conscious decision not to use [online-learning] technologies, meaning that we train a model to a certain level and then we accept that it will not become smart until we retrain it.” (Jason, ML Lab)

“우리는 [온라인 학습] 기술을 사용하지 않기로 의도적으로 결정했으며, 이는 우리가 모델을 특정 수준까지 훈련시키고 나서 재훈련을 하기 전까지는 더 똑똑해지지 않을 것임을 받아들인다는 것을 의미합니다.” (Jason, ML Lab)

Avoidance of models that learn “on the fly” has a downside in that models’ training at the DBA is a highly involved periodic process that requires human expertise.

“실시간 학습” 모델을 회피하는 것은 단점이 있는데, DBA에서의 모델 학습이 인간의 전문성을 필요로 하는 매우 복잡한 주기적 과정이라는 점이다.

Successful training-data envelopment therefore entails numerous stakeholders at the agency cooperating periodically to assess the needs for retraining and to perform that retraining.

따라서 성공적인 학습 데이터 포괄은 기관 내 다수의 이해 관계자가 주기적으로 협력하여 재훈련 필요성을 평가하고 이를 실행하는 과정을 수반한다.

Paying attention to training data stimulates internal discussion of the data’s suitability and of possible improvements in detecting problematic cases that are flagged for manual processing.

학습 데이터에 주의를 기울이는 것은 데이터의 적합성과 수작업 처리를 위해 표시된 문제 사례를 탐지하는 방법 개선에 대한 내부 논의를 촉진한다.

To plan retraining appropriately, data scientists at the ML Lab communicate with case workers regularly with regard to analyzing the models’ performance and new kinds of incoming data.

재훈련을 적절히 계획하기 위해, ML Lab의 데이터 과학자들은 모델의 성능과 새롭게 들어오는 데이터 유형을 분석하는 문제에 대해 케이스 워커들과 정기적으로 소통한다.

Though time-consuming, this process supports employees’ mutual understanding of how the models arrive at specific results.

시간이 많이 소요되지만, 이 과정은 모델이 특정 결과에 도달하는 방식을 직원들이 상호 이해하는 데 기여한다.

A case worker described the effect as follows:

한 케이스 워커는 그 효과를 다음과 같이 설명했다:

“I’m not that technically [grounded a] person, but doing that—training the model and seeing what output actually came out from me training the model…—made my understanding of it a lot better.” (William, Company Registration)

“저는 그렇게 기술적으로 깊은 지식을 가진 사람은 아니지만, 모델을 훈련시키고 그 결과로 나온 출력을 직접 확인하는 과정을 통해 모델에 대한 이해가 훨씬 좋아졌습니다.” (William, Company Registration)

Through interaction during the retraining steps, the stakeholders gain greater appreciation of each other’s needs:

재훈련 단계에서의 상호작용을 통해, 이해 관계자들은 서로의 필요에 대한 더 깊은 이해를 얻게 된다:

“In the company team, we would very much like [a model that] tells us, ‘Look at these areas,’ areas we didn’t even think about: ‘Look at these because we can see there is something rotten going on here,’ basically. Other control departments would rather say, ‘We have seen one case that looks like this; there were these eight things wrong. Dear machine, find me cases that are exactly the same.’ And we have tried many times to tell them that that’s fine. We had a case years ago where there were a lot of bakeries that did a lot of fraud, but now it doesn’t make sense to look for bakeries anymore, because now these bakeries … are selling flowers or making computers or something different.” (Daniel, Company Registration)

“우리 팀에서는 ‘이 영역들을 보라’고 말해주는 모델을 선호합니다. 우리가 생각지도 못한 영역, ‘이곳들을 살펴보라, 여기 무언가 잘못된 점이 있는 것 같다’고 알려주는 모델을 원합니다. 반면, 다른 통제 부서에서는 ‘이와 비슷한 사례를 봤다. 여기에서 8가지 잘못된 점이 있었다. 친애하는 머신, 정확히 동일한 사례를 찾아줘’라고 요구하는 편입니다. 우리는 여러 번 그들에게 그것도 괜찮다고 말하려고 노력했습니다. 몇 년 전에는 많은 빵집들이 사기를 저질렀던 사례가 있었지만, 이제 빵집을 대상으로 찾는 것은 더 이상 말이 되지 않습니다. 왜냐하면 지금은 그 빵집들이 꽃을 팔거나 컴퓨터를 제작하는 등 완전히 다른 일을 하고 있기 때문입니다.” (Daniel, Company Registration)

In summary, training-data envelopment involves social effort in tandem with the purely technical endeavor of preparing suitable input-output mappings in machine-readable form that the AI can then be tasked with learning.

요약하자면, 학습 데이터 포괄은 적합한 입력-출력 매핑을 기계가 읽을 수 있는 형태로 준비하는 순수한 기술적 노력과 더불어 사회적 노력을 포함한다.

For the training-data envelopment to succeed, the screening and ongoing monitoring of a model’s performance requires the cooperation of many different stakeholders.

학습 데이터 포괄이 성공하려면, 모델의 성능에 대한 선별 및 지속적인 모니터링에 여러 이해 관계자들의 협력이 필요하다.

Only this can guarantee that biases and other deficiencies in the data are reduced—and that the model remains up to date.

이러한 협력만이 데이터의 편향 및 기타 결함이 줄어들고, 모델이 최신 상태를 유지하도록 보장할 수 있다.

Otherwise, as the environment changes around the model, its boundary envelope becomes outdated.

그렇지 않으면, 모델 주변의 환경이 변화함에 따라 경계 포괄이 시대에 뒤떨어지게 된다.

Training-data envelopment helps address this alongside issues of bias.

학습 데이터 포괄은 이러한 문제를 편향 문제와 함께 해결하는 데 도움을 준다.

4.4 Input and Output Envelopment

Input and output determine, respectively, what data sources are used to create predictions and what types of decisions, classifications, or actions are created as the model’s output.

입력과 출력은 각각 예측을 생성하기 위해 사용되는 데이터 소스와 모델의 출력으로 생성되는 결정, 분류 또는 행동의 유형을 결정한다.

Any potential inputs and outputs that exhibit considerable noise, risk of bias, data omissions, or other problems are enveloped out of the AI’s operation through these decisions.

상당한 노이즈, 편향 위험, 데이터 누락 또는 기타 문제가 있는 잠재적인 입력 및 출력은 이러한 결정 과정을 통해 AI의 작동 범위에서 제외된다.

The selection of input sources is thus closely tied to conceptions of data quality.

따라서 입력 소스의 선택은 데이터 품질 개념과 밀접하게 연결된다.

In the concrete case of the ID-recognition model PassportEye, the benefits of input control in conditions of poor and variable end-user-generated content became clear to the lab’s staff:

ID 인식 모델인 PassportEye의 사례에서, 열악하고 가변적인 최종 사용자 생성 콘텐츠 조건에서 입력 제어의 이점이 실험실 직원들에게 명확해졌다:

“I think our main problem was that, yeah, we had to go a little bit back and forth because the input data was [of] very varied quality. Mostly low quality. Out of the box, PassportEye actually returned very bad results, and that reflects the low quality of the input data, because people just take pictures in whatever lighting, [against] whatever background, and so on. So we actually figured out a way to rotate the images back and forth to get a more reliable result. Because, it turned out, PassportEye was quite sensitive to angle of an image. We didn’t write it [the image analysis software], so this is maybe one of the risky parts when you just import a library instead of writing it yourself.” (Thomas, ML Lab)

“우리의 주요 문제는 입력 데이터의 품질이 매우 다양했다는 것입니다. 대부분 낮은 품질이었습니다. PassportEye를 초기 설정으로 실행했을 때 결과가 매우 좋지 않았는데, 이는 입력 데이터의 낮은 품질을 반영한 것이었습니다. 사용자들이 다양한 조명 조건에서, 다양한 배경에서 사진을 촬영했기 때문입니다. 그래서 우리는 이미지를 앞뒤로 회전시켜 더 신뢰할 수 있는 결과를 얻는 방법을 찾아냈습니다. 왜냐하면 PassportEye가 이미지 각도에 매우 민감하다는 것이 드러났기 때문입니다. 이 소프트웨어를 우리가 직접 작성하지 않았기 때문에, 외부 라이브러리를 가져다 사용할 때 발생할 수 있는 위험 중 하나라고 할 수 있습니다.” (Thomas, ML Lab)

As for output envelopment, the interplay between social and technical is more prominent here.

출력 포괄의 경우, 사회적 요인과 기술적 요인의 상호작용이 더욱 두드러진다.

Instead of simply preventing production of outputs that may be untrustworthy, the DBA takes a more nuanced approach.

신뢰할 수 없는 출력을 단순히 차단하는 대신, DBA는 보다 세련된 접근 방식을 취한다.

Output of appropriate confidence ratings and intervals from the models is a subject of active deliberation at the DBA.

모델로부터 적절한 신뢰도 점수와 간격 값을 출력하는 문제는 DBA에서 활발히 논의되고 있다.

Estimates such as probabilities that a financial document is signed are important for the agency’s case workers, who need them for identifying problematic cases.

금융 문서가 서명되었을 확률과 같은 추정치는 문제 사례를 식별해야 하는 기관의 케이스 워커들에게 중요하다.

When an AI model yields a clearly specified and understandable confidence value, the case worker’s attention can be rapidly drawn to the model’s output as necessary:

AI 모델이 명확히 지정되고 이해할 수 있는 신뢰도 값을 제공할 때, 케이스 워커는 필요한 경우 모델의 출력에 신속히 주의를 기울일 수 있다:

“If there’s no signature, [the case workers] will simply reject it. Because the law says this document has to be signed, so the human will look at the papers and say, ‘It’s not here. You will not get your VAT number, or your business number, because you didn’t sign the document.’” (James, ML Lab)

“서명이 없으면 [케이스 워커들은] 단순히 이를 거부할 것입니다. 법에 따르면 이 문서는 서명이 있어야 하기 때문입니다. 그래서 인간은 서류를 보고 ‘여기에 서명이 없습니다. 서명하지 않았기 때문에 VAT 번호나 사업 번호를 받을 수 없습니다’라고 말할 것입니다.” (James, ML Lab)

When able to verify judgments on the basis of confidence ratings, the case worker can act in an accountable manner in the interactions with DBA clients (e.g., companies that have submitted documents) and respond convincingly to their inquiries.

신뢰도 점수를 바탕으로 판단을 검증할 수 있을 때, 케이스 워커는 DBA 고객(예: 문서를 제출한 기업)과의 상호작용에서 책임감 있게 행동할 수 있으며, 그들의 질문에 설득력 있게 응답할 수 있다.

“If a person calls and asks, ‘Why was my document rejected?’ then a case worker will say, ‘That’s because you have not signed it.’ ‘How do you know that?’ ‘I have looked at the document. It is not signed.’ So they don’t have to answer, ‘Well, the neural network said it because of a variable 644 in the corner.’ That’s why you can get away [with] using a neural network in this case, regardless of explainability.” (Steven, ML Lab)

“어떤 사람이 전화로 ’내 문서는 왜 거부되었나요?’라고 물으면 케이스 워커는 ‘서명하지 않았기 때문입니다’라고 말할 것입니다. ’그걸 어떻게 아시죠?’라고 물으면 ‘제가 문서를 봤습니다. 서명되어 있지 않습니다’라고 답할 것입니다. 따라서 ‘글쎄요, 신경망이 문서 모서리의 변수 644 때문이라고 했습니다’라고 답할 필요가 없습니다. 이런 이유로, 설명 가능성에 상관없이 이 경우에는 신경망을 사용할 수 있는 것입니다.” (Steven, ML Lab)

However, sometimes it is trickier to verify the model’s output unequivocally, in which case the organization strives to understand the AI model’s behavior by consulting domain experts who understand the social context of the model’s output.

그러나 때로는 모델의 출력을 명확히 검증하기가 더 어려워지는데, 이런 경우 조직은 도메인 전문가들과 상의하여 모델 출력의 사회적 맥락을 이해함으로써 AI 모델의 동작을 파악하려고 노력한다.

As Steven put it, “When [it is] harder to determine if the model is right or wrong, we can push the cases to the case workers and say, ‘Please look at this.’”

스티븐은 이를 다음과 같이 표현했다: “모델이 옳은지 그른지를 판단하기 어려울 때, 우리는 그 사례를 케이스 워커들에게 넘기고 ‘이것 좀 봐주세요’라고 요청할 수 있습니다.”

These examples of input and output envelopment demonstrate clear interplay between the social and the technical.

이러한 입력 및 출력 포괄의 사례들은 사회적 요소와 기술적 요소 간의 명확한 상호작용을 보여준다.

While an opaque model is able to process a large quantity of unstructured data efficiently and produce recommendations on whether to accept or reject particular documents, this process is closely guided by case workers who rely on organizational objectives and legislative limitations to be sure the AI-produced decisions are in line with their needs.

불투명한 모델이 대량의 비정형 데이터를 효율적으로 처리하고 특정 문서를 수락하거나 거부할지에 대한 추천을 생성할 수는 있지만, 이 과정은 AI가 생성한 결정이 조직의 목표와 법적 제한에 부합하도록 하기 위해 케이스 워커들의 면밀한 지침을 받는다.

Thus, final decisions are produced at the intersection of actions by humans and AI.

따라서 최종 결정은 인간과 AI의 행동이 교차하는 지점에서 만들어진다.

4.5 The Implications of Envelopment for Model Choice

Having demonstrated the use of several envelopment methods in concert at the DBA, we now turn to their implications for the choice of a suitable AI model.

DBA에서 여러 포괄 방법을 조합하여 사용하는 사례를 제시한 후, 이제 적합한 AI 모델 선택에 대한 그들의 영향을 논의하겠다.

Overall, the adoption of envelopment practices has enabled the DBA to use models that could otherwise pose risks.

전체적으로, 포괄 방식을 채택함으로써 DBA는 그렇지 않았다면 위험을 초래할 수 있는 모델들을 사용할 수 있게 되었다.

Different AI models are based on different architectures, which has ramifications for what the models can and cannot do.

다양한 AI 모델은 서로 다른 아키텍처를 기반으로 하며, 이는 모델이 수행할 수 있는 작업과 수행할 수 없는 작업에 영향을 미친다.

Models differ in, for example, their maturity, robustness to noise, ability to unlearn and be retrained quickly, and scalability.

예를 들어, 모델은 성숙도, 노이즈에 대한 견고성, 빠르게 학습을 잊고 재훈련할 수 있는 능력, 그리고 확장성 측면에서 차이를 보인다.

These qualities are dependent on the choice of the model type.

이러한 특성은 모델 유형 선택에 따라 달라진다.

For instance, robustness against noise is often easier to achieve with neural networks, while abilities of quick unlearning and retraining may be more rapidly exploited with decision trees.

예를 들어, 노이즈에 대한 견고성은 신경망으로 더 쉽게 달성할 수 있는 반면, 빠른 학습 해제와 재훈련 능력은 의사결정 나무에서 더 신속하게 활용될 수 있다.

Depending on the needs for accuracy and/or explainability associated with a given model type, alongside the use case, suitably chosen envelopment methods can be implemented as layers that together guarantee safe and predictable operation.

주어진 모델 유형과 사용 사례에 따라 정확성과/또는 설명 가능성에 대한 요구에 맞춰 적절히 선택된 포괄 방법은 계층으로 구현되어 안전하고 예측 가능한 작동을 보장할 수 있다.

Boundary envelopment has given the DBA more degrees of freedom in choosing its models by limiting the AI agent’s sphere of influence.

경계 포괄은 AI 에이전트의 영향 범위를 제한함으로써 DBA가 모델을 선택할 때 더 많은 자유도를 제공했다.

This has allowed the staff to take advantage of complex models that, were it not for envelopment, could be rendered problematic by their lack of explainability.

이는 포괄이 없었다면 설명 가능성의 부족으로 인해 문제가 되었을 수 있는 복잡한 모델을 직원들이 활용할 수 있게 했다.

Jason characterized this as follows: “You can sort of say we’re feeding the dragon, organization-wise, with one little biscuit at a time, so we can produce models that can be brought into production and are indeed put into production.”

제이슨은 이를 다음과 같이 설명했다: “우리는 조직적으로 ‘용에게 작은 비스킷을 하나씩 먹이는 것’이라고 할 수 있습니다. 그래서 우리는 실제로 생산 단계에 도입될 수 있는 모델을 만들어낼 수 있습니다.”

In this way, human agents adjust the organization’s processes and structures in order to contain the technological agent’s operations safely.

이러한 방식으로 인간 에이전트는 기술적 에이전트의 작동을 안전하게 제어하기 위해 조직의 프로세스와 구조를 조정한다.

Similarly, understanding and controlling data through training-data and input-data envelopment combined guarantee that the model’s behavior is within safe limits and that the DBA possesses sufficient understanding of how the outputs are generated, even in the absence of full technical traceability.

마찬가지로, 학습 데이터와 입력 데이터 포괄을 결합하여 데이터를 이해하고 제어함으로써 모델의 동작이 안전한 범위 내에 있고, 완전한 기술적 추적 가능성이 없더라도 출력이 생성되는 방식에 대한 DBA의 충분한 이해를 보장한다.

As James at the ML Lab mused:

ML Lab의 제임스가 다음과 같이 말했다:

“Here’s a new data set. What can we say about it? What should we be aware of? That’s becoming increasingly important also as we are using more data connected to people’s individual income, which is secret in Denmark …. Our experience with the initial use of the model … has emphasized that this model and the data it [encompasses] needs some additional governance to safeguard that we’re not going outside our initial intentions … We’ve revisited some of the metadata handling that’s built into the platform to ensure that we get the necessary data about how the model behaves in relation to this case handling so we can survey model output.”

“이건 새로운 데이터 세트입니다. 우리는 이 데이터에 대해 무엇을 말할 수 있을까요? 무엇을 주의해야 할까요? 덴마크에서는 개인 소득과 관련된 데이터를 점점 더 많이 사용하고 있기 때문에 이러한 질문이 점점 더 중요해지고 있습니다. 초기 모델 사용 경험을 통해 이 모델과 데이터가 처음 의도했던 목적에서 벗어나지 않도록 추가적인 관리가 필요하다는 점이 강조되었습니다. 우리는 이 사례 처리와 관련하여 모델이 어떻게 작동하는지 필요한 데이터를 확보할 수 있도록 플랫폼에 내장된 메타데이터 처리를 재검토했습니다. 이를 통해 모델 출력을 모니터링할 수 있습니다.”

With regard to output, provided that a human is able to judge its validity, one can easily opt for black-boxed models that yield superior performance.

출력과 관련하여, 사람이 그 유효성을 판단할 수 있는 경우 성능이 우수한 블랙박스 모델을 쉽게 선택할 수 있다.

The following comment by James demonstrates how exercising output control has enabled the use of an inscrutable model:

제임스의 다음 발언은 출력 제어를 활용하여 어떻게 불투명한 모델의 사용이 가능해졌는지를 보여준다:

“I don’t have to be able to explain how I got to the result in cases such as identifying a signature on a paper. You can just do deep learning because it’s easy to verify by a human afterward.”

“종이에 서명을 식별하는 것과 같은 경우, 제가 결과에 도달한 방식을 설명할 필요가 없습니다. 이후에 사람이 쉽게 검증할 수 있기 때문에 딥러닝을 사용할 수 있습니다.”

The interviews illustrate how a need for new models may arise in response to new legislative initiatives, a new organizational strategy, or changes in taxpayer behavior.

인터뷰는 새로운 법적 조치, 새로운 조직 전략, 또는 납세자 행동의 변화에 따라 새로운 모델에 대한 필요성이 어떻게 발생할 수 있는지를 보여준다.

An incumbent model may have to be retrained or even entirely overhauled if metrics for accuracy or explainability indicate that it is no longer performing satisfactorily (e.g., its classifications are no longer accurate or they start leading to nonsensical estimates that cannot be explained).

기존 모델은 정확성 또는 설명 가능성에 대한 지표가 만족스럽지 못한 성능을 나타낼 경우(예: 분류가 더 이상 정확하지 않거나 설명할 수 없는 비합리적인 추정치를 제공하기 시작할 경우), 재훈련되거나 완전히 개편되어야 할 수도 있다.

James gave an example illustrating the use of a boundary envelope to “mute” a model in such a case while it was directed to retraining or replacement:

제임스는 이러한 경우 모델을 재훈련하거나 교체하는 동안 경계 포괄을 사용하여 모델을 “음소거”한 사례를 다음과 같이 설명했다:

“The caseworkers found that the output of the model was not of quality that they could use to anything, so they muted the model. That comes back to us. We take the model down. Retrain it….”

“케이스 워커들은 모델의 출력이 그들이 어떤 작업에도 사용할 수 없는 품질임을 발견했고, 그래서 모델을 음소거했습니다. 그러면 다시 우리에게 돌아옵니다. 우리는 모델을 제거하고, 재훈련합니다….”

Through this process, humans decreased the AI’s agency in the work process by muting it and renegotiating its agency via retraining or replacement.

이 과정을 통해 인간은 모델을 음소거함으로써 작업 과정에서 AI의 자율성을 줄이고, 재훈련 또는 교체를 통해 자율성을 재협상했다.

4.6 Summary

The concept of envelopment has helped us flesh out our view of the conceptual and practical mechanisms of countering challenges posed by inscrutable AI.

포괄 개념은 불투명한 AI가 제기하는 도전에 대응하는 개념적 및 실질적 메커니즘에 대한 우리의 관점을 구체화하는 데 도움을 주었다.

The subsections above provide empirical evidence for several distinct envelopment methods in an organizational setting.

위의 하위 섹션들은 조직 환경에서 여러 가지 구체적인 포괄 방법들에 대한 경험적 증거를 제공한다.

It is worth noting that, while we found evidence of the DBA actively applying boundary, training-data, and input- and output-data envelopment, we did not observe discussions about the last of the five envelopment methods listed by Robbins (2019): function envelopment.

DBA가 경계 포괄, 학습 데이터 포괄, 입력 및 출력 데이터 포괄을 적극적으로 적용하고 있다는 증거는 발견했으나, Robbins(2019)가 제시한 다섯 가지 포괄 방법 중 마지막 방법인 기능 포괄에 대한 논의는 관찰되지 않았다.

Function envelopment refers to deciding that an AI agent will not be used for certain purposes even though it could do so accurately.

기능 포괄은 AI 에이전트가 정확히 수행할 수 있음에도 불구하고 특정 용도로 사용하지 않도록 결정하는 것을 의미한다.

Behind this decision may be ethics considerations, for instance.

이 결정 뒤에는 윤리적 고려 사항이 있을 수 있다.

We believe that the lack of discussion of topics related to function envelopment at the DBA can be explained by the goals for each system having already been narrowly specified based on government regulations for every process.

DBA에서 기능 포괄과 관련된 논의가 부족했던 이유는, 각 시스템의 목표가 모든 프로세스에 대해 정부 규정에 따라 이미 좁게 정의되어 있었기 때문이라고 생각한다.

We summarize the findings as follows.

다음과 같이 연구 결과를 요약할 수 있다.

Considering, first, that the DBA has been able to implement several AI-based solutions successfully in its operations and, second, the evidence of envelopment in the DBA’s practices (both in general and pertaining to the various methods), the concept of envelopment appears to effectively capture some of the ways in which the explainability-accuracy tradeoff presented in Figure 1 can be managed in AI implementation.

첫째, DBA가 여러 AI 기반 솔루션을 성공적으로 운영에 도입할 수 있었고, 둘째, DBA의 실무에서 다양한 포괄 방법이 적용된 증거를 고려할 때, 포괄 개념은 그림 1에서 제시된 설명 가능성과 정확성 간의 균형을 AI 구현에서 관리하는 방법 중 일부를 효과적으로 포착한 것으로 보인다.

Specifically, our findings indicate that, although envelopment does not change the relationship between accuracy and explainability, it allows organizations to choose from a wider range of AI models without facing an insurmountable risk of harmful consequences (e.g., wildly unpredictable outcomes).

특히, 연구 결과에 따르면 포괄이 정확성과 설명 가능성 간의 관계를 바꾸지는 않지만, 조직이 심각한 부작용(예: 전혀 예측할 수 없는 결과)의 위험 없이 더 다양한 AI 모델을 선택할 수 있게 해준다.

Envelopment can permit an organization to compromise some explainability for the sake of greater accuracy without needing to worry, as long as this takes place within some limits of predictable behavior.

포괄은 예측 가능한 행동의 한계를 벗어나지 않는 한, 조직이 더 높은 정확성을 위해 일정 부분 설명 가능성을 타협할 수 있도록 한다.

The principal benefit of envelopment is depicted in Figure 3 below.

포괄의 주요 이점은 아래 그림 3에 나타나 있다.

Figure 3. How Envelopment Expands the Set of Models an Organization May Adopt Without Excessive Risk

Second, in terms of the sociotechnical perspective, regardless of which envelopment method they were discussing, the interviewees never spoke of a purely technical solution for limiting AI agents’ capabilities.

둘째, 사회기술적 관점에서 인터뷰 참여자들은 포괄 방법에 대해 논의할 때 AI 에이전트의 역량을 제한하기 위한 순수 기술적 해결책만을 언급한 적이 없다.

Analysis revealed that, rather than in isolation, such actions were always carried out via iterative negotiations that took into account several stakeholder views, responsibility to society, and particular implications for the personnel’s work processes.

분석 결과, 이러한 조치들은 단독으로 수행된 것이 아니라 여러 이해관계자의 관점, 사회에 대한 책임, 그리고 직원의 업무 프로세스에 미치는 특정 영향을 고려한 반복적인 협상을 통해 항상 수행되었다.

5 Discussion

In this research, we asked:

본 연구에서 우리는 다음과 같은 질문을 던졌다:

How can an organization exploit inscrutable AI systems in a safe and socially responsible manner?

조직이 불투명한 AI 시스템을 안전하고 사회적으로 책임감 있게 활용할 수 있는 방법은 무엇인가?

We sought answers to this question by conducting a case study of a publicly funded organization that regularly deploys AI to improve its operations, which are of importance for society.

우리는 사회적으로 중요한 운영을 개선하기 위해 정기적으로 AI를 활용하는 공공 자금 지원 조직을 대상으로 사례 연구를 수행하여 이 질문에 대한 답을 구했다.

As described above, the study and analysis of the results built on the concept of envelopment as a possible approach to balancing accuracy with explainability and finding good harmony between efficiency and safety.

위에서 설명했듯이, 본 연구는 정확성과 설명 가능성 간의 균형을 맞추고 효율성과 안전성 간의 조화를 이루기 위한 가능한 접근 방식으로 포괄 개념을 기반으로 하여 결과를 연구하고 분석했다.

First, the case study showed that AI’s envelopment, as a concept, holds empirical validity in an organizational knowledge-work setting.

첫째, 사례 연구는 조직의 지식 업무 환경에서 포괄이라는 개념이 경험적 타당성을 지닌다는 것을 보여주었다.

The analysis presented above clearly identified three significant findings.

위에서 제시된 분석은 세 가지 중요한 발견을 명확히 확인했다.

This complements prior envelopment literature (see Floridi, 2011; Robbins, 2020), which is of a purely conceptual nature.

이는 순전히 개념적 성격을 가진 이전의 포괄 관련 문헌(예: Floridi, 2011; Robbins, 2020)을 보완한다.

Second, we demonstrated that envelopment is far more than a technical matter—to be effective, it has to be situated at the intersection of the technical and the social.

둘째, 우리는 포괄이 단순한 기술적 문제가 아니라는 것을 입증했으며, 효과적이기 위해서는 기술적 요소와 사회적 요소의 교차점에서 이루어져야 한다는 것을 보여주었다.

Our study showed how social factors pervade all aspects of envelopment and that human agents are an integral part of envelopment, responsible for defining suitable envelopes as well as maintaining and renegotiating them.

우리 연구는 사회적 요인이 포괄의 모든 측면에 걸쳐 스며들어 있으며, 인간 에이전트가 적합한 경계를 정의하고 이를 유지하며 재협상하는 데 책임이 있는 포괄의 필수적인 구성 요소임을 보여주었다.

Finally, the analysis articulated connections between envelopment methods and the choice of ML model.

마지막으로, 분석은 포괄 방법과 ML 모델 선택 간의 연관성을 명확히 제시했다.

Together, these findings demonstrate the utility of envelopment—sociotechnical envelopment in particular—as an approach to understanding the ways in which AI’s role in an organization can be conceptualized and the ways in which its responsibilities can be defined and managed.

이러한 연구 결과들은 AI의 조직 내 역할을 개념화하고 그 책임을 정의 및 관리하는 방법을 이해하기 위한 접근 방식으로서, 특히 사회기술적 포괄의 유용성을 입증한다.

We discuss specific implications for theory and practice next.

이제 이론과 실무에 대한 구체적인 함의를 논의하겠다.

5.1 Implications for Theory

Attending to the considerations described above allows for deeper sociotechnical discussion of enveloping AI, anchored in the DBA case as an example.

위에서 설명한 요소들을 고려함으로써, DBA 사례를 기반으로 한 AI 포괄에 대한 더 깊은 사회기술적 논의가 가능해진다.

This is possible via synthesis of prior literature and our empirical results.

이는 기존 문헌과 우리의 경험적 결과를 종합함으로써 가능하다.

Sarker et al.’s (2019) review of sociotechnical approaches in IS research, discussed near the beginning of this paper, warns that today’s IS work is in danger of too often being focused on technologies’ instrumental outcomes, since they are easier to measure and evaluate.

Sarker 등(2019)이 IS 연구에서 사회기술적 접근법에 대해 검토한 내용을 보면, 오늘날의 IS 작업이 측정하고 평가하기 쉬운 기술적 결과에 지나치게 초점을 맞출 위험이 있다는 점을 경고하고 있다.

Sarker and colleagues suggest that sociotechnically oriented IS scholars would do well to address both the instrumental and humanistic outcomes of systems.

Sarker와 동료들은 사회기술적으로 지향된 IS 연구자들이 시스템의 기술적 결과와 인간적 결과를 모두 다룰 필요가 있다고 제안한다.

In the case of the DBA, any given AI deployment’s possible instrumental outcomes would indeed be easier to analyze and declare than its humanistic outcomes, since they tie in with typical reasons for automating processes, such as aims of increased efficiency and higher precision.

DBA의 경우, 자동화 프로세스의 전형적인 이유인 효율성 증대와 높은 정밀도 같은 목표와 연결되기 때문에, 특정 AI 배치의 기술적 결과는 인간적 결과보다 분석하고 선언하기가 더 쉽다.

However, we saw that such instrumental outcomes are not the only consideration at the DBA: it was deemed crucial that AI projects not lead to misuses of government power or unnecessary profiling/surveillance of either citizens or private enterprises.

그러나 우리는 이러한 기술적 결과만이 DBA에서 고려되는 요소가 아님을 발견했다. AI 프로젝트가 정부 권한의 남용이나 시민 또는 민간 기업에 대한 불필요한 프로파일링/감시로 이어지지 않는 것이 중요하다고 여겨졌다.

Such outcomes would be problematic from a humanistic perspective and would compromise the organization’s integrity as a public authority, potentially introducing erosion of public trust.

이러한 결과는 인간적 관점에서 문제가 될 수 있으며, 공공기관으로서 조직의 진정성을 훼손하고 공공 신뢰의 침식을 초래할 가능성이 있다.

Moreover, AI projects have humanistic outcomes even internally to the DBA.

게다가, AI 프로젝트는 DBA 내부적으로도 인간적 결과를 초래한다.

They expand case workers’ opportunities to redesign their work processes—in fact, most of the agency’s projects are undertaken in light of their proposals—and case workers are also directly involved in AI development processes.

이들은 케이스 워커들이 자신의 업무 프로세스를 재설계할 기회를 확장시키며, 실제로 해당 기관의 대부분의 프로젝트는 이들의 제안을 바탕으로 수행되고, 케이스 워커들은 AI 개발 과정에 직접 참여한다.

This serves to increase workplace democracy, empowerment, and occupational well-being.

이는 직장 내 민주주의, 권한 부여, 그리고 직업적 복지를 증진하는 데 기여한다.

The DBA’s AI envelopment is clearly a sociotechnical process: the technical specification of limits for AI’s operations takes place via a social process wherein the case workers and other stakeholders are central actors.

DBA의 AI 포괄은 분명히 사회기술적 과정으로, AI 운영 한계의 기술적 명세는 케이스 워커와 다른 이해관계자들이 중심 역할을 하는 사회적 과정을 통해 이루어진다.

The fact that the DBA’s AI development is typically triggered by case workers suggests that the organization has adopted an emergent mode of operation.

DBA의 AI 개발이 일반적으로 케이스 워커에 의해 시작된다는 사실은 이 조직이 발생적 운영 방식을 채택했음을 시사한다.

Case workers identify practical domain problems for the ML Lab to work on and they also participate in the AI models’ development.

케이스 워커들은 ML Lab이 작업할 실질적인 도메인 문제를 식별하고, AI 모델 개발에도 참여한다.

In the search for a suitable model, ML experts and case workers analyze the capabilities and constraints entailed by various ML models, then match them interactively with the properties of the problems to be solved.

적합한 모델을 찾는 과정에서 ML 전문가와 케이스 워커들은 다양한 ML 모델이 가진 능력과 제약을 분석한 후, 이를 해결해야 할 문제의 속성과 상호 연계시킨다.

When suitable models are not found for the problem at hand, the problem is broken into an alternative structure.

해결해야 할 문제에 적합한 모델을 찾지 못할 경우, 해당 문제는 대안적인 구조로 나뉜다.

Another approach, in such cases, is to adapt the case workers’ role in resolution to mesh with the AI system’s capabilities.

이런 경우 또 다른 접근 방식은 케이스 워커의 역할을 AI 시스템의 역량에 맞게 조정하는 것이다.

We propose theoretical implications for (1) describing organizational AI implementation as a balancing act between human and AI agency, and (2) conceptualizing sociotechnical envelopment as the primary tool for this crucial balancing act.

우리는 (1) 조직의 AI 구현을 인간과 AI의 주체성 간의 균형 행위로 설명하고, (2) 이 중요한 균형 행위를 위한 주요 도구로 사회기술적 포괄을 개념화하는 데 대한 이론적 함의를 제안한다.

Addressing the first implication builds on considering how AI development processes consist of action sequences in which case workers and AI systems, as partnered agents, carry out tasks together.

첫 번째 함의를 다루기 위해, AI 개발 과정이 케이스 워커와 AI 시스템이 협력하는 주체로서 함께 작업을 수행하는 일련의 행동으로 구성된다는 점을 고려해야 한다.

The desired level of agency (that is, a suitable balance between humans and AI systems) is determined in the course of developing models and governed by the capabilities and constraints of the possible AI solutions.

원하는 수준의 주체성(즉, 인간과 AI 시스템 간의 적절한 균형)은 모델 개발 과정에서 결정되며, 가능한 AI 솔루션의 역량과 제약에 의해 규제된다.

AI technologies’ powerful information-processing capabilities offer an abundance of opportunities for numerous kinds of implementation (Kaplan & Haenlein, 2019).

AI 기술의 강력한 정보 처리 능력은 다양한 유형의 구현에 대한 풍부한 기회를 제공한다(Kaplan & Haenlein, 2019).

At the same time, thanks to ready availability of scalable computing resources, AI places few constraints on data-processing capacity (Lindebaum et al., 2020).

동시에, 확장 가능한 컴퓨팅 자원의 손쉬운 접근성 덕분에 AI는 데이터 처리 능력에 거의 제약을 두지 않는다(Lindebaum et al., 2020).

However, because of the complexity of many AI models, the technology presents constraints with regard to its ability to provide technical explanations for its workings.

그러나 많은 AI 모델의 복잡성으로 인해, 이러한 기술은 작동 원리에 대한 기술적 설명을 제공하는 데 제약을 나타낸다.

Therefore, AI’s potential still must be curbed appropriately: for example, it is necessary to find an acceptable explainability-accuracy tradeoff and, to this end, one must also establish the required level of meaningful explainability for a given context (Ribera & Lapedriza, 2019; Robbins, 2019), which takes place via negotiations across the agency among social actors.

따라서 AI의 잠재력은 여전히 적절히 억제되어야 한다. 예를 들어, 허용 가능한 설명 가능성과 정확성 간의 절충점을 찾아야 하며, 이를 위해 주어진 맥락에서 요구되는 수준의 의미 있는 설명 가능성을 확립해야 한다(Ribera & Lapedriza, 2019; Robbins, 2019). 이러한 과정은 기관 내 사회적 행위자 간의 협상을 통해 이루어진다.

Hence, AI implementations tend to involve a balancing act between human and AI agency to arrive at a suitable level of agency for the AI.

따라서 AI 구현은 AI에 적합한 수준의 주체성을 달성하기 위해 인간과 AI 주체성 간의 균형 행위를 포함하는 경향이 있다.

In this context, the power balance between the two parties is more equal than in many other human-technology relationships (e.g., implementing enterprise resource planning systems) in which the technology’s workings are known and its capabilities seem less likely to represent unexpected negative consequences for stakeholders.

이러한 맥락에서 두 당사자 간의 권력 균형은 기술의 작동 방식이 알려져 있고 이해관계자들에게 예기치 않은 부정적인 결과를 초래할 가능성이 적어 보이는 다른 인간-기술 관계(예: 기업 자원 계획 시스템 구현)보다 더 평등하다.

This discussion leads us to the second implication: conceptualization of sociotechnical envelopment.

이 논의는 두 번째 함의로 이어진다. 즉, 사회기술적 포괄의 개념화이다.

Two-pronged envelopment of this nature emphasizes the social dimension that is missing from existing envelopment literature (Floridi, 2011; Robbins, 2020) by focusing on the interaction of human and AI agencies, instead of on merely limiting or adjusting an AI system’s capabilities.

이와 같은 이중적인 포괄은 AI 시스템의 역량을 단순히 제한하거나 조정하는 데 초점을 맞추는 대신, 인간과 AI 주체성의 상호작용에 초점을 맞추어 기존 포괄 문헌(Floridi, 2011; Robbins, 2020)에서 누락된 사회적 차원을 강조한다.

In doing so, we have been able to extend discussion on envelopment by revealing how envelopes can be constructed and maintained in a sociotechnical setting.

이를 통해, 우리는 사회기술적 환경에서 경계가 어떻게 구성되고 유지될 수 있는지를 밝힘으로써 포괄에 대한 논의를 확장할 수 있었다.

We posit that this sociotechnical view of envelopment may offer a powerful tool for success in the balancing act between human and AI agency by offering a rich mechanism through which AI capabilities can be curbed in settings where ethics, safety, and accountability are vital to operations.

우리는 이 사회기술적 포괄 관점이 윤리, 안전, 책임성이 운영의 핵심인 환경에서 AI 역량을 억제할 수 있는 풍부한 메커니즘을 제공함으로써 인간과 AI 주체성 간 균형을 성공적으로 달성하는 강력한 도구를 제공할 수 있다고 본다.

This should help to offset the impact of uncertainty introduced by the inscrutability of AI and thus allow organizations to obtain efficiency gains from AI systems that offer powerful capabilities but lack explainability.

이는 AI의 불가해성으로 인해 발생하는 불확실성의 영향을 상쇄하고, 따라서 강력한 역량을 제공하지만 설명 가능성이 부족한 AI 시스템으로부터 조직이 효율성을 얻을 수 있도록 도울 것이다.

5.2 Practical Implications

For managers, whose expertise often lies in managing humans rather than AI agents, the envelopment methods presented and illustrated in this paper offer a suitable vocabulary and toolbox for handling AI development.

인간보다는 AI 에이전트를 관리하는 데 익숙하지 않은 관리자들에게, 본 논문에서 제시되고 설명된 포괄 방법은 AI 개발을 다루는 데 적합한 어휘와 도구를 제공한다.

Through a process of analyzing the risks a given AI solution creates for business, ethics, consumer rights (e.g., the right to explanation), and environmental safety, a manager may be able to apprehend the organization’s needs for envelopment.

특정 AI 솔루션이 비즈니스, 윤리, 소비자 권리(예: 설명 받을 권리), 환경 안전에 초래하는 위험을 분석하는 과정을 통해, 관리자는 조직의 포괄적 요구를 이해할 수 있다.

On this basis, sociotechnical approaches may be implemented and aligned with operations management and AI solution development, all in a manner that renders the models more understandable to stakeholders and addresses AI interpretability needs specific to data scientists.

이를 바탕으로, 사회기술적 접근법이 운영 관리 및 AI 솔루션 개발과 조화를 이루어 구현될 수 있으며, 이는 모델을 이해관계자들에게 더 명확히 전달하고 데이터 과학자들에게 필요한 AI 해석 가능성을 충족시킬 수 있다.

A word of caution is crucial, however.

그러나 주의가 반드시 필요하다.

Even in the presence of envelopment, one should not accept black-box models without having devoted significant effort to finding interpretable models.

포괄적 접근이 존재하더라도, 해석 가능한 모델을 찾기 위해 상당한 노력을 기울이지 않은 채 블랙박스 모델을 수용해서는 안 된다.

While a black-box model may initially appear to be the only alternative, there are good reasons to believe that accurate yet interpretable models may exist in many more domains than now recognized.

블랙박스 모델이 처음에는 유일한 대안처럼 보일 수 있지만, 정확하면서도 해석 가능한 모델이 현재 인식된 것보다 훨씬 더 많은 영역에서 존재할 가능성이 충분하다.

Identifying such models offers greater benefit than does the sociotechnical envelopment of a black-box model.

이러한 모델을 식별하는 것은 블랙박스 모델의 사회기술적 포괄보다 더 큰 이점을 제공한다.

For every decision problem involving uncertainty and a limited training data set, numerous nearly optimal, reasonably accurate predictive models usually can be identified.

불확실성과 제한된 학습 데이터 세트를 포함한 모든 의사 결정 문제에서, 거의 최적에 가까우며 합리적으로 정확한 예측 모델을 다수 식별할 수 있다.

This assertion stems from the so-called Rashomon set argument (Rudin, 2019), under which there is a good chance that at least one of the acceptable models is interpretable yet still accurate.

이 주장은 이른바 라쇼몽 집합 논증(Rudin, 2019)에서 비롯되며, 이에 따르면 적어도 하나의 수용 가능한 모델이 해석 가능하면서도 여전히 정확할 가능성이 높다.

Another recommended approach that simplifies envelopment is to strive for “gray-box models,” as exemplified by the creation of “digital twins” that can simulate real, physical processes (see El Saddik, 2018; Kritzinger et al., 2018).

포괄을 단순화하는 또 다른 권장 접근법은 실제 물리적 프로세스를 시뮬레이션할 수 있는 “디지털 트윈”의 생성(El Saddik, 2018; Kritzinger et al., 2018)으로 예시되는 “그레이박스 모델”을 추구하는 것이다.

Gray-box ML solutions are modeled in line with laws, theories, and principles known to hold in the given domain.

그레이박스 ML 솔루션은 해당 도메인에서 유효하다고 알려진 법칙, 이론, 원칙에 따라 모델링된다.

For example, such an approach can establish a structure for a neural network, whereupon the free parameters can be trained more quickly to achieve high performance, without any reduction in explainability.

예를 들어, 이러한 접근법은 신경망의 구조를 설정할 수 있으며, 이를 통해 자유 매개변수를 더 빠르게 훈련하여 설명 가능성을 감소시키지 않고 높은 성능을 달성할 수 있다.

Another practical benefit of adopting envelopment as a tool for AI implementation is its relationship to technical debt.

포괄을 AI 구현의 도구로 채택함으로써 얻을 수 있는 또 다른 실질적인 이점은 기술 부채와의 관계이다.

In an AI context, at least two kinds of debt can be identified.

AI 맥락에서 최소 두 가지 유형의 부채를 식별할 수 있다.

The first is related to selecting models that do not offer the best accuracy for the problems at hand (Cunningham, 1992; Kruchten et al., 2012), as occurs if an organization needs to ensure explainability in its implementation.

첫 번째는 조직이 구현 과정에서 설명 가능성을 보장해야 하는 경우처럼, 현재의 문제에 대해 최상의 정확도를 제공하지 않는 모델을 선택하는 것과 관련된다(Cunningham, 1992; Kruchten et al., 2012).

The other source, connected with documentation, applies to software development in general: organizations may decide to expedite their implementation efforts if they decide to relax the requirements for documenting their decisions and code (see Allman, 2012; Rolland et al., 2018).

다른 부채의 원천은 문서화와 관련된 것으로, 일반적인 소프트웨어 개발에 적용된다. 조직은 의사결정 및 코드 문서화 요구 사항을 완화하기로 결정하면 구현 작업을 가속화할 수 있다(Allman, 2012; Rolland et al., 2018).

This may backfire if employee turnover rears its head and no one remains who can explain the underlying logic of the AI system.

이러한 접근은 직원 이직이 발생하여 AI 시스템의 근본적인 논리를 설명할 수 있는 사람이 남아 있지 않으면 역효과를 낼 수 있다.

After all, answers only exist in individuals’ heads or buried in code.

결국 답은 개인의 머릿속에만 있거나 코드 속에 묻혀 있는 경우가 많다.

Envelopment may offer a means to address both types of debt: debt resulting from risk-averse choices in AI implementation that lag behind the problem’s development, and debt occurring because of decisions to relax documentation requirements.

포괄적 접근은 두 가지 유형의 부채를 해결할 수 있는 수단을 제공할 수 있다. 이는 문제 개발보다 뒤처지는 AI 구현에서 위험 회피적인 선택으로 인한 부채와 문서화 요구 사항을 완화하기로 한 결정으로 인해 발생하는 부채를 포함한다.

Since envelopment involves carefully making and documenting decisions, it may serve as a practice whereby design decisions are rendered explicit; for example, implicit assumptions about the problem and model may be recorded.

포괄적 접근은 신중하게 의사결정을 내리고 이를 문서화하는 것을 포함하기 때문에, 설계 의사결정을 명시적으로 만드는 관행으로 작용할 수 있다. 예를 들어, 문제와 모델에 대한 암묵적 가정을 기록할 수 있다.

Envelopment, therefore, not only supports documentation but, by enabling the use of more accurate models, it can also decrease the accumulation of technical debt rooted in a conservative model-choice strategy.

따라서 포괄적 접근은 문서화를 지원할 뿐만 아니라 더 정확한 모델 사용을 가능하게 함으로써 보수적인 모델 선택 전략에 뿌리를 둔 기술 부채의 축적을 줄일 수도 있다.

5.3 Limitations and Further Research

Our research has some limitations.

우리 연구에는 몇 가지 한계가 있다.

First, we used purposive sampling and studied a government unit as our empirical case since we presumed it would provide an empirically rich setting for gathering data on the use of AI.

첫째, 우리는 목적 표본 추출을 사용하였으며, AI 사용에 대한 데이터를 수집하기에 경험적으로 풍부한 환경을 제공할 것이라고 가정하여 정부 기관을 실증 사례로 연구하였다.

This choice, while supplying ample evidence of the envelopment strategies employed, did restrict us to studying such strategies in the specific setting of a public organization.

이 선택은 포괄 전략의 적용에 대한 충분한 증거를 제공했지만, 이러한 전략을 공공 조직이라는 특정 환경에서만 연구하도록 제한했다.

Further research could examine envelopment of AI in a larger variety of contexts.

추가 연구에서는 더 다양한 맥락에서 AI의 포괄 전략을 검토할 수 있다.

For example, private firms driven by differently weighted objectives might use other types of envelopment strategies or employ the ones we studied in different ways.

예를 들어, 다른 가중치를 둔 목표에 의해 움직이는 민간 기업들은 다른 유형의 포괄 전략을 사용할 수도 있고, 우리가 연구한 전략들을 다른 방식으로 적용할 수도 있다.

Moreover, our study did not find evidence pertaining to function envelopment—likely because the purposes of AI’s use at the DBA are already strictly mandated by laws and regulations.

게다가, 우리 연구에서는 기능 포괄에 관한 증거를 발견하지 못했는데, 이는 아마도 DBA에서 AI 사용의 목적이 이미 법률과 규정에 의해 엄격히 규정되어 있기 때문일 것이다.

Indeed, there was seldom reason to discuss whether the DBA’s AI solutions should be applied to purposes for which they were never designed.

실제로, DBA의 AI 솔루션이 설계되지 않은 목적으로 적용되어야 하는지에 대해 논의할 이유는 거의 없었다.

Second, while our access to the case organization permitted in-depth analysis of the envelopment strategies applied, we could not examine their long-term implications.

둘째, 사례 조직에 대한 접근이 포괄 전략의 적용에 대한 심층 분석을 가능하게 했지만, 해당 전략의 장기적인 영향을 조사할 수는 없었다.

Further research is needed to probe the impacts of these envelopment strategies over time.

이러한 포괄 전략들이 시간이 지남에 따라 미치는 영향을 탐구하기 위해 추가 연구가 필요하다.

Finally, while we were granted generous access for conducting interviews and analyzing secondary material, our corpus of interview data is naturally limited to what the informants expressed.

마지막으로, 인터뷰를 진행하고 2차 자료를 분석할 수 있는 충분한 접근권을 부여받았음에도, 우리의 인터뷰 데이터는 본질적으로 정보 제공자들이 표현한 내용으로 제한된다.

To mitigate the risks associated with informant bias, we strove to obtain multiple views on all critical pieces of evidence associated with envelopment strategies.

정보 제공자의 편향과 관련된 위험을 완화하기 위해, 우리는 포괄 전략과 관련된 모든 핵심 증거에 대해 다양한 관점을 확보하려 노력했다.

For example, we interviewed every employee working at the DBA’s ML Lab, with the aim of harnessing several perspectives on each project.

예를 들어, 우리는 DBA의 ML Lab에서 일하는 모든 직원을 인터뷰하여 각 프로젝트에 대한 다양한 관점을 얻고자 했다.

With regard to both the utility of this paper and outgrowths of the efforts presented here, we wish to emphasize the value of developing a fuller understanding of the various methods by which AI and ML solutions can be controlled in order to harness the strengths they bring to the table.

이 논문의 유용성과 여기에서 제시된 노력의 결과와 관련하여, AI와 ML 솔루션이 제공하는 강점을 활용하기 위해 이러한 솔루션을 제어하는 다양한 방법을 더 깊이 이해하는 것의 가치를 강조하고자 한다.

Envelopment strategies and their deeper examination can offer a practical means toward this end.

포괄 전략과 그에 대한 심층적인 분석은 이를 위한 실질적인 수단을 제공할 수 있다.

Although the application of envelopment at the DBA was not grounded in the literature conceptualizing these practices (e.g., Floridi, 2011; Robbins, 2020), given DBA developers’ awareness of this prior work, more informed harvesting of the methods’ potential could follow.

DBA에서의 포괄적 접근 적용은 이러한 관행을 개념화한 문헌(예: Floridi, 2011; Robbins, 2020)에 기반하지 않았지만, DBA 개발자들이 이전 연구를 인지하고 있음을 고려할 때, 이러한 방법의 잠재력을 보다 체계적으로 활용할 가능성이 열려 있다.

Alongside such opportunities, future research could investigate whether the dynamics between humans and AI agents discussed here carry over to contexts other than AI implementation.

이러한 기회와 함께, 향후 연구는 여기서 논의된 인간과 AI 에이전트 간의 역학 관계가 AI 구현 이외의 맥락에서도 적용될 수 있는지 조사할 수 있다.

We believe that similar logic might be identifiable, albeit in different forms, in other contexts where safe, ethical, and accountable IS implementation is crucial.

우리는 안전하고 윤리적이며 책임 있는 정보 시스템 구현이 중요한 다른 맥락에서도, 비록 다른 형태일지라도 유사한 논리를 식별할 수 있을 것으로 믿는다.

6 Conclusion

We find considerable promise in our definition and operationalization of sociotechnical envelopment in an organizational context.

우리는 조직적 맥락에서 사회기술적 포괄을 정의하고 이를 운영화하는 데 있어 상당한 가능성을 발견했다.

The findings shed light on specific instances of envelopment and they aid in identifying particular socially and technically oriented approaches to envelopment.

이 연구 결과는 포괄 전략의 구체적인 사례를 밝혀내고, 사회적 및 기술적 관점에서 포괄 전략을 실행하는 특정 접근 방식을 식별하는 데 도움을 준다.

We have been able to offer, as a starting point, a tantalizing glimpse of the capabilities and limitations of various sociotechnical envelopment approaches for addressing issues related to the safer use of AI for human good.

우리는 인간의 이익을 위한 AI의 보다 안전한 사용과 관련된 문제를 해결하기 위해 다양한 사회기술적 포괄 접근 방식의 역량과 한계를 엿볼 수 있는 출발점을 제공하였다.