논문 리뷰 : 정보 시스템 연구에서의 인공지능

Collins, Christopher, et al. (2021)

Artificial intelligence in information systems research: A systematic literature review and research agenda

Collins, Christopher, et al. "Artificial intelligence in information systems research: A systematic literature review and research agenda." International Journal of Information Management 60 (2021): 102383.

https://dl.acm.org/doi/10.1016/j.ijinfomgt.2021.102383

Artificial intelligence in information systems research: : A systematic literature review and research agenda: International Jou

ABSTRACT

systems (IS) research community in recent years. There is, however, a growing concern that research on AI could experience a lack of cumulative building of knowledge, which has overshadowed IS research previously.

정보 시스템(IS) 연구 커뮤니티에서 최근 인공지능(AI)에 대한 연구가 급증하고 있다. 그러나 AI 연구가 누적된 지식의 구축이 부족할 수 있다는 우려가 커지고 있으며, 이는 이전의 IS 연구에서 이미 드러났던 문제이다.

This study addresses this concern, by conducting a systematic literature review of AI research in IS between 2005 and 2020. The search strategy resulted in 1877 studies, of which 98 were identified as primary studies and a synthesise of key themes that are pertinent to this study is presented. In doing so, this study makes important contributions, namely (i) an identification of the current reported business value and contributions of AI, (ii) research and practical implications on the use of AI and (iii) opportunities for future AI research in the form of a research agenda.

이 연구는 이러한 우려를 해결하기 위해 2005년부터 2020년까지의 IS에서 AI 연구에 대한 체계적인 문헌 검토를 실시하였다. 검색 결과 1877개의 연구가 확인되었고, 이 중 98개가 주요 연구로 선정되어 이 연구와 관련된 주요 주제를 종합하였다. 이를 통해 이 연구는 다음과 같은 중요한 기여를 한다. 첫째, AI의 현재 보고된 비즈니스 가치와 기여를 식별하고, 둘째, AI의 사용에 대한 연구 및 실질적인 시사점을 제시하며, 셋째, 향후 AI 연구의 기회를 연구 의제로 제시한다.

Keywords: Artificial intelligence, AI, Machine learning, Systematic literature review, Research agenda

1. Introduction

AI has been claimed to offer transformational potential across sectors and industries, ranging from supply chain management (Chi, Huang, & George, 2020; Collins, Youngdahl, Jamison, Mobasher, & Gini, 1998; Nissen & Sengupta, 2006; Rodriguez-Aguilar, Martin, Noriega, Garcia, & Sierra, 1998) to medicine (Ali, Shrestha, Soar, & Wamba, 2018; Cepolina & Muscolo, 2014; Mettler, Sprenger, & Winter, 2017; Wang, Savkin, Clout, & Nguyen, 2015) to automobiles (Lugano, 2017).

AI는 공급망 관리(Chi, Huang, & George, 2020; Collins, Youngdahl, Jamison, Mobasher, & Gini, 1998; Nissen & Sengupta, 2006; Rodriguez-Aguilar, Martin, Noriega, Garcia, & Sierra, 1998)에서 의학(Ali, Shrestha, Soar, & Wamba, 2018; Cepolina & Muscolo, 2014; Mettler, Sprenger, & Winter, 2017; Wang, Savkin, Clout, & Nguyen, 2015), 자동차(Lugano, 2017)에 이르기까지 다양한 산업과 분야에서 변혁적인 잠재력을 제공한다고 주장된다.

Studies have reported that AI provides opportunities to reinvent business models (Duan, Edwards, & Dwivedi, 2019), change the future of work (Schwartz et al., 2019), performance improvements (Wilson & Daugherty, 2018), and even enhance human capabilities (Dwivedi, et al., 2021).

연구에 따르면 AI는 비즈니스 모델을 재창조하고(Duan, Edwards, & Dwivedi, 2019), 미래의 업무 방식을 변화시키며(Schwartz et al., 2019), 성과를 향상시키고(Wilson & Daugherty, 2018), 심지어 인간의 능력을 강화하는(Dwivedi, et al., 2021) 기회를 제공한다고 보고되었다.

Yet, there is no consensus on what defines AI or what distinguishes it from other digital technologies (Bhatnagar et al., 2018; Monett & Lewis, 2018; Nilsson, 2009).

그러나 AI를 정의하거나 다른 디지털 기술과 구별하는 데 있어 합의가 존재하지 않는다(Bhatnagar et al., 2018; Monett & Lewis, 2018; Nilsson, 2009).

There are a few reasons attributed to this upswing in AI interest in recent years (von Krogh, 2018). The past few decades have seen tremendous advancements in some of the underlying AI methods such as current and conventional neural networks, many of which have been made open-source and thus available to everyone.

최근 몇 년간 AI에 대한 관심이 급증한 몇 가지 이유가 있다(von Krogh, 2018). 지난 수십 년 동안 현재와 기존의 신경망과 같은 AI의 기초적인 방법들이 크게 발전하였으며, 이들 중 다수는 오픈 소스로 제공되어 누구나 이용할 수 있게 되었다.

AI requires extensive and sophisticated computation, so the decreasing cost in computer hardware and dedicated AI chip designs is making it much more feasible and thus attractive to organizations.

AI는 방대한 계산을 요구하기 때문에 컴퓨터 하드웨어와 전용 AI 칩 설계의 비용이 감소하면서 조직들에게 더 매력적으로 다가가고 있다.

The aim of this research is to understand the various characteristics of AI studied within the context of IS. A systematic literature review is important as it can be used to provide a valuable baseline to aid in further research efforts (Kitchenham, Budgen, & Brereton, 2011; Petersen, Vakkalanka, & Kuzniarz, 2015).

이 연구의 목적은 IS의 맥락에서 연구된 AI의 다양한 특성을 이해하는 것이다. 체계적인 문헌 검토는 추가 연구를 돕는 중요한 기초 자료를 제공할 수 있기 때문에 중요하다(Kitchenham, Budgen, & Brereton, 2011; Petersen, Vakkalanka, & Kuzniarz, 2015).

The aims of this systematic review are to:
1. identify the reported business value and contributions of AI
2. examine the practical implications on the use of AI
3. identify the opportunities for future AI research in IS.

이 체계적 문헌 검토의 목표는 다음과 같다:
1. AI의 보고된 비즈니스 가치와 기여를 식별한다.
2. AI 사용에 대한 실질적인 시사점을 분석한다.
3. IS에서 향후 AI 연구의 기회를 식별한다.

The structure of the paper is as follows. First, an introduction to related work on AI in the IS field is presented. Then the methodology of the systematic literature review is explained, and limitations of the study are acknowledged. Next, state-of-the-art of AI research is presented, includes the reported business value and contributions of AI, and analysis on how AI is defined. Followed by a discussion, implications, and a research agenda for the future. The paper ends with a conclusion and directions for future research.

이 논문의 구조는 다음과 같다. 먼저, IS 분야에서 AI와 관련된 연구들을 소개한다. 그런 다음, 체계적인 문헌 검토 방법론을 설명하고 연구의 한계를 인정한다. 이후 AI 연구의 최신 동향을 제시하며, AI의 비즈니스 가치와 기여를 보고하고, AI의 정의에 대한 분석을 포함한다. 이어서 논의, 시사점 및 향후 연구 의제가 제시된다. 마지막으로 결론과 향후 연구 방향을 제시하면서 논문이 마무리된다.

2. Background and related work

This section commences with an overview of extant information systems literature on AI. The lack of clarity concerning the concept and classification of AI are discussed.

이 섹션은 기존의 정보 시스템 문헌에서 AI에 대한 개요로 시작한다. AI의 개념과 분류에 대한 명확성이 부족한 점이 논의된다.

2.1. Evolution of AI definition

AI has a history much longer than is commonly understood, in fields from science and philosophy ranging all the way back to ancient Greece (Dennehy, 2020), but its modern iteration owes much to Alan Turing (Turing, 1950)

AI는 일반적으로 이해되는 것보다 훨씬 오래된 역사를 가지고 있으며, 그 역사는 고대 그리스의 과학과 철학 분야까지 거슬러 올라간다(Dennehy, 2020). 그러나 현대의 AI는 Alan Turing(Turing, 1950)의 공로가 크다.

conference in Dartmouth College in 1956 (McCorduck, 2004), where the term “Artificial Intelligence” was officially coined and defined by John McCarthy at the time as “the science and engineering of making intelligent machines.”

1956년 다트머스 대학에서 열린 학회에서 인공지능(Artificial Intelligence)이라는 용어가 처음으로 공식적으로 명명되었으며, 당시 John McCarthy에 의해 “지능형 기계를 만드는 과학과 공학”으로 정의되었다(McCorduck, 2004).

One of the initial paradigms of AI was that it revolved around high-level cognition.

AI의 초기 패러다임 중 하나는 고차원적인 인지 능력을 중심으로 이루어졌다.

This general human-like intelligence was referred to as strong AI (Kurzweil, 2005). For strong AI, the primary approach has centered on symbolic reasoning, that computers are not simply numeric calculators but rather general symbol manipulators.

이 일반적인 인간과 유사한 지능은 강한 인공지능(strong AI)으로 불렸다(Kurzweil, 2005). 강한 AI의 주요 접근 방식은 상징적 추론에 초점을 맞추며, 컴퓨터는 단순히 숫자를 계산하는 기계가 아니라 일반적인 기호를 조작하는 존재로 여겨졌다.

The distinction between weak AI and strong AI is also concerned with rule adherence, i.e., the way machines interact with rules.

약한 AI와 강한 AI의 구분은 또한 규칙 준수와 관련이 있으며, 즉 기계가 규칙과 상호 작용하는 방식에 대한 것이다.

Wolfe (1991) distinguishes rule-based decision-making in which machines strictly respect the rules set by developers from rule-following decision-making in which machines follow rules that have not been strictly specified to them. Rule-based decision-making matches weak AI, while rule-following decision making is an attempt that tends towards strong AI.

Wolfe(1991)은 규칙 기반 의사결정과 규칙을 따르는 의사결정을 구별하며, 규칙 기반 의사결정은 개발자가 설정한 규칙을 엄격히 따르는 반면, 규칙을 따르는 의사결정은 명시적으로 설정되지 않은 규칙을 기계가 따르는 것이다. 규칙 기반 의사결정은 약한 AI에 해당하고, 규칙을 따르는 의사결정은 강한 AI로 나아가는 시도이다.

An example of rule-following decision making is neural networks (NN), which allow algorithms to learn from themselves. Strong AI would be machines making their own rules and then follow them, which is not possible at the stage of right now (Wolfe, 1991).

규칙을 따르는 의사결정의 예로는 신경망(NN)이 있으며, 이는 알고리즘이 스스로 학습할 수 있게 한다. 강한 AI는 기계가 스스로 규칙을 만들고 이를 따르는 것으로, 이는 현재 단계에서는 불가능하다(Wolfe, 1991).

AI has gone through many peaks and troughs since its early inception in the 1950s, usually referred to as AI “summers and winters” (Russel and Norvig, 2020).

AI는 1950년대 초기 시작 이후 많은 부침을 겪었으며, 이는 일반적으로 AI “여름과 겨울”로 불린다(Russel and Norvig, 2020).

Since 2010, however, AI can be said to have once again entered a summer period, mainly due to considerable improvements in the computing power of computers and the access to massive amounts of data (PWC, 2019).

그러나 2010년 이후, AI는 컴퓨터의 계산 능력과 방대한 양의 데이터 접근성이 크게 향상되면서 다시 여름 시기로 접어들었다고 할 수 있다(PWC, 2019).

This resurgence in AI research is the result of three breakthroughs:

AI 연구의 부흥은 세 가지 획기적인 발전의 결과이다.

(1) the introduction of a much more sophisticated class of algorithms;
(2) the arrival on the market of low-cost graphics processors capable of performing large amounts of calculations in a few milliseconds; and
(3) the availability of very large, correctly annotated databases allowing for more sophisticated learning of intelligent systems (Jain, Ross, & Prabhakar, 2004; Khashman, 2009; PWC, 2019).

첫째, 훨씬 더 정교한 알고리즘의 등장,
둘째, 몇 밀리초 안에 대량의 계산을 수행할 수 있는 저비용 그래픽 프로세서의 시장 출현,
셋째, 매우 큰 규모의 정확하게 주석이 달린 데이터베이스의 이용 가능성 덕분에 지능형 시스템의 더 정교한 학습이 가능해졌다(Jain, Ross, & Prabhakar, 2004; Khashman, 2009; PWC, 2019).

Despite the length of time the field has existed, there is still no commonly accepted definition (Allen, 1998; Bhatnagar et al., 2018; Brachman, 2006; Hearst & Hirsh, 2000; Nilsson, 2009).

이 분야가 오랜 시간 동안 존재했음에도 불구하고, 여전히 일반적으로 받아들여지는 정의는 존재하지 않는다(Allen, 1998; Bhatnagar et al., 2018; Brachman, 2006; Hearst & Hirsh, 2000; Nilsson, 2009).

This is not considered a problem yet, as many scientific concepts only get true definitions after they have matured enough, rather than at their conception, and given the complexity and breadth of AI, it may not be feasible to expect AI to have a set definition yet.

이는 아직 문제로 간주되지 않는데, 많은 과학적 개념은 처음부터 명확한 정의를 가지는 것이 아니라 충분히 성숙한 후에 정의를 갖기 때문이다. AI의 복잡성과 광범위함을 고려하면, 아직 AI에 고정된 정의를 기대하는 것은 현실적이지 않을 수 있다.

However, without a clear definition of the term, “it is difficult for policymakers to assess what AI systems will be able to do in the near future, and how the field may get there. There is no common framework to determine which kinds of AI systems are even desirable” (Bhatnagar et al., 2018).

그러나 AI의 용어에 대한 명확한 정의가 없다면 “정책 결정자들이 AI 시스템이 가까운 미래에 무엇을 할 수 있을지 평가하기 어렵고, 이 분야가 어떻게 발전할지에 대한 명확한 전망을 세우기 힘들다. 어떤 종류의 AI 시스템이 바람직한지에 대한 공통된 프레임워크도 없다”(Bhatnagar et al., 2018).

In the years immediately preceding and after the 1956 Dartmouth conference where the term was coined, when the concept for AI was first brewing in academic consciousness, many researchers (would later become famous for their contributions to AI) formulated many theories and proposals that focused on the common features of mind and (McCulloch & Pitts, 1943; Turing, 1950; von Neumann, 1958; Wiener, 1948).

1956년 다트머스 회의에서 AI라는 용어가 처음 등장하기 전후로, 학계에서 AI의 개념이 처음으로 형성되기 시작했을 때, 많은 연구자들이(이후 AI 발전에 중요한 공헌을 한 이들이) 마음의 공통된 특성에 초점을 맞춘 여러 이론과 제안을 내놓았다(McCulloch & Pitts, 1943; Turing, 1950; von Neumann, 1958; Wiener, 1948).

While these thought leaders were influential, the field of AI as we know it owes more to McCarthy, Minsky, Newell, and Simon. While this is partly due to their own attendance of the famous 1951 Dartmouth conference, it is likely more since they went on to establish three leading research centres which shaped the stream of thought regarding AI for years.

이러한 사상가들이 큰 영향을 미쳤지만, 우리가 알고 있는 AI 분야는 McCarthy, Minsky, Newell, Simon에게 더 많은 빚을 지고 있다. 이는 그들이 유명한 1951년 다트머스 회의에 참석했기 때문이기도 하지만, 그들이 이후에 AI에 대한 사고 흐름을 수년 동안 형성한 세 개의 주요 연구 센터를 설립한 것이 더 큰 이유일 가능성이 크다.

Their own opinion on AI was as follows:

그들이 AI에 대해 제시한 의견은 다음과 같다.

“By ‘general intelligent action’ we wish to indicate the same scope of intelligence as we see in human action: that in any real situation behavior appropriate to the ends of the system and adaptive to the demands of the environment can occur, within some limits of speed and complexity” (Newell & Simon, Computer science as empirical enquiry: Symbols and search, 1976).

“일반적인 지능적 행동이라는 말로 우리는 인간의 행동에서 볼 수 있는 것과 동일한 지능의 범위를 지칭하고자 한다. 이는 실제 상황에서 시스템의 목적에 부합하고 환경의 요구에 적응하는 행동이 속도와 복잡성의 일정한 한계 내에서 발생할 수 있음을 의미한다” (Newell & Simon, 컴퓨터 과학: 경험적 탐구, 기호와 탐색, 1976).

Intelligence usually means “the ability to solve hard problems” (Minsky, 1958).

지능은 일반적으로 “어려운 문제를 해결하는 능력”을 의미한다(Minsky, 1958).

“AI is concerned with methods of achieving goals in situations in which the information available has a certain complex character. The methods that have to be used are related to the problem presented by the situation and are similar whether the problem solver is human, a Martian, or a computer program” (McCarthy, 1988).

“AI는 이용 가능한 정보가 일정한 복잡성을 가지는 상황에서 목표를 달성하는 방법에 관한 것이다. 사용되어야 하는 방법은 상황에 의해 제시된 문제와 관련이 있으며, 문제 해결자가 인간이든, 화성이든, 컴퓨터 프로그램이든 유사하다”(McCarthy, 1988).

With the variety of separate opinions on what AI is, lacking agreement on a standard evaluation (i.e., criteria, benchmark tests, milestones) makes it extremely challenging for the field to maintain healthy growth (Hernández-Orallo, 2017).

AI가 무엇인지에 대한 다양한 의견으로 인해 표준적인 평가(예: 기준, 벤치마크 테스트, 이정표)에 대한 합의가 부족하다는 점이 이 분야가 건강한 성장을 유지하는 데 극도로 어려운 문제를 야기하고 있다(Hernández-Orallo, 2017).

2.2. Previous systematic literature reviews of AI in IS research

Despite the heightened interest in AI (Watson, 2017), it is claimed that there is a noticeable absence of theoretically-grounded research on how organisations should develop their digital business strategies incorporating AI to create business (Mikalef, Bourab, Lekakosb, & Krogstiea, 2019).

AI에 대한 관심이 높아졌음에도 불구하고(Watson, 2017), 조직이 AI를 포함한 디지털 비즈니스 전략을 어떻게 개발해야 하는지에 대한 이론적으로 근거가 있는 연구가 눈에 띄게 부족하다는 주장이 제기되었다(Mikalef, Bourab, Lekakosb, & Krogstiea, 2019).

We investigate this claim and identify gaps in AI research conducted by IS scholars. We acknowledge four previous Systematic Literature Reviews (SLRs) have been conducted (Hofmann, Oesterle, Rust, & Urbach, 2019; Rzpeka & Berger, 2018; Borges, Laurindo, Spínola, Gonçalves, & Mattos, 2021; Karger, 2020) but highlight limitations of these studies (see Table 1).

우리는 이 주장을 조사하고 IS 학자들이 수행한 AI 연구의 공백을 식별한다. 우리는 네 가지 이전의 체계적 문헌 검토(SLR)가 수행되었음을 인정한다(Hofmann, Oesterle, Rust, & Urbach, 2019; Rzpeka & Berger, 2018; Borges, Laurindo, Spínola, Gonçalves, & Mattos, 2021; Karger, 2020). 하지만 이 연구들의 한계를 강조한다(표 1 참조).

Table 1 Comparison of previous SLRs in IS.

The literature review conducted by Rzpeka and Berger (2018) cited 91 studies total as their primary studies, taken from a combination of conferences and journals. However, it is focused on the context of individual user interaction with AI systems in IS, while this study studies how it is being defined and gives value.

Rzpeka와 Berger(2018)가 수행한 문헌 검토에서는 회의와 저널을 결합하여 총 91개의 연구를 주요 연구로 인용하였다. 그러나 이는 IS에서 AI 시스템과의 개별 사용자 상호 작용에 초점을 맞추고 있으며, 이 연구는 AI가 어떻게 정의되고 가치를 제공하는지를 연구한다.

The literature review conducted by Hofmann et al. (2019) was primarily concerned with the effects of AI and ML in the context of the radiology value chain, and so had a time span reflecting that, focusing on 2012 to 2018.

Hofmann 외(2019)가 수행한 문헌 검토는 주로 방사선학 가치 사슬에서 AI와 기계 학습의 효과에 초점을 맞추었으며, 그에 따라 2012년에서 2018년까지의 시간 범위를 반영하였다.

The review conducted by Borges et al. (2021) focused more on specific AI interactions with organisational strategy and so misses some of the context in how it is being defined and how it creates value.

Borges 외(2021)가 수행한 문헌 검토는 조직 전략과의 특정 AI 상호 작용에 더 초점을 맞추었으며, 따라서 AI가 어떻게 정의되고 가치를 창출하는지에 대한 일부 맥락을 놓치고 있다.

The literature review conducted by Karger (2020) is focused narrowly on the relations between AI and blockchain and excludes everything else. This study includes all the relevant studies in a fifteen year period in a number of high quality journals and conferences, and includes studies that use AI in more oblique ways than these SLRs, such as studies that use machine learning approaches when researching their focus.

Karger(2020)가 수행한 문헌 검토는 AI와 블록체인 간의 관계에만 집중하고 다른 모든 것은 제외하였다. 이 연구는 15년 동안 여러 고품질 저널과 회의에서 관련된 모든 연구를 포함하며, 기계 학습 방법을 사용하는 연구 등 이전 SLR보다 더 간접적인 방식으로 AI를 사용하는 연구도 포함한다.

2.3. AI Functions

The current difficulty to settle on an agreed definition of AI has been discussed above, but for the purposes of this systematic literature review, we focus on functions of AI as described by Dejoux and Léon (2018). The broad range of functions is shown in Table 2 below.

AI의 정의에 대한 합의가 어려운 점은 앞서 논의되었지만, 이 체계적 문헌 검토에서는 Dejoux와 Léon (2018)이 설명한 AI 기능에 초점을 맞춘다. 다양한 기능 범위는 아래의 표 2에 나타나 있다.

Table 2 AI functions.

3. Research methodology

A Systematic Literature Review is defined as “means of identifying, evaluating and interpreting all available research relevant to a particular research question, or topic area, or phenomenon of interest” (Kitchenham, 2004).

체계적 문헌 검토(SLR)는 “특정 연구 질문, 주제 영역, 또는 관심 현상과 관련된 모든 이용 가능한 연구를 식별, 평가 및 해석하는 방법”으로 정의된다 (Kitchenham, 2004).

This systematic approach was chosen for its ability to offer reviews of high quality (Dingsøyr & Dybå, 2008) and transparent and replicable review (Leidner & Kayworth, 2006).

이 체계적 접근법은 높은 품질의 검토를 제공할 수 있는 능력과 투명하고 반복 가능한 검토를 제공하기 때문에 선택되었다 (Dingsøyr & Dybå, 2008; Leidner & Kayworth, 2006).

Additionally, it is useful for studies with a clearly formulated research question (Petticrew & Roberts, 2006) and summarising large quantities of research studies (Fink, 2005).

또한, 명확한 연구 질문이 있는 연구에 유용하며 대량의 연구를 요약하는 데 효과적이다 (Petticrew & Roberts, 2006; Fink, 2005).

The foundation of our guide was taken from the guideline developed by Okoli (2015).

우리 가이드는 Okoli(2015)가 개발한 지침을 기초로 하였다.

Thus, the SLR was chosen for the following reasons: (i) the study will generate large amounts of literature; (ii) this study aims to answer a specific research question; (iii) we intend to systematically extract relevant AI references from the studies transparently; and (iv) the rigour and replicability it offers leads to an unbiased scientific study.

따라서 이 체계적 문헌 검토는 다음과 같은 이유로 선택되었다: (i) 연구는 대량의 문헌을 생성할 것이다; (ii) 이 연구는 특정 연구 질문에 답하는 것을 목표로 한다; (iii) 우리는 관련 AI 참고 문헌을 체계적으로 추출하고자 한다; (iv) 그 엄밀성과 반복 가능성은 편향되지 않은 과학적 연구로 이어진다.

3.1. A systematic guide to literature review development

Okoli (2015) proposes a systematic review process that consists of 8 steps, namely planning (2 steps), selection (2 steps), extraction (2 steps), and execution (2 steps) that are completed across 4 phases (see Fig. 1).

Okoli (2015)은 8단계로 구성된 체계적 검토 과정을 제안하며, 이 과정은 4단계에 걸쳐 계획(2단계), 선택(2단계), 추출(2단계), 실행(2단계)으로 이루어진다 (그림 1 참조).

Fig. 1. A systematic guide to literature review development (Okoli, 2015).

The objective of the systematic literature review is to answer the research questions shown in Table 3. RQ2 is a comprehensive research question. Five questions (RQ2.1 – RQ2.5) are used to answer RQ2. RQ1 and RQ3 were used to create rich data for the synthesis and discussion stages.

이 체계적 문헌 검토의 목적은 표 3에 제시된 연구 질문에 답하는 것이다. RQ2는 포괄적인 연구 질문이며, RQ2에 답하기 위해 5개의 세부 질문(RQ2.1 - RQ2.5)이 사용된다. RQ1과 RQ3는 종합 및 논의 단계를 위한 풍부한 데이터를 생성하는 데 사용되었다.

Table 3 Research questions.

Additionally, this review also aims to contribute to conducting an IS SLR. A further contribution will be that of a study which conducts an SLR: (i) where the complexity and type of AI is incorporated into a search strategy; (ii) to find relevant AI studies; (iii) which are then systematically analysed.

또한, 이 검토는 정보 시스템(IS) 분야에서의 체계적 문헌 검토를 수행하는 데 기여하는 것을 목표로 한다. 추가적으로 (i) AI의 복잡성과 유형을 검색 전략에 통합한 연구, (ii) 관련 AI 연구를 찾아내는 연구, (iii) 이를 체계적으로 분석하는 연구가 될 것이다.

A literature review’s quality is dependent on the rigor of the search process (Vom Brocke et al., 2009). Therefore, the search strategy is best developed in concert with the research question.

문헌 검토의 품질은 검색 과정의 엄밀성에 달려 있다 (Vom Brocke et al., 2009). 따라서 검색 전략은 연구 질문과 함께 개발하는 것이 가장 좋다.

The goal is to find as many studies as possible capable of answering the research question (Kitchenham & Charters, 2007). The starting point when searching literature is electronic sources and literature databases, followed by a keyword string search to locate the appropriate studies (Levy & Ellis, 2006).

목표는 가능한 한 많은 연구를 찾아 연구 질문에 답하는 것이다 (Kitchenham & Charters, 2007). 문헌 검색의 시작점은 전자 자료와 문헌 데이터베이스이며, 그 후 적절한 연구를 찾기 위한 키워드 문자열 검색을 수행한다 (Levy & Ellis, 2006).

A generally accepted approach to search string strategy is to base the search string on the research questions and include a list of synonyms, abbreviations, and alternative spellings (Kitchenham & Charters, 2007).

일반적으로 수용되는 검색 문자열 전략은 연구 질문을 바탕으로 검색 문자열을 작성하고, 동의어, 약어, 대체 철자를 포함하는 것이다 (Kitchenham & Charters, 2007).

Due to the nature of Artificial Intelligence and the variety of different types, subtypes, and methods in use, in addition to the different ways it is referred to by researchers, a thorough strategy was needed.

인공지능(AI)의 본질과 다양한 유형, 하위 유형, 사용 중인 방법들, 그리고 연구자들이 AI를 지칭하는 방식의 차이로 인해 철저한 전략이 필요했다.

The search string was used following the Boolean practice. A simple “OR” operator was used between keywords. The use of “*” after some words was implemented so the search would include multiple variations of the word. The use of quotation marks (“”) over some terms was to exclusively search for that specific term.

검색 문자열은 불리언(Boolean) 방식을 따랐다. 키워드 사이에는 단순한 “OR” 연산자를 사용했다. 일부 단어 뒤에 “*“를 사용하여 해당 단어의 여러 변형을 포함하도록 하였다. 특정 용어에 대해서는 따옴표(””)를 사용하여 해당 용어만을 검색하도록 설정했다.

For each of the three selected databases (AIS eLibrary, Scopus, ISI Web of Science), using the specified search string retrieves an initial list of studies. One or many of these databases had been used by multiple researchers in the literature (Agarwal, Kumar, & Goel, 2019; Busalim & Hussin, 2016; Gupta, Kar, Baabdullah, & Al-Khowaiter, 2018; Rekik, Kallel, Casillas, & Alimi, 2018).

선택된 세 개의 데이터베이스(AIS eLibrary, Scopus, ISI Web of Science) 각각에서 지정된 검색 문자열을 사용하여 초기 연구 목록을 가져왔다. 이 데이터베이스들 중 하나 또는 다수가 여러 연구자들에 의해 사용되었다(Agarwal, Kumar, & Goel, 2019; Busalim & Hussin, 2016; Gupta, Kar, Baabdullah, & Al-Khowaiter, 2018; Rekik, Kallel, Casillas, & Alimi, 2018).

The basic input includes meta-data such as (i) title, (ii) author, (iii) year, (iv) publication type, and (v) abstract. The keyword strategy was applied to nine IS journals and the top two IS conferences. The search string used across the three databases retrieved 1877 studies

기본 입력 데이터는 (i) 제목, (ii) 저자, (iii) 연도, (iv) 출판 유형, (v) 초록과 같은 메타데이터를 포함한다. 키워드 전략은 아홉 개의 정보 시스템 저널과 상위 두 개의 정보 시스템 학회에 적용되었다. 세 데이터베이스에서 사용된 검색 문자열을 통해 1877개의 연구가 검색되었다.

Due to the multidisciplinary nature of IS, literature is heavily dispersed across different data sources (Levy & Ellis, 2006). To ensure all relevant studies were retrieved, three databases were used, these being (i) AIS eLibrary; (ii) Scopus, and (iii) the ISI Web of Science.

정보 시스템(IS)이 다학문적 특성을 갖고 있기 때문에, 문헌은 여러 데이터 소스에 광범위하게 분산되어 있다(Levy & Ellis, 2006). 모든 관련 연구가 검색되었는지 확인하기 위해 세 개의 데이터베이스가 사용되었으며, 이는 (i) AIS eLibrary, (ii) Scopus, (iii) ISI Web of Science이다.

AIS eLibrary was used as it was unique in being able to provide studies from the leading IS conferences. Scopus was used as it claims to be the largest database for abstracts and citations (Ballew, 2009; Kitchenham & Charters, 2007). ISI Web of Science was used as it is the largest citation database which stores over 800 million references (Manikandan & Amsaveni, 2016).

AIS eLibrary는 주요 정보 시스템 학회에서 발표된 연구들을 제공할 수 있는 독특한 특징이 있어서 사용되었다. Scopus는 초록과 인용의 가장 큰 데이터베이스임을 주장하기 때문에 사용되었다(Ballew, 2009; Kitchenham & Charters, 2007). ISI Web of Science는 8억 개 이상의 참고 문헌을 보유한 가장 큰 인용 데이터베이스로 사용되었다(Manikandan & Amsaveni, 2016).

Screening of the retrieved studies was achieved by following the best practices proposed by Kitchenham (2004) and Dingsøyr and Dybå (2008). The study selection process used in this study is illustrated in Fig. 1.

검색된 연구들의 선별은 Kitchenham(2004)과 Dingsøyr 및 Dybå(2008)가 제안한 모범 사례를 따랐다. 이 연구에서 사용된 연구 선택 과정은 그림 1에 설명되어 있다.

Two authors independently analyzed the 1877 studies to remove (i) duplicate studies, (ii) non-English studies, (iii) non-IS studies, and (iv) non-peer-reviewed scientific studies (books, book chapters, experience reports). As searching through literature can result in many studies, using inclusion and exclusion criteria can serve to eliminate unnecessary studies (Okoli, 2015).

두 명의 저자가 독립적으로 1877개의 연구를 분석하여 (i) 중복된 연구, (ii) 영어가 아닌 연구, (iii) 정보 시스템과 관련이 없는 연구, (iv) 비동료 검토 과학 연구(책, 책 챕터, 경험 보고서)를 제거하였다. 문헌 검색은 많은 연구를 생성할 수 있기 때문에, 포함 및 제외 기준을 사용하여 불필요한 연구를 제거하는 데 사용할 수 있다(Okoli, 2015).

The inclusion criteria applied were as follows:

• The studies should be written in English.

• The studies should be published between 2005 and 2020.

• The studies directly answer one or more of the research questions of this study.

• The studies should clearly state their focus on AI/ML or use AI/ML as a large part of their methodology. For example, publications that explicitly use a machine learning approach as a fundamental part of their methodology/research.

• If the studies have been published in more than one journal or conference, the most recent version of the study is included.

• Opinion/perspective studies were included, as we believe that if they were published in relevant journals, they could provide insight into the state of AI in IS.

포함 기준은 다음과 같다:

• 연구는 영어로 작성되어야 한다.

• 연구는 2005년에서 2020년 사이에 발표되어야 한다.

• 연구는 본 연구의 연구 질문 중 하나 이상에 직접적으로 답해야 한다.

• 연구는 AI/ML에 초점을 맞추었거나, AI/ML을 방법론의 큰 부분으로 사용해야 한다. 예를 들어, 기계 학습 접근법을 방법론/연구의 기본 요소로 명시적으로 사용하는 출판물이 해당된다.

• 연구가 여러 저널이나 학회에 발표된 경우, 가장 최근의 버전이 포함된다.

• 의견/관점 연구도 포함되었으며, 관련 저널에 게재되었을 경우 AI의 정보 시스템(IS) 내 상태에 대한 통찰을 제공할 수 있다고 판단했다.

The exclusion criteria applied were as follows:

• Studies not written in English.

• Duplicate articles.

• Simulation studies.

• Editorials.

• Studies with no focus on AI.

• Non-peer-reviewed scientific publications (editorials, books, book chapters, articles).

제외 기준은 다음과 같다:

• 영어로 작성되지 않은 연구.

• 중복된 기사.

• 시뮬레이션 연구.

• 사설.

• AI에 초점을 맞추지 않은 연구.

• 비동료 검토 과학 출판물(사설, 책, 책의 장, 기사).

Fig. 2 shows the study selection process. After the initial step of identifying a search string was complete, pilot steps were carried out on the databases used.

그림 2는 연구 선택 과정을 보여준다. 검색 문자열을 식별하는 초기 단계가 완료된 후, 사용된 데이터베이스에서 파일럿 단계가 수행되었다.

The lead author analyzed the 1877 studies retrieved in the initial search. A second reviewer was invited to analyze these studies as well, to preemptively combat potential bias. The two reviewers had to agree for a study to stay a primary study. Based on the removal of duplicates, non-scientific, and non-English studies, 91 were removed, leaving 1786. These 1786 studies were then analyzed based on title.

주 저자는 초기 검색에서 검색된 1877개의 연구를 분석했다. 잠재적 편향을 예방하기 위해 두 번째 검토자가 초대되어 이러한 연구를 분석했다. 두 검토자가 연구를 주요 연구로 유지할지 여부에 대해 동의해야 했다. 중복된 연구, 과학적이지 않은 연구, 영어로 작성되지 않은 연구를 제거한 결과, 91개가 제거되었고, 1786개의 연구가 남았다. 이 1786개의 연구는 제목을 기준으로 분석되었다.

The title gave a clear indication of whether they were outside the focus of the study, and thus excluded. If a title did not clearly reveal the application domain of the study, it was included for review in the subsequent steps, where title, keywords, and abstract were examined. Based on title, abstract, and keyword, the 1786 studies were further narrowed down to 187.

제목은 연구의 초점에서 벗어났는지를 명확하게 나타내었으며, 이에 따라 제외되었다. 제목이 연구의 응용 영역을 명확하게 드러내지 않았을 경우, 제목, 키워드, 초록이 검토되는 후속 단계에서 검토에 포함되었다. 제목, 초록, 키워드를 기반으로 1786개의 연구는 187개로 더 좁혀졌다.

There were still cases where the abstract was unclear, so these studies carried onto the next stage, where the contents of the full study were examined. An in-depth examination of the 187 remaining studies was undertaken by the reviewers, which resulted in a further 90 studies being excluded. This resulted in a total of 98 primary studies used as the basis of this SLR.

초록이 불명확한 경우도 있었으며, 이러한 연구는 다음 단계로 넘어가 전체 연구 내용을 검토하였다. 검토자들이 나머지 187개의 연구에 대해 심도 있는 검토를 수행한 결과, 90개의 연구가 추가로 제외되었다. 결과적으로 총 98개의 주요 연구가 이 체계적 문헌 검토(SLR)의 기초로 사용되었다.

The findings and analysis of these 98 primary studies are presented in the next section.

이 98개의 주요 연구에 대한 결과와 분석은 다음 섹션에서 제시된다.

3.2. Threats to validity and limitations of study

There are always several common threats to validity concerning SLRs (Petersen, Vakkalanka, & Kuzniarz, 2015; Wohlin et al., 2012). This section considers those threats and outlines the strategies used to combat and mitigate them, as well as explores the limitations of this study.

체계적 문헌 검토(SLR)와 관련된 몇 가지 일반적인 타당성 위협이 항상 존재한다(Petersen, Vakkalanka, & Kuzniarz, 2015; Wohlin 외, 2012). 이 섹션에서는 이러한 위협을 고려하고 이를 완화하기 위한 전략을 설명하며, 본 연구의 한계도 탐구한다.

The validity framework by Wohlin et al. (2012) examines validity threats in terms of (i) construct validity, (ii) external validity, (iii) internal validity, and (iv) conclusion validity.

Wohlin 외(2012)의 타당성 프레임워크는 (i) 구성 타당성, (ii) 외적 타당성, (iii) 내적 타당성, (iv) 결론 타당성의 측면에서 타당성 위협을 조사한다.

Construct validity states that the author must attain the right measures for the concept under study (Petersen, Vakkalanka, & Kuzniarz, 2015; Wohlin, et al., 2012).

구성 타당성은 저자가 연구 중인 개념에 대해 올바른 측정을 얻어야 한다는 것을 의미한다(Petersen, Vakkalanka, & Kuzniarz, 2015; Wohlin 외, 2012).

To minimize this threat, this SLR followed a structured eight-step guideline required to conduct a scientifically rigorous SLR, as seen in Fig. 1. Within those guidelines was the paper selection process (see Fig. 2.), which documents the process of filtering studies from the original 1877 to the 98 primary studies.

이 위협을 최소화하기 위해, 이 SLR은 과학적으로 엄밀한 SLR을 수행하는 데 필요한 체계적인 8단계 지침을 따랐다(그림 1 참조). 이러한 지침 내에는 논문 선택 과정(그림 2 참조)이 포함되어 있으며, 이는 원래 1877개의 연구에서 98개의 주요 연구로 필터링하는 과정을 문서화한 것이다.

To further mitigate this threat, authors three and four were experienced in reviewing studies and acted as external reviewers to validate the research protocol. Thus, this threat has been significantly neutralized.

이 위협을 추가로 완화하기 위해, 세 번째와 네 번째 저자는 연구 검토에 경험이 있었고, 연구 프로토콜을 검증하기 위한 외부 검토자로 활동하였다. 따라서 이 위협은 상당히 중화되었다.

External validity is focused on the generalizability of the study. That is, the extent to which the study can be generalized to other areas outside of the context of this study (Petersen et al., 2015; Wohlin et al., 2012).

외적 타당성은 연구의 일반화 가능성에 초점을 맞춘다. 즉, 이 연구가 이 연구의 맥락을 벗어난 다른 영역에 어느 정도까지 일반화될 수 있는지를 말한다(Petersen 외, 2015; Wohlin 외, 2012).

To know to what degree the results of a study can be generalized, it is essential that the research process is described (Petersen & Wohlin, 2009). As this systematic study followed the eight-step guideline laid out by Okoli (2015), it is attributed to mitigating the threats to validity.

연구 결과가 어느 정도까지 일반화될 수 있는지 알기 위해서는 연구 과정이 설명되는 것이 필수적이다(Petersen & Wohlin, 2009). 이 체계적인 연구는 Okoli(2015)가 제시한 8단계 지침을 따랐기 때문에, 이는 타당성 위협을 완화하는 데 기여한다.

Internal validity relates to causal relationships and ensuring that results are not due to unmeasured factors or factors the researcher had no control over. As the aims of this study were not to establish a statistical causal relationship on AI in IS, other mitigations were used to combat this, such as regular meetings with all authors to explore potential bias.

내적 타당성은 인과관계와 결과가 측정되지 않은 요인 또는 연구자가 통제할 수 없는 요인 때문이 아님을 보장하는 것과 관련이 있다. 이 연구의 목적은 정보 시스템에서 AI에 대한 통계적 인과관계를 확립하는 것이 아니었기 때문에, 모든 저자들과의 정기적인 회의와 같은 다른 완화 조치가 사용되어 잠재적인 편향을 탐구하였다.

Conclusion validity relates to the bias of researchers in the interpretation of the data. While this risk cannot be entirely eliminated, several measures were taken to combat it:

결론 타당성은 데이터 해석에서 연구자의 편향과 관련이 있다. 이 위험을 완전히 제거할 수는 없지만, 이를 해결하기 위해 여러 조치가 취해졌다.

(i) three authors were involved in the data extraction of the primary studies, (ii) a full ‘audit trail’ from the initial 1877 studies to the identification of 98 primary studies was provided, and (iii) conclusions drawn from the analysis of the 98 primary studies involved all authors.

(i) 세 명의 저자가 주요 연구의 데이터 추출에 참여하였으며, (ii) 초기 1877개의 연구에서 98개의 주요 연구를 식별하는 ‘감사 추적’이 제공되었고, (iii) 98개의 주요 연구에 대한 분석에서 도출된 결론에는 모든 저자가 참여하였다.

Although this paper concentrated on mitigating threats to validity using well-established strategies, we acknowledge that publication bias is a limitation of this study, as we focused on a select number of IS journals, meaning that other studies from IS conferences and non-IS outlets were excluded.

이 논문은 잘 확립된 전략을 사용하여 타당성 위협을 완화하는 데 중점을 두었지만, 정보 시스템 저널 중 일부에만 초점을 맞추었기 때문에 IS 학회 및 비IS 출판물에서 나온 다른 연구들은 제외되었다는 점에서 출판 편향이 이 연구의 한계임을 인정한다.

4. Findings and analysis

This section presents the results from the analysis of the 98 primary studies, based on the research questions listed previously. The results represent the state of AI research in IS and are based on the following: (i) how AI is being defined, (ii) study by year, (iii) publication channel, (iv) research methods adopted, (v) type of contribution, (vi) types of AI, and (vii) the reported business value of AI.

이 섹션에서는 앞서 언급한 연구 질문을 바탕으로 98개의 주요 연구 분석 결과를 제시한다. 이 결과는 정보 시스템(IS)에서의 AI 연구 상태를 나타내며, (i) AI의 정의 방식, (ii) 연도별 연구, (iii) 출판 채널, (iv) 채택된 연구 방법, (v) 기여 유형, (vi) AI 유형, (vii) 보고된 AI의 비즈니스 가치를 기반으로 한다.

4.1. RQ1: How is AI being defined in the field of IS?

The aim of this research question is to identify and analyze the different definitions of AI used in the field of IS. It was noted in Section 2.1 the difficulties the field of AI had with definitions, and this research question aims to examine how IS has addressed those difficulties. However, despite AI and Machine Learning being a large part of the primary studies, many did not provide a definition, or used definitions that were not cited (see Fig. 3).

이 연구 질문의 목적은 정보 시스템(IS) 분야에서 사용된 인공지능(AI)의 다양한 정의를 식별하고 분석하는 것이다. 2.1절에서 AI 분야가 정의 문제에 어려움을 겪고 있다는 점이 언급되었으며, 이 연구 질문은 IS 분야가 이러한 문제를 어떻게 다루었는지를 조사하는 데 초점을 맞추고 있다. 그러나 주요 연구에서 AI와 기계 학습이 큰 부분을 차지함에도 불구하고, 많은 연구가 명확한 정의를 제공하지 않거나, 출처를 명시하지 않은 정의를 사용하였다(그림 3 참조).

Fig. 3. AI definition cited.

Of the 98 primary studies, 54 of them gave no clear definition of AI relevant to the study. Of the 44 studies that did provide a definition, 7 did not cite any reference for the definition given. The definitions of AI used in the primary studies varied both in terms of the definition itself and the source cited. The definitions and cited sources of the primary studies can be seen in Table 6.

98개의 주요 연구 중 54개는 AI에 대한 명확한 정의를 제공하지 않았다. 44개의 연구에서 정의를 제공하였으나, 그 중 7개는 출처를 명시하지 않았다. 주요 연구에서 사용된 AI의 정의는 정의 자체와 인용된 출처 측면에서 다양했다. 주요 연구의 정의 및 인용된 출처는 표 6에서 확인할 수 있다.

Table 6 AI definitions in primary studies.

4.2. RQ2: What is the current state of AI in IS?

The aim of this research question is to examine the current state of AI in the field of IS through a series of sub-related research questions.

이 연구 질문의 목적은 일련의 하위 관련 연구 질문을 통해 정보 시스템(IS) 분야에서 AI의 현재 상태를 조사하는 것이다.

4.2.1. RQ2.1: What number of IS academic studies on AI have been published between 2005 and 2020?

The aim of this research question is to identify the number of academic studies involving Artificial Intelligence and Machine Learning in the field of Information Systems, specifically those between the years 2005 and 2020 (see Fig. 4). Fig. 4 reveals that studies on AI remained relatively low for most of this period, with a total of 11 studies between the years 2005 and 2015. However, 2019 and 2020 show a significant surge in AI-related studies in IS, signifying a much greater interest in the field.

이 연구 질문의 목적은 2005년부터 2020년까지 정보 시스템(IS) 분야에서 인공지능(AI)과 기계 학습을 포함하는 학술 연구의 수를 식별하는 것이다(그림 4 참조). 그림 4에 따르면, 이 기간 동안 AI에 관한 연구는 비교적 적었으며, 2005년에서 2015년까지 총 11건의 연구가 있었다. 그러나 2019년과 2020년에는 AI 관련 연구가 급격히 증가하여, 해당 분야에 대한 관심이 크게 증가했음을 알 수 있다.

Fig. 4. Number of studies by year.

4.2.2. RQ2.2: What were the publication channels used?

The aim of this research question is to identify the main channels where AI studies are disseminated. Table 7 shows that 32 of the primary studies were published in journals, and 65 were published in the top two IS conferences.

이 연구 질문의 목적은 AI 연구가 배포되는 주요 채널을 식별하는 것이다. 표 7에 따르면, 주요 연구 중 32개는 저널에 게재되었고, 65개는 상위 두 개의 IS 학회에 게재되었다.

4.2.3. RQ2.3: What were the research methods and data collection techniques used?

The aim of this research question is to identify the research methods and data collection techniques that were used to study AI and Machine Learning in the IS field. Each study was either empirical, theoretical, conceptual, or experimental.

이 연구 질문의 목적은 정보 시스템(IS) 분야에서 AI와 기계 학습을 연구하는 데 사용된 연구 방법과 데이터 수집 기법을 식별하는 것이다. 각 연구는 경험적, 이론적, 개념적, 또는 실험적 접근을 취하였다.

Of the 98 primary studies, eight adopted a mixed-method approach, thirteen took the form of a literature review, forty-four used a quantitative method, and thirty-one used the qualitative method. The method and technique adopted for each of the primary studies are listed in Table 8.

98개의 주요 연구 중 8개는 혼합 방법을 채택하였고, 13개는 문헌 검토 형식을 취했으며, 44개는 양적 방법을, 31개는 질적 방법을 사용하였다. 각 주요 연구에서 채택한 방법 및 기술은 표 8에 나와 있다.

Table 8 Research method and technique adopted.

A deeper analysis of the research methods was conducted to establish the data gathering techniques used in the primary studies. These are listed in Table 9. Many of the studies used multiple techniques to gather data in their studies, so some references in the table below are repeated.

연구 방법에 대한 심층 분석을 통해 주요 연구에서 사용된 데이터 수집 기법을 확인했다. 이러한 기법은 표 9에 나열되어 있다. 많은 연구가 데이터를 수집하기 위해 여러 기법을 사용했기 때문에, 아래 표에서 일부 참고 자료가 반복된다.

22 studies used data mining, and 21 reported the use of experiments. Ten studies adopted observation techniques, and four collected data through documentation. Surveys were incorporated by eight primary publications to collect data, with interviews being adopted by 20. Literary analysis was used by 22 of the studies, and questionnaires were incorporated by two. Four studies adopted focus groups to collect data, with three using workshops. Sample analysis was used by two studies. Theory-as-discourse, Machine Learning subset selection, causal mapping, and prediction markets were each used by a single study.

22개의 연구는 데이터 마이닝을 사용하였고, 21개의 연구는 실험을 사용했다고 보고하였다. 10개의 연구는 관찰 기법을 채택하였고, 4개는 문서를 통해 데이터를 수집하였다. 설문 조사는 8개의 주요 출판물에서 데이터를 수집하는 데 사용되었으며, 인터뷰는 20개의 연구에서 채택되었다. 22개의 연구는 문헌 분석을 사용하였고, 2개의 연구는 설문지를 사용하였다. 4개의 연구는 포커스 그룹을 채택하였고, 3개의 연구는 워크숍을 사용하였다. 표본 분석은 2개의 연구에서 사용되었다. 이론 담론, 기계 학습 하위 집합 선택, 인과 맵핑, 예측 시장은 각각 1개의 연구에서 사용되었다.

Table 9 Data collection techniques.

Experiments were the most popular choice for collecting data. This usually took the form of studies putting their relevant use of AI or Machine Learning into practice as an experiment and collecting data from the result. As AI is still a broad and relatively nebulous field in IS, performing experiments can provide rich data on AI usage in a variety of complex, contextual environments.

실험은 데이터를 수집하는 데 가장 인기 있는 선택이었다. 이는 대개 AI 또는 기계 학습의 관련 사용을 실험으로 실행하고 그 결과로부터 데이터를 수집하는 형식이었다. AI는 여전히 IS에서 넓고 비교적 모호한 분야이기 때문에, 실험 수행은 다양한 복잡한 상황적 환경에서 AI 사용에 대한 풍부한 데이터를 제공할 수 있다.

4.2.4. RQ2.4: What kinds of contributions are provided by studies on AI in IS?

The aim of this research question is to identify and categorize the contributions of the primary studies. These contributions (see Table 10), adapted from Shaw (2003) and Paternoster, Giardino, Unterkalmsteiner, Gorschek, and Abrahamsson (2014), include six types of contributions, namely (i) framework, method, technique, (ii) guidelines, (iii) lessons learned, (iv) model, (v) tool, and (vi) advice/implication.

이 연구 질문의 목적은 주요 연구의 기여를 식별하고 범주화하는 것이다. 이 기여는 Shaw(2003)와 Paternoster, Giardino, Unterkalmsteiner, Gorschek, 및 Abrahamsson(2014)에서 수정된 것으로, 6가지 유형의 기여를 포함한다: (i) 프레임워크, 방법, 기술, (ii) 가이드라인, (iii) 교훈, (iv) 모델, (v) 도구, (vi) 조언/시사점.

Table 10 Contribution type (adapted from Shaw (2003), Paternoster et al. (2014)).

The contributions of the 98 primary studies and the data collection techniques that led to these contributions are listed in Table 11. These contributions would provide significant practical contributions and broaden the academic discourse on AI in IS.

98개의 주요 연구의 기여와 이러한 기여로 이어진 데이터 수집 기법은 표 11에 나와 있다. 이러한 기여는 실질적인 기여를 제공하고 정보 시스템(IS)에서 AI에 대한 학술적 담론을 확장할 수 있을 것이다.

98개의 주요 연구 분석 결과, 기여는 주로 ‘교훈’ (39개 연구), ‘방법론’ (26개 연구), ‘조언 또는 시사점’ (15개 연구), 가이드라인 (6개 연구), 도구 (5개 연구), 모델 (6개 연구) 형태로 이루어졌다. 표 11은 모델과 도구 범주에 대한 추가 연구의 필요성을 강조하고 있다.Analysis of the 98 primary studies shows that contributions were largely made as ‘lessons learned’ (39 studies), ‘methods’ (26 studies), ‘advice or implication’ (15 studies), guidelines (6 studies), tools (5 studies), and models (6 studies). Table 11 highlights the need for research to contribute to the categories of (i) models and (ii) tools.

Table 11 Contributions across studies.

Although several primary studies could potentially contribute to more than one type of contribution, the categorization used in this systematic literature review is based on the primary contribution as stated by the authors of each of the 98 primary studies. A visual representation of the contribution types of the primary studies is shown in Fig. 5.

몇몇 주요 연구는 하나 이상의 기여 유형에 기여할 수 있지만, 이 체계적 문헌 검토에서 사용된 범주는 각 주요 연구의 저자들이 명시한 주요 기여를 기준으로 하고 있다. 주요 연구의 기여 유형에 대한 시각적 표현은 그림 5에 나와 있다.

Fig. 5. Contribution types of primary studies.

Fig. 5 shows that ‘lessons learned’ (40 studies) and ‘methods’ (26 studies) are the most popular contributions of AI studies in IS research. A limitation to these contributions is that they can often be context-specific, especially for the methods contributions. This is compounded by AI encompassing such a broad array of uses and designs. This means there is less repetition of contributions and lessons learned, and that cumulative building of knowledge in this context may take time to accumulate.

그림 5는 ‘교훈’ (40개 연구)과 ‘방법론’ (26개 연구)이 정보 시스템(IS) 연구에서 AI 연구의 가장 인기 있는 기여 유형임을 보여준다. 이러한 기여의 한계는 종종 맥락에 따라 다를 수 있다는 점이다. 특히 방법론적 기여는 더욱 그렇다. 이는 AI가 매우 넓은 사용과 설계를 포함하기 때문이다. 결과적으로 기여와 교훈의 반복이 적고, 이 맥락에서 지식의 축적이 시간이 걸릴 수 있음을 의미한다.

4.2.5. RQ2.5: What types of AI technologies are used by IS researchers?

The aim of this research question is to categorize studies on AI based on the type of AI used in the primary study. It is possible to combine a variety of these types together into a single AI system. For example, IBM’s Watson combines NLP, ML, and machine vision techniques (Jarrahi, 2018a, 2018b). However, for the purpose of this SLR, the study will be categorized solely based on the primary AI type of the study (see Fig. 6).

이 연구 질문의 목적은 주요 연구에서 사용된 AI 유형을 기준으로 AI 연구를 분류하는 것이다. 다양한 AI 유형을 하나의 AI 시스템으로 결합하는 것도 가능하다. 예를 들어, IBM의 Watson은 자연어 처리(NLP), 기계 학습(ML), 기계 비전 기술을 결합한다(Jarrahi, 2018a, 2018b). 그러나 이 체계적 문헌 검토에서는 주요 AI 유형에 따라 연구를 분류할 것이다(그림 6 참조).

Fig. 6. Types of AI.

Fig. 6 shows that ML (Machine Learning) is the most popular form of AI used in the primary studies, with 69 studies categorized under it. There was less range between the other types, with expert systems having 11 studies, machine vision with five, and NLP at six. Robotics was the least common with three studies having it as the primary focus. The studies corresponding to each category can be seen in Table 12.

그림 6에 따르면 기계 학습(ML)이 주요 연구에서 가장 많이 사용된 AI 유형으로, 69개의 연구가 ML로 분류되었다. 다른 유형 간의 차이는 크지 않으며, 전문가 시스템이 11개의 연구, 기계 비전이 5개, 자연어 처리가 6개 연구로 나타났다. 로봇 공학은 3개의 연구에서 주요 초점이 된 가장 적은 유형이었다. 각 범주에 해당하는 연구는 표 12에서 확인할 수 있다.

4.2.6. RQ3: What is the business value of AI?

As noted by Davenport and Ronanki (2018), within IS, it may be more useful to look at AI through the lens of its business capabilities rather than its technologies. To that end, AI can be narrowed down to support three business needs: (i) Process Automation, automating business processes, (ii) Cognitive Insight, gaining insights through data analysis, and (iii) Cognitive Engagement, engaging with customers and employees (Davenport & Ronanki, 2018).

Davenport와 Ronanki(2018)에 따르면, 정보 시스템(IS) 내에서 AI를 기술적 관점이 아닌 비즈니스 역량의 관점에서 보는 것이 더 유용할 수 있다. 이를 위해 AI는 세 가지 비즈니스 요구를 지원하는 것으로 좁혀질 수 있다: (i) 프로세스 자동화, 비즈니스 프로세스 자동화, (ii) 인지적 통찰력, 데이터 분석을 통한 통찰력 획득, (iii) 인지적 참여, 고객 및 직원과의 상호 작용(Davenport & Ronanki, 2018).

Table 13 Reported value types of AI studies.

In this study, we mapped the 98 primary studies to these three business needs (see Table 13). We acknowledge that it is possible that for some of these studies, using AI could result in more than a single value type; however, to avoid complexity, they were mapped to the most relevant category.

본 연구에서는 98개의 주요 연구를 이 세 가지 비즈니스 요구 사항에 매핑하였다(표 13 참조). 일부 연구에서 AI 사용이 하나 이상의 가치 유형을 생성할 수 있음을 인지하고 있으나, 복잡성을 피하기 위해 가장 관련 있는 범주로 매핑하였다.

Fig. 7. Number of primary studies by value type.

Fig. 7 shows that the most common value type for AI was process automation (47 studies), followed by cognitive insight (32 studies). Cognitive engagement was reported with the lowest number of studies (17 studies).

그림 7에 따르면 AI의 가장 일반적인 가치 유형은 프로세스 자동화(47개 연구)였으며, 그 뒤를 인지적 통찰력(32개 연구)이 따랐다. 인지적 참여는 17개의 연구로 가장 적게 보고되었다.

5. Discussion

This section summarizes the findings of the systematic literature review (SLR) and highlights some areas of focus in previous research along with key findings. It then delves into a discussion on the theoretical contributions and implications for practice.

이 섹션에서는 체계적 문헌 검토(SLR)의 결과를 요약하고, 이전 연구에서 주목된 영역과 주요 결과를 강조한다. 그런 다음 이론적 기여와 실무적 시사점에 대해 논의한다.

The overall goal is to uncover themes relevant for research and practice, and to identify areas that warrant further research. This section will discuss insights we found from the literature, starting with the lack of cohesion around the definition of AI, the resurgence of interest and research in AI in recent years, the specific types of contributions made by AI literature, and the disproportionate focus on machine learning and process automation.

전반적인 목표는 연구와 실무에 관련된 주제를 밝혀내고, 추가 연구가 필요한 영역을 식별하는 것이다. 이 섹션에서는 AI 정의의 일관성 부족, 최근 AI에 대한 관심과 연구의 부활, AI 문헌이 제공하는 구체적인 기여 유형, 그리고 기계 학습과 프로세스 자동화에 대한 불균형적인 집중에 대해 논의한다.

In this study, we conducted a systematic literature review that provides a comprehensive overview of AI-related studies in IS. By using a systematic literature review, we identified, classified, and analyzed 1877 studies on AI and Machine Learning in IS that were published between 2005 and 2020.

본 연구에서는 정보 시스템(IS)에서 AI 관련 연구에 대한 포괄적인 개요를 제공하는 체계적 문헌 검토를 수행했다. 체계적 문헌 검토를 통해 2005년에서 2020년 사이에 출판된 정보 시스템(IS) 내에서 AI와 기계 학습에 관한 1877개의 연구를 식별하고 분류하며 분석했다.

Of these, 98 were identified as primary studies, following a rigorous filtering process. To understand the fundamentals of AI in IS, we examined and studied the articles based on studies by year, publication channel, research methods used, and their contribution to IS research. Prior to commencing this task, however, we had to consider the problem that the definitions of artificial intelligence were largely varied and ambiguous.

그 중 98개의 연구가 엄격한 필터링 과정을 거쳐 주요 연구로 식별되었다. 정보 시스템에서 AI의 기본 원리를 이해하기 위해 연도별 연구, 출판 채널, 사용된 연구 방법, 그리고 정보 시스템(IS) 연구에 대한 기여를 바탕으로 논문을 검토하고 연구하였다. 그러나 이 작업을 시작하기 전에 인공지능(AI)의 정의가 크게 다양하고 모호하다는 문제를 고려해야 했다.

5.1. Lack of cohesive definition of AI

This study identified a lack of cohesion when defining AI, with as many as 28 different definitions being used across the respective studies. While the background research elaborated in Section 2 shows this is not uncommon when concerning AI, it raises a concern that IS studies on AI could experience a lack of cumulative knowledge-building (Fitzgerald & Adam, 2000).

본 연구에서는 AI 정의에 있어서 일관성이 부족하며, 각각의 연구에서 28개의 서로 다른 정의가 사용된 것으로 나타났다. 2장에서 설명된 배경 연구는 AI와 관련하여 이러한 현상이 드물지 않음을 보여주지만, 정보 시스템(IS)에서 AI 연구가 지식 축적의 부족을 겪을 수 있다는 우려를 제기한다(Fitzgerald & Adam, 2000).

This resonates with the issue of ‘fragmented adhocracy,’ which has previously overshadowed IS research (Banville & Landry, 1989; Hirschheim, Klein, & Lyytinen, 1996).

이는 이전에 정보 시스템(IS) 연구에서 문제로 부각되었던 ’파편화된 임시 조직(fragmented adhocracy)’의 문제와 일맥상통한다(Banville & Landry, 1989; Hirschheim, Klein, & Lyytinen, 1996).

The most common definition of AI found in the primary studies was derived from Russel & Norvig (though the specific edition varied), followed by LeCun et al. (2015) and Rai et al. (2019) with two occurrences each. The definitions varied but generally focused on AI’s capabilities rather than strictly defining what AI is.

주요 연구에서 가장 흔히 발견된 AI의 정의는 Russel과 Norvig에 의해 파생된 것이며(구체적인 판본은 다를 수 있음), 그 뒤를 LeCun 외(2015)와 Rai 외(2019)가 각각 두 번 언급되었다. 정의는 다양했지만 일반적으로 AI가 무엇인지를 엄밀하게 정의하기보다는 AI의 기능에 초점을 맞추었다.

For example, Russel and Norvig (2020) defined AI as something that “enables the machine to exhibit human intelligence, including the ability to perceive, reason, learn, and interact.”

예를 들어, Russel과 Norvig(2020)은 AI를 “기계가 인간의 지능을 나타낼 수 있도록 하는 것, 즉 인지, 추론, 학습 및 상호 작용할 수 있는 능력을 포함하는 것”이라고 정의했다.

Similarly, Stone et al. (2016) referred to AI as “a science and a set of computational technologies that are inspired by—but typically operate quite differently from—the ways people […] sense, learn, reason, and take action.”

이와 유사하게, Stone 외(2016)는 AI를 “사람들이 감각하고, 학습하고, 추론하며 행동하는 방식에서 영감을 받았지만, 일반적으로 매우 다르게 작동하는 과학 및 일련의 계산 기술”로 정의했다.

While defining AI is outside the scope of this study, the most robust definition in the context of IS research came from Rai et al. (2019), who defined AI as “the ability of a machine to perform cognitive functions that we associate with human minds, such as perceiving, reasoning, learning, interacting with the environment, problem-solving, decision-making, and even demonstrating creativity.”

AI 정의가 본 연구의 범위를 벗어나지만, 정보 시스템(IS) 연구 맥락에서 가장 강력한 정의는 Rai 외(2019)에서 찾아볼 수 있다. 그들은 AI를 “기계가 인간의 마음과 연관된 인지 기능을 수행하는 능력, 즉 인지, 추론, 학습, 환경과의 상호작용, 문제 해결, 의사결정, 심지어 창의성을 발휘하는 능력”으로 정의했다.

5.2. The resurgence of AI in recent years

Our findings show that while there was a lack of studies on AI in the first decade of the examined period, there has been a resurgence in AI research in recent years. Over half of the primary studies were published in 2019 and 2020, indicating a significant increase in interest. ICIS published the highest number of studies, with 41 AI-related articles in comparison to 24 from ECIS and 14 from IJIM. This pattern reflects a broader trend seen across the academic community as AI moves into one of its “summer periods.”

본 연구의 결과에 따르면, 연구 기간의 첫 번째 10년 동안 AI에 대한 연구가 부족했지만, 최근 몇 년 동안 AI 연구가 다시 부활한 것으로 나타났다. 주요 연구의 절반 이상이 2019년과 2020년에 발표되었으며, 이는 AI에 대한 관심이 크게 증가했음을 나타낸다. ICIS는 AI 관련 논문을 41편 발표하며 가장 많은 연구를 발표했고, ECIS에서 24편, IJIM에서 14편이 발표되었다. 이 패턴은 AI가 ‘여름 기간’ 중 하나로 진입하면서 학술 커뮤니티 전반에서 나타나는 광범위한 경향을 반영한다.

This resurgence can be attributed to several factors. One major driver is the convergence of advancements in machine learning, big data, and the availability of high-performance hardware such as graphics processing units (GPUs), which have made supervised learning from large datasets much more practical and accessible. This is consistent with the findings from Morris, Schlenoff, and Srinivasan (2017), who reported that increased computing power has made AI applications more feasible in practice.

이러한 부활은 여러 요인에 기인한다. 주요 요인 중 하나는 기계 학습, 빅 데이터, 고성능 하드웨어(GPU와 같은)에서의 발전이 결합되면서 대규모 데이터 세트에서 감독 학습을 보다 실용적이고 접근 가능하게 만든 것이다. 이는 Morris, Schlenoff, 및 Srinivasan(2017)의 연구 결과와 일치하며, 이들은 컴퓨팅 성능의 향상이 AI 응용 프로그램을 실제로 더 실현 가능하게 만들었다고 보고했다.

Additionally, the increased feasibility of building empirical models from experimental data, which has driven the development of predictive analytics using big data, may also be a significant contributing factor. As AI moves toward more practical applications, industries such as healthcare, finance, and manufacturing have shown growing interest in how AI can improve operational efficiency and decision-making.

또한, 실험 데이터를 기반으로 한 실증적 모델 구축의 실현 가능성이 높아지면서 빅 데이터를 사용한 예측 분석의 발전이 촉진된 것이 중요한 기여 요인일 수 있다. AI가 더 실용적인 응용 프로그램으로 나아가면서, 의료, 금융, 제조업과 같은 산업에서는 AI가 운영 효율성과 의사 결정을 어떻게 개선할 수 있는지에 대한 관심이 커지고 있다.

However, it is important to note that the majority of the studies focus on the technological applications of AI in specific domains, such as healthcare and manufacturing. There remains a relative lack of research into the societal or governmental implications of machine learning and its recent advancements. This gap suggests that there is an opportunity for future research to explore AI’s broader societal impact, especially in areas like governance, ethics, and public policy.

그러나 대부분의 연구가 의료 및 제조업과 같은 특정 분야에서 AI의 기술적 응용에 초점을 맞추고 있다는 점에 주목할 필요가 있다. 기계 학습 및 그 최근 발전이 사회적 또는 정부적 영향을 미치는 연구는 상대적으로 부족하다. 이는 향후 연구에서 AI의 더 광범위한 사회적 영향을 탐구할 기회가 있으며, 특히 거버넌스, 윤리, 공공 정책과 같은 분야에서 그러하다.

5.3. Contribution mismatch

For identifying the contribution types that AI studies have made in IS in the past 15 years, the primary studies were categorized using a framework adapted from Shaw (2003) and Paternoster et al. (2014). The most prominent contribution type among the 98 studies was categorized as “lessons learned,” with 40 studies, closely followed by “methods” at 26, and to a lesser extent “advice or implication” at 15.

지난 15년 동안 정보 시스템(IS)에서 AI 연구가 이루어낸 기여 유형을 식별하기 위해, 주요 연구들은 Shaw(2003)와 Paternoster et al.(2014)에서 수정된 프레임워크를 사용하여 분류되었다. 98개의 연구 중 가장 두드러진 기여 유형은 ‘교훈’(40개 연구)으로 분류되었으며, 그다음으로 ‘방법론’(26개 연구), ‘조언 또는 시사점’(15개 연구)으로 분류되었다.

While these findings do show a steady gathering of cumulative knowledge relating to AI in IS, it also showcases a lack of studies in relation to (i) tools and (ii) models. This is somewhat surprising, as it means there seems to be little interest in IS in researching new and innovative tools related to AI.

이러한 결과는 AI와 관련된 정보 시스템(IS) 분야에서 꾸준히 축적된 지식을 보여주지만, (i) 도구와 (ii) 모델과 관련된 연구가 부족하다는 점도 드러낸다. 이는 다소 놀라운 결과이며, AI와 관련된 새로운 혁신적 도구에 대한 정보 시스템(IS) 연구에서의 관심이 적다는 것을 의미한다.

Instead, the bulk of the research seems to be focused on using types of AI, primarily machine learning, to create a particular framework, method, or technique to facilitate the construction and management of software and systems.

대신, 연구의 대부분은 특정 프레임워크, 방법론, 또는 기법을 개발하여 소프트웨어와 시스템의 구축 및 관리를 용이하게 하기 위해 주로 기계 학습과 같은 AI 유형을 사용하는 데 초점을 맞추고 있다.

It seems likely that the reason for this lack of focus on tools or methods is related, in some ways, to the reasons for the AI resurgence itself noted in section 5.2. That is, the advancement of technology making supervised learning from datasets and machine learning much more feasible means that researchers are now focused on this new foray, and “tools” and “methods” are left to languish because it seems the resurgence doesn’t lift up all aspects of AI equally.

도구나 방법론에 대한 집중 부족은 5.2절에서 언급된 AI 부활의 이유와 어느 정도 관련이 있는 것으로 보인다. 즉, 데이터 세트에서 감독 학습 및 기계 학습을 훨씬 더 실현 가능하게 만든 기술의 발전은 연구자들이 이제 이 새로운 분야에 집중하게 되었으며, 도구와 방법론은 AI의 모든 측면이 고르게 발전하지 못했기 때문에 소외된 것처럼 보인다.

5.4. Focus on machine learning

In terms of studying the categories of AI used, following the framework provided by Dejoux and Léon (2018), machine learning was found to be overwhelmingly prominent in the primary studies, with 69 of the 98 falling under it. Expert systems were the second most studied type of AI, with 11 studies categorized as using it. Robotics saw the least use among the primary studies, with only 3 studies concerned with it as its main focus.

사용된 AI 범주를 연구할 때, Dejoux와 Léon(2018)이 제공한 프레임워크에 따르면, 98개의 연구 중 69개가 기계 학습에 속해 있는 등 기계 학습이 압도적으로 두드러졌다. 전문가 시스템은 두 번째로 많이 연구된 AI 유형으로, 11개의 연구가 이 범주에 속했다. 로봇 공학은 주요 연구 중 가장 적게 사용되었으며, 단 3개의 연구만이 이를 주제로 다루었다.

This machine learning dominance seems to be due, at least in part, to the wide variety of contexts in which machine learning is useful in comparison to the other types. For example, many of the primary studies differentiated themselves by using a “machine learning approach” (Meyer et al., 2014; Chatterjee, Saeedfar, Tofangchi, & Kolbe, 2018).

기계 학습의 이러한 지배력은 적어도 부분적으로 다른 유형에 비해 기계 학습이 유용한 다양한 맥락 때문인 것으로 보인다. 예를 들어, 많은 주요 연구는 “기계 학습 접근법”을 사용함으로써 차별화되었다(Meyer et al., 2014; Chatterjee, Saeedfar, Tofangchi, & Kolbe, 2018).

In addition, the frequent appearance of machine learning as the AI application used in this paper can be attributed to the fact that it concerns a very broad spectrum of potential applications. Therefore, while the prominence of machine learning may be understandable, it is still a concern. It means there is a relative dearth of studies concerning other categories under AI, especially robotics.

또한, 이 논문에서 사용된 AI 응용 프로그램으로 기계 학습이 자주 등장하는 이유는 기계 학습이 매우 광범위한 응용 분야를 다룬다는 사실에 기인할 수 있다. 따라서 기계 학습의 두드러짐은 이해할 수 있지만 여전히 우려할 만한 부분이다. 이는 특히 로봇 공학과 같은 AI의 다른 범주에 대한 연구가 상대적으로 부족함을 의미한다.

Google Trends shows that the popularity of the search term for machine learning has surpassed the popularity of AI by almost twice as much (Google Trends, 2020).

Google Trends에 따르면, 기계 학습이라는 검색어의 인기는 AI보다 거의 두 배나 높아졌다(Google Trends, 2020).

Additionally, the advances in hardware such as GPUs that have made AI much more feasible in recent years seem to disproportionately favor machine learning, which means more focus from industry and research.

또한, 최근 몇 년 동안 AI를 훨씬 더 실현 가능하게 만든 GPU와 같은 하드웨어의 발전은 기계 학습에 불균형적으로 유리하게 작용했으며, 이는 산업계와 연구에서 더 많은 초점이 맞춰지고 있음을 의미한다.

For example, text mining is relatively inexpensive and can result in a wealth of information if done correctly (He, Zha, & Li, 2013), while there has been some research done on the critical success factors of data mining that are lacking in other areas (Bole, Popovic, Zabkar, Papa, & Jaklic, 2015). This means that some of the other types of AI have received less research focus, though all of them can offer much both practically and academically.

예를 들어, 텍스트 마이닝은 비교적 저렴하며, 제대로 수행되면 방대한 정보를 제공할 수 있다(He, Zha, & Li, 2013). 데이터 마이닝의 성공 요인에 대한 연구는 일부 이루어졌지만 다른 분야에서는 부족하다(Bole, Popovic, Zabkar, Papa, & Jaklic, 2015). 이는 일부 다른 유형의 AI가 연구 초점을 덜 받았음을 의미하지만, 이들 모두가 실질적이고 학문적으로 많은 기여를 할 수 있다.

From our findings, papers focused on natural language processing (NLP) have chatbots and similar virtual assistants as a major focus. However, they seem focused on front-facing interactions between these agents and customers, and less on actual employees working beside these agents. As chatbots and virtual agents rapidly advance in complexity, more research is needed into not just the effects on customers interacting with them, but the human-agent interaction of employees working with them as well.

우리의 연구 결과에 따르면, 자연어 처리(NLP)를 중심으로 한 논문들은 주로 챗봇 및 유사한 가상 비서와 관련이 있다. 그러나 이들은 주로 고객과 이 에이전트 간의 상호작용에 초점을 맞추고 있으며, 실제로 이 에이전트와 함께 일하는 직원에 대한 연구는 부족하다. 챗봇과 가상 에이전트가 급격히 복잡해짐에 따라, 이들과 상호작용하는 고객뿐만 아니라 함께 일하는 직원들의 인간-에이전트 상호작용에 대한 연구도 더 많이 필요하다.

The studies that used expert systems (ES) favored using a hybrid knowledge base involving a variety of AI systems, rather than the “classical” method of using just one or more human experts (Kunz, Stelzner, & Williams, 1989). However, other studies have noted that this shift hasn’t resulted in a greater impact than earlier systems, despite the advances in technology. Wagner (2017) also theorized that the reason for this lack of impact is that earlier developers were able to capitalize on the “low-hanging fruit” that had a more significant impact on organizations.

전문가 시스템(ES)을 사용한 연구들은 하나 이상의 인간 전문가만을 사용하는 “고전적” 방법보다는 다양한 AI 시스템을 포함하는 하이브리드 지식 기반을 선호했다(Kunz, Stelzner, & Williams, 1989). 그러나 다른 연구들에서는 기술의 발전에도 불구하고 이러한 전환이 이전 시스템보다 더 큰 영향을 미치지 못했다는 점을 지적했다. Wagner(2017)는 이러한 영향 부족의 원인이 초기 개발자들이 조직에 더 큰 영향을 미친 ‘낮게 달린 과일’에 집중했기 때문이라고 이론화했다.

5.5. Focus on process automation

Regarding the business value of AI in the primary studies, the results aren’t immensely surprising, and in fact align with the findings of Davenport and Ronanki (2018). Just as with (Davenport & Ronanki, 2018), process automation was the most reported business value found because of AI use.

AI가 주요 연구에서 제공하는 비즈니스 가치에 관한 결과는 크게 놀랍지 않으며, 실제로 Davenport와 Ronanki(2018)의 연구 결과와 일치한다. (Davenport & Ronanki, 2018)에서처럼, 프로세스 자동화는 AI 사용으로 인해 가장 많이 보고된 비즈니스 가치이다.

This is likely due to process automation being both the least expensive and the easiest to implement of the three value types discussed here (Davenport & Ronanki, 2018).

이것은 여기서 논의된 세 가지 가치 유형 중 프로세스 자동화가 가장 비용이 적게 들고 구현이 가장 쉬운 것과 관련이 있을 가능성이 높다(Davenport & Ronanki, 2018).

Adopters of RPA have noted the automation can radically transform back offices, delivering much lower costs while improving service quality, and decreasing delivery times, as well as freeing up employees from tedious tasks so they can focus on more important, challenging, and varied work (Lacity, Willcocks, & Andrew, 2015).

RPA(로봇 프로세스 자동화)를 채택한 기업들은 자동화가 백오피스를 급격하게 변화시킬 수 있으며, 비용을 크게 절감하면서 서비스 품질을 향상시키고, 납기 시간을 단축하며, 직원들이 지루한 작업에서 벗어나 보다 중요하고 도전적이며 다양한 업무에 집중할 수 있게 한다고 언급했다(Lacity, Willcocks, & Andrew, 2015).

Cognitive insight was the second most common type of derived business value among the primary studies and was described by Davenport and Ronanki (2018) as “analytics on steroids”.

인지적 통찰력은 주요 연구들에서 두 번째로 많이 파생된 비즈니스 가치 유형으로, Davenport와 Ronanki(2018)는 이를 “스테로이드에 올려놓은 분석”이라고 묘사했다.

Organisations that used such applications of AI find their value in performing and enhancing tasks only machines can do.

이러한 AI 응용 프로그램을 사용하는 조직들은 기계만이 수행할 수 있는 작업을 수행하고 향상시키는 데서 그 가치를 찾는다.

Cognitive engagement applications of AI were the value attributed to the least number of primary studies within our sample. This is likely partly due to the cognitive engagement dealing more with customers, and businesses being more conservative with customer facing technology (Davenport & Ronanki, 2018).

인지적 참여 AI 응용 프로그램은 샘플 내에서 가장 적은 수의 주요 연구에서 가치로 보고되었다. 이는 부분적으로 인지적 참여가 고객과의 상호작용을 다루기 때문이며, 기업들이 고객 대면 기술에 대해 더 신중하게 접근하는 경향이 있기 때문이다(Davenport & Ronanki, 2018).

Our findings provide an overview of the current state of research when it comes to AI use in the organisational setting, but also helps to draw some interesting points for future research.

우리의 연구 결과는 AI가 조직 환경에서 어떻게 사용되고 있는지에 대한 현재 상태를 개괄하며, 미래 연구를 위한 몇 가지 흥미로운 포인트를 도출한다.

One of the main findings in our synthesis concerned the lack of definitions when it comes to AI in empirical studies.

우리의 종합 분석에서 주요 발견 중 하나는 AI에 대한 실증 연구에서 정의의 부족과 관련이 있었다.

Since AI applications cover a breadth of different techniques, technologies, and set a different set of requirements on data, infrastructure and leveraging them in the organisational setting it is important that future research accurately frames the definition of AI that is used.

AI 응용 프로그램은 다양한 기술과 기술적 요구 사항을 다루며, 조직 환경에서 이를 활용하는 데 필요한 데이터 및 인프라 요구 사항도 각기 다르기 때문에, 향후 연구에서는 사용되는 AI의 정의를 정확하게 설정하는 것이 중요하다.

Apart from enabling a better comparison between empirical works, clearly articulating definitions can also allow for a better understanding of the assumptions and constraints that characterise the body of work.

실증 연구 간 비교를 더 잘할 수 있게 할 뿐만 아니라, 명확한 정의는 연구의 전제 및 제약 사항에 대한 더 나은 이해를 가능하게 한다.

Adding to the above, the different applications of AI largely dictate the type of business value that can be expected. Providing exact definitions on what type of AI application is studied is critical for business value research.

앞서 언급한 것 외에도, AI 응용 프로그램의 유형은 기대되는 비즈니스 가치 유형을 크게 좌우한다.

연구에서 다루는 AI 응용 프로그램의 정확한 정의를 제공하는 것은 비즈니스 가치 연구에 필수적이다.

In addition, it is important that studies define the exact use and application of the technology since this has an important bearing on how business value is realised. This point also relates heavily to the choice of theory used to support business value generation, as well as the context in which these technologies are deployed.

또한, 기술의 구체적인 사용 및 응용을 명확하게 정의하는 것이 중요한 이유는, 기술의 사용 방식이 비즈니스 가치 실현에 중요한 영향을 미치기 때문이다. 이 점은 비즈니스 가치 창출을 지원하는 이론 선택 및 이러한 기술이 배포되는 맥락과도 크게 관련된다.

Specifically, on the use of theories in studying business value, much of the work that has been published to date remains untheoretical. This poses a major issue as the boundary conditions and context in which AI applications are studied are not grounded on established theoretical frameworks.

특히, 비즈니스 가치를 연구하는 데 있어 이론을 사용하는 부분에서, 현재까지 발표된 많은 연구는 이론적 근거가 부족하다. 이는 AI 응용 프로그램이 연구된 조건과 맥락이 확립된 이론적 틀에 기반하지 않았기 때문에 주요 문제를 제기한다.

It also makes the comparison between findings and the identification of complementarities much more difficult. Adding to the above, major themes that have been under-reached remain difficult to identify with an absence of theoretically grounded work.

이로 인해 결과 간 비교 및 상호보완성을 식별하는 것이 더 어려워진다. 또한, 주요 주제들이 충분히 다뤄지지 않은 상태에서, 이론적으로 기반이 부족한 작업으로 인해 향후 연구의 방향을 제시하는 것이 어렵다.

For instance, there is limited work on the diffusion and assimilation of AI application in organisations following longitudinal studies.

예를 들어, AI 응용 프로그램의 확산 및 조직 내 동화에 대한 종단 연구(longitudinal studies)는 제한적이다.

This creates a large gap in our understanding of how AI applications are gradually assimilated in operations and how business value may evolve depending on the different stages of maturity.

이는 AI 응용 프로그램이 운영에 어떻게 점진적으로 통합되고, 성숙도의 다양한 단계에 따라 비즈니스 가치가 어떻게 진화하는지에 대한 이해에 큰 격차를 만든다.

Our findings, apart from their research relevance also raise some important practical implications. Specifically, our analysis documents the types of AI applications that are most pursued by organisations and therefore of highest interest to researchers.

우리의 연구 결과는 연구적 중요성 외에도 몇 가지 중요한 실무적 시사점을 제기한다. 특히, 우리의 분석은 조직이 가장 많이 추구하는 AI 응용 프로그램 유형을 문서화하며, 이는 연구자들에게 매우 큰 관심을 끌고 있다.

The specific applications and technologies of AI that are mostly researched provide practitioners some indication about the future deployments and common technologies in organisations.

가장 많이 연구된 AI의 특정 응용 프로그램과 기술은 실무자들에게 조직 내에서의 향후 배포 및 일반적인 기술에 대한 통찰을 제공한다.

The fact that machine learning applications are the most researched technology within the AI domain provides some indication about where future investments should be directed, as well as the expected type of business value that they can deliver.

AI 도메인에서 기계 학습 응용 프로그램이 가장 많이 연구된 기술이라는 사실은 향후 투자 방향에 대한 단서를 제공하며, 이 기술이 제공할 수 있는 예상 비즈니스 가치 유형에 대한 통찰을 제공한다.

Having such insight can allow IT managers to start experimenting with such techniques within their organisations and making appropriate investments to gradually deploy such solutions in business areas where they could be of high value.

이러한 통찰을 통해 IT 관리자들은 조직 내에서 이러한 기술을 실험해보고, 높은 가치를 창출할 수 있는 비즈니스 영역에 이러한 솔루션을 점진적으로 배포하기 위한 적절한 투자를 할 수 있게 된다.

In addition, the review of studies points out to those that can enable practitioners to obtain important lessons learned from deployments of AI technologies, identify ways in which methods have been applied and what common challenges emerge, as well as identify those that present general advice and best practices.

추가적으로, 연구 검토는 실무자들이 AI 기술 배포에서 얻은 중요한 교훈을 확인하고, 방법이 적용된 방식과 공통적으로 발생하는 과제를 파악하며, 일반적인 조언과 모범 사례를 제시하는 연구들을 지적한다.

In section 2.2, we noted other SLRs conducted in IS concerning artificial intelligence.

2.2절에서는 정보 시스템(IS)에서 인공지능과 관련된 다른 체계적 문헌 검토(SLR)들을 언급했다.

Rzpeka and Berger (2018) consolidated research streams within IS research that had previously been treated separated and aggregated insights regarding the interaction with different AI-enabled system types.

Rzpeka와 Berger(2018)는 이전에 분리되어 다루어졌던 IS 연구 내의 연구 흐름을 통합하고, 다양한 AI 기반 시스템 유형과의 상호작용에 대한 통찰을 집계했다.

Hofmann et al. (2019) found that nearly every step in the radiology value chain could be improved with the use of machine learning.

Hofmann 등(2019)은 방사선학 가치 사슬의 거의 모든 단계가 기계 학습을 통해 개선될 수 있음을 발견했다.

Borges et al. (2021) found that the strategic use of AI had not been well explored yet and created a preliminary conceptual framework to aid managers in exploring that.

Borges 등(2021)은 AI의 전략적 사용이 아직 충분히 탐구되지 않았으며, 이를 탐구하는 관리자를 돕기 위한 예비 개념적 프레임워크를 만들었다.

Karger (2020) was a first attempt to investigate how blockchain and AI could combine.

Karger(2020)은 블록체인과 AI가 어떻게 결합할 수 있는지를 조사하려는 최초의 시도였다.

This study took a step back from any specific industry domain to research how AI and machine learning was being defined and used in a broader level, uses a framework adapted from Shaw (2003) and Paternoster et al. (2014) to see the contributions to literature from AI studies in IS and creates a research agenda for future research.

이 연구는 특정 산업 도메인에서 벗어나 AI와 기계 학습이 더 넓은 수준에서 어떻게 정의되고 사용되는지를 조사하고, Shaw(2003)와 Paternoster 등(2014)에서 적용된 프레임워크를 사용하여 정보 시스템(IS)에서 AI 연구가 문헌에 기여한 내용을 파악하며, 미래 연구를 위한 연구 의제를 만든다.

6. Future research agenda

In the following section, we critically evaluate the literature related to our research questions and highlight potential gaps for further study to identify the opportunities for future AI research and thus fulfil the fourth and final aim of this paper.

다음 섹션에서는 우리의 연구 질문과 관련된 문헌을 비판적으로 평가하고, 추가 연구를 통해 미래 AI 연구의 기회를 식별하여 이 논문의 네 번째이자 마지막 목표를 달성하는 데 필요한 잠재적인 격차를 강조할 것이다.

We develop an agenda of future research that builds from the identified gaps. This research agenda is presented in Table 14 and was primarily formatted to correspond to the framework provided by Dejoux and Léon (2018) that has been used throughout this study, with the addition of two key areas that warrant further research.

우리는 식별된 격차를 바탕으로 미래 연구 의제를 개발한다. 이 연구 의제는 표 14에 제시되어 있으며, 연구 전반에 걸쳐 사용된 Dejoux와 Léon(2018)의 프레임워크에 맞춰 주로 구성되었으며, 추가 연구가 필요한 두 가지 핵심 영역이 포함되었다.

Table 14 Future research agenda for AI.

AI is seeing a small consolidation in how it is defined; as something that exhibits human intelligence, which can be seen in the definitions used by the papers in section 4.1. But the subject and definition of human intelligence is something that is still heavily debated even now.

AI는 인간 지능을 나타내는 것으로 정의가 조금씩 통합되고 있으며, 이는 4.1절에서 사용된 논문들의 정의에서 확인할 수 있다. 그러나 인간 지능의 주제와 정의는 여전히 많은 논쟁을 불러일으키고 있다.

It has been noted that AI technology has tended to “become a somewhat broad church where many forms of automation and limited intelligent machines are labelled as AI” (Dwivedi et al., 2021).

AI 기술은 “많은 형태의 자동화 및 제한된 지능형 기계들이 AI로 분류되는 경향이 있다”는 점이 지적되었다(Dwivedi et al., 2021).

There is a gap there for researchers to give more clarity in defining AI, even if that means redefining it away from traditional human intelligence.

이에 따라 연구자들은 AI를 더 명확하게 정의할 필요가 있으며, 이는 전통적인 인간 지능에서 벗어나 AI의 정의를 재정립하는 것을 의미할 수 있다.

Section 4.2.1 also points to a resurgence in interest in AI in recent years, though many of the studies here are heavily focused on the technology and performance aspect of AI.

4.2.1절에서는 최근 몇 년간 AI에 대한 관심이 다시 증가했음을 언급하고 있으며, 여기서 많은 연구가 AI의 기술적 및 성능 측면에 집중되어 있다.

More research should be done on the societal and personal effects these recent advances will have on people, both in the workplace and their everyday lives.

이러한 최근 발전이 직장과 일상생활에서 사람들에게 미칠 사회적, 개인적 영향을 더 연구할 필요가 있다.

Researchers are increasingly using machine learning as a major component of their methodology when researching various topics, but currently there is a gap where much of this research could further expand on how and why they are using machine learning the way they are.

연구자들은 다양한 주제를 연구할 때 기계 학습을 주요 방법론으로 점점 더 많이 사용하고 있지만, 현재 많은 연구에서 기계 학습을 사용하는 방법과 이유를 더 확장할 수 있는 격차가 존재한다.

For expert systems, there seems to be a shift away from the “traditional” style of ES with just a few experts managing a system to a more hybrid knowledge base that uses a variety of AI systems (Wagner, 2017).

전문가 시스템(ES)에서는 소수의 전문가가 시스템을 관리하는 전통적인 스타일에서 벗어나 다양한 AI 시스템을 사용하는 하이브리드 지식 기반으로 전환하는 경향이 나타나고 있다(Wagner, 2017).

This increased complexity may also mean it will take more time and effort than usual to see a return on the time and resources invested.

이러한 복잡성의 증가는 투자된 시간과 자원에 대한 보상을 얻는 데 더 많은 시간과 노력이 필요하다는 의미일 수도 있다.

Research into the full aspects of how service robots could potentially affect business and people is still lacking. Wider debate is needed into the interactive and psychological elements of robot-human interaction, especially in the long term, with some studies specifically showing that the strategic use of AI technologies for customer and employee engagement has not been well exploited yet (Borges et al., 2021; Gursoy, Chi, Lu, & Nunkoo, 2019).

서비스 로봇이 비즈니스와 사람들에게 미칠 수 있는 모든 측면에 대한 연구는 여전히 부족하다. 특히 장기적으로 로봇과 인간의 상호작용에 대한 심리적 요소에 대한 더 넓은 논의가 필요하며, 일부 연구는 고객 및 직원 참여를 위한 AI 기술의 전략적 사용이 아직 충분히 활용되지 않았음을 보여주고 있다(Borges et al., 2021; Gursoy, Chi, Lu, & Nunkoo, 2019).

A specific domain that is currently lacking in research for robotics is technophobia; previous research has examined the fear of computers and has not accounted for new and evolving technologies such as robots (Sinha, Singh, Gupta, & Singh, 2020).

현재 로봇공학 연구에서 부족한 특정 영역은 기술 공포증이며, 이전 연구에서는 컴퓨터에 대한 두려움을 다루었지만 로봇과 같은 새로운 진화하는 기술에 대해서는 다루지 않았다(Sinha, Singh, Gupta, & Singh, 2020).

Research into extensive interactions between advanced chatbots and humans is still immature, so researchers should take advantage of the increase in NLP capability and the usage of its technologies to do further research.

고급 챗봇과 인간 간의 광범위한 상호작용에 대한 연구는 아직 미숙하므로 연구자들은 자연어 처리(NLP) 능력 향상과 그 기술 사용을 활용하여 추가 연구를 수행해야 한다.

Finally, machine vision doesn’t seem to be taking advantage of some of the recent technological advances seen in the new studies in machine learning, so there’s a gap there for researchers to see if and how machine learning could be improved.

마지막으로, 기계 비전은 기계 학습의 새로운 연구에서 나타난 최근의 기술적 발전을 제대로 활용하지 못하는 것 같으며, 따라서 연구자들이 기계 학습이 어떻게 개선될 수 있는지를 연구할 수 있는 격차가 있다.

Additionally, much of IS literature recognises that IS alone is ineffective in generating value, so complementary assets are key to realising value from IS (Shea, Dow, & Chong, 2019).

추가적으로, 많은 정보 시스템(IS) 문헌에서는 IS만으로는 가치를 창출하는 데 비효율적이라는 점을 인식하고 있으며, 따라서 보완 자산이 IS로부터 가치를 실현하는 데 중요한 요소로 작용한다(Shea, Dow, & Chong, 2019).

AI is one of these complementary assets with potential for transformative value in IS (Nishant, Kennedy, & Corbertt, 2020).

AI는 정보 시스템에서 변혁적인 가치를 창출할 잠재력을 가진 이러한 보완 자산 중 하나이다(Nishant, Kennedy, & Corbertt, 2020).

There is potential for AI in all its forms. Despite the interest in AI in recent years, there remain gaps in knowledge. However, AI does tend to encompass a broad array of ideas and practices, ranging from the specifics of the technology used to even how it is defined.

AI는 그 모든 형태에서 잠재력을 가지고 있다. 최근 몇 년간 AI에 대한 관심에도 불구하고 여전히 지식의 격차가 존재한다. 그러나 AI는 사용되는 기술의 세부 사항에서부터 그 정의 방법에 이르기까지 광범위한 아이디어와 실천을 포괄하는 경향이 있다.

However, despite the great strides in AI noted in the, so-called “strong” AI doesn’t seem like it will be made a reality within the foreseeable future (Kurzweil, 2005).

그러나 AI에서의 큰 진전에도 불구하고, 이른바 “강한” AI는 가까운 미래에 실현될 것 같지 않다(Kurzweil, 2005).

The future agenda of AI seems set on the further advancement of “weak” AI where specific tasks and decisions are attributed to machines, especially as much of the current research is focused on industry-specific uses of AI, i.e., AI in healthcare, AI in manufacturing etc.

AI의 미래 의제는 특정 작업과 결정을 기계에 맡기는 “약한” AI의 진전을 중심으로 설정된 것으로 보이며, 특히 현재의 많은 연구가 의료, 제조업 등 산업별 AI 사용에 초점을 맞추고 있다.

From the findings and analysis of this SLR, it highlights a need for a more coherent working definition of AI among academia. To improve the coherence and efficiency of research and communication, it is better to make our working definitions explicit.

이 체계적 문헌 검토(SLR)의 연구 결과와 분석은 학계에서 AI에 대한 보다 일관된 작업 정의의 필요성을 강조한다. 연구와 의사소통의 일관성과 효율성을 향상시키기 위해 작업 정의를 명확하게 하는 것이 좋다.

7. Conclusion

This systematic literature review study provides a structured understanding of the state-of-the-art of AI research in IS. This was achieved by identifying 98 primary studies out of 1877 related AI articles over a fifteen-year period (2005 – 2020) and analysed them with respect to (i) definitions of AI, (ii) frequency of publication by year, (iii) publication channels, (iv) research method and data collection type, (v) contribution type, (vi) type of AI and (vii) business value.

이 체계적 문헌 검토 연구는 정보 시스템(IS)에서 인공지능(AI) 연구의 최신 상태에 대한 체계적인 이해를 제공한다. 이는 2005년부터 2020년까지 15년 동안 AI 관련 논문 1877편 중 98편의 주요 연구를 식별하고, (i) AI의 정의, (ii) 연도별 출판 빈도, (iii) 출판 채널, (iv) 연구 방법 및 데이터 수집 유형, (v) 기여 유형, (vi) AI 유형 및 (vii) 비즈니스 가치를 분석함으로써 이루어졌다.

A clear finding emerging from this systematic literature review is the need to

이 체계적 문헌 검토에서 나타난 명확한 결론은

(i) increase the number of rigorous academic studies on AI, especially regarding tools and models,
(ii) be more detailed on the definition of AI used in studies, even when it is not the focus, and (iii) build on cumulative knowledge.

(i) AI, 특히 도구와 모델에 관한 엄격한 학술 연구의 수를 증가시킬 필요가 있으며,
(ii) 연구에서 사용되는 AI 정의에 대해 더 구체적으로 명시해야 한다는 점이며, 이는 연구의 초점이 아닐 때에도 적용되며,
(iii) 축적된 지식을 기반으로 해야 한다는 것이다.

Research on AI in IS is still largely unexplored. While there is a relatively sizable amount of literature concerning AI in some way, a comprehensive review of what is known about AI in IS is lacking. This is especially true for the way AI is defined in IS, which is still disparate.

정보 시스템에서 AI에 대한 연구는 여전히 대부분 미개척 상태이다. AI와 관련된 상당한 양의 문헌이 존재함에도 불구하고, IS에서 AI에 대해 알려진 내용을 종합적으로 검토한 연구는 부족하다. 이는 특히 IS에서 AI가 정의되는 방식에 해당하며, 여전히 분산되어 있다.

This study examines the body of knowledge about AI in IS. This work has developed one of the very few SLRs on AI in IS and has provided a structured analysis of trends and gaps in the field.

이 연구는 정보 시스템에서 AI에 대한 지식 체계를 조사한다. 이 연구는 정보 시스템에서 AI에 대한 매우 드문 체계적 문헌 검토 중 하나를 개발했으며, 이 분야의 동향과 격차에 대한 체계적인 분석을 제공하였다.

The study provides new insights to the field of IS through the utilisation of conceptions of AI definition, mapping activities to AI, and value relating to AI.

이 연구는 AI 정의의 개념을 활용하고, 활동을 AI에 매핑하며, AI와 관련된 가치를 통해 정보 시스템 분야에 새로운 통찰을 제공한다.

We identified gaps in knowledge in the context of AI research and IS, which provides a starting point for IS researchers and IS practitioners to advance the socio-technical knowledge surrounding AI.

우리는 AI 연구 및 정보 시스템(IS) 맥락에서 지식의 격차를 확인했으며, 이는 정보 시스템 연구자 및 실무자가 AI를 둘러싼 사회기술적 지식을 발전시킬 출발점을 제공한다.

Thus, we make a call for future IS studies to examine AI, specifically to how AI is defined in contemporary IS research.

따라서 우리는 향후 정보 시스템 연구가 AI, 특히 현대 정보 시스템 연구에서 AI가 어떻게 정의되는지를 조사할 것을 촉구한다.