논문 리뷰 : AI 시스템 도입의 의도하지 않은 결과

Mayer, Anne-Sophie et al.(2020)

Unintended Consequences of Introducing AI Systems for Decision Making

Mayer, Anne-Sophie, Franz Strich, and Marina Fiedler. "Unintended Consequences of Introducing AI Systems for Decision Making." MIS Quarterly Executive 19.4 (2020).

https://aisel.aisnet.org/misqe/vol19/iss4/6/

Unintended Consequences of Introducing AI Systems for Decision Making

Abstract

AI systems are increasingly substituting human decision making.

AI 시스템은 점점 더 인간의 의사결정을 대체하고 있다.

Based on an in-depth case study, we describe how one such AI system fulfilled the intentions of senior management for introducing it.

심층적인 사례 연구를 기반으로, 이러한 AI 시스템 중 하나가 도입된 목적에서 고위 경영진의 의도를 어떻게 달성했는지를 설명한다.

However, we also identify the unintended consequences (positive and negative) of AI-based decision making for both employees and the organization.

그러나 AI 기반 의사결정이 직원과 조직 모두에게 미친 의도하지 않은 결과(긍정적 및 부정적)를 함께 분석한다.

Based on this case study, we provide recommendations for introducing decision-making AI systems in a way that fully exploits the potential of these systems and manages the unintended consequences.

이 사례 연구를 바탕으로, 이러한 시스템의 잠재력을 최대한 활용하면서 의도하지 않은 결과를 관리할 수 있는 AI 시스템 도입 방안을 제시한다.

The Consequences of Deploying AI in the Workplace Are Unpredictable

직장에서 AI를 도입했을 때의 결과는 예측하기 어렵다.

Artificial intelligence (AI) systems are increasingly being deployed in organizations and will have a profound impact on the future of work.

AI 시스템은 점점 더 많은 조직에 도입되고 있으며, 이는 미래의 업무에 깊은 영향을 미칠 것이다.

AI has the potential to enhance productivity, promote innovation, optimize processes, and generate competitive advantage, and will therefore increasingly shape organizations and the working lives of their employees.

AI는 생산성을 향상시키고, 혁신을 촉진하며, 프로세스를 최적화하고, 경쟁력을 창출할 잠재력을 가지고 있어 점점 더 조직과 직원들의 업무 환경을 변화시킬 것이다.

The banking industry is a pioneer in developing and applying AI systems.

은행 산업은 AI 시스템 개발 및 적용에서 선구자 역할을 하고 있다.

Banks are increasingly using AI for core business processes such as loan approval, which typically involves risk analysis, large-scale data sets, and predictive models.

은행은 점점 더 대출 승인과 같은 핵심 업무 프로세스에서 AI를 활용하고 있으며, 이는 일반적으로 위험 분석, 대규모 데이터 세트, 예측 모델을 포함한다.

AI systems are capable of learning from large historical data sets to become autonomous substitutes for the judgments of human loan consultants.

AI 시스템은 방대한 과거 데이터로부터 학습하여 인간 대출 상담사의 판단을 자율적으로 대체할 수 있다.

Specifically, AI systems that decide whether or not to grant a loan learn from historical data to optimize lending criteria.

특히, 대출 승인 여부를 결정하는 AI 시스템은 과거 데이터를 기반으로 대출 기준을 최적화하기 위해 학습한다.

Analytical AI systems such as these promise to improve the accuracy of decision making, as well as increase efficiency and profitability.

이러한 분석형 AI 시스템은 의사결정의 정확성을 향상시키고 효율성과 수익성을 증가시킬 것을 약속한다.

However, introducing decision-making AI systems creates potential non-transparency and discrimination risks.

그러나 의사결정 AI 시스템의 도입은 비투명성과 차별의 위험을 초래할 가능성이 있다.

Despite progress in implementing AI systems, the consequences for organizations and employees are largely unknown and unpredictable.

AI 시스템 도입이 진전되었음에도 불구하고, 조직과 직원들에게 미치는 결과는 대부분 알려지지 않았고 예측할 수 없다.

Hence, raising awareness that the introduction of a decision-making AI system may have unintended consequences and understanding these consequences is crucial for preventing or managing them.

따라서, 의사결정 AI 시스템 도입이 의도하지 않은 결과를 초래할 수 있다는 점을 인식하고 이를 이해하는 것이 이러한 결과를 예방하거나 관리하기 위해 중요하다.

To identify the unintended consequences of introducing AI systems and developing suitable strategies for managing them, we conducted an in-depth case study of a large German bank, which wishes to remain anonymous and is referred to as “Main Finance.”

AI 시스템 도입의 의도하지 않은 결과를 식별하고 이를 관리하기 위한 적절한 전략을 개발하기 위해 익명을 요청한 독일의 대형 은행, “메인 파이낸스(Main Finance)“에 대한 심층 사례 연구를 수행했다.

This bank has implemented an AI system (referred to anonymously as “CleverLoan”) to substitute for human decision making in the consultation process for granting loans to private customers.

이 은행은 개인 고객에게 대출을 제공하는 상담 과정에서 인간의 의사결정을 대체하기 위해 “클레버론(CleverLoan)“이라고 익명으로 명명된 AI 시스템을 도입했다.

This AI system was introduced to take over all the administration of loans from people, apart from entering data and communicating the decision on whether the loan application is successful.

이 AI 시스템은 데이터 입력 및 대출 신청 승인 여부를 고객에게 전달하는 과정을 제외하고 대출 관리의 모든 부분을 인수하기 위해 도입되었다.

Before the introduction of CleverLoan, the bank’s loan consultants were responsible for advising customers and deciding whether to grant a loan, and on what terms.

클레버론 도입 이전에는 은행의 대출 상담사가 고객 상담 및 대출 승인 여부와 조건을 결정하는 역할을 담당했다.

Now, the AI system autonomously decides whether to approve a loan and provides the consultant with a final and irreversible decision.

이제 AI 시스템이 대출 승인 여부를 자율적으로 결정하며, 상담사에게 최종적이고 되돌릴 수 없는 결정을 제공한다.

As a result, the consultant is no longer involved in decision making but has to communicate and justify the outcome of the AI-derived decision to the customer.

결과적으로 상담사는 더 이상 의사결정 과정에 참여하지 않으며, AI가 도출한 결과를 고객에게 전달하고 이를 설명하는 역할을 맡는다.

Main Finance therefore provides a unique opportunity to investigate the underexplored field of using autonomous decision-making AI systems and to understand the unintended consequences of introducing such systems.

따라서 메인 파이낸스는 자율적 의사결정 AI 시스템 사용이라는 잘 연구되지 않은 분야를 조사하고, 이러한 시스템 도입의 의도하지 않은 결과를 이해할 수 있는 독특한 기회를 제공한다.

Our study was guided by two questions: 1. What are the unintended consequences of introducing a decision-making AI system? 2. How can organizations manage these unintended consequences?

우리의 연구는 두 가지 질문에 의해 진행되었다: 1. 의사결정 AI 시스템 도입의 의도하지 않은 결과는 무엇인가? 2. 조직은 이러한 결과를 어떻게 관리할 수 있는가?

As explained in detail in the Appendix, our findings are based on an in-depth case study of Main Finance.

부록에서 자세히 설명한 바와 같이, 우리의 연구 결과는 메인 파이낸스에 대한 심층 사례 연구를 기반으로 하고 있다.

During our research, we collected data via interviews with 39 loan consultants and 14 managers at Main Finance, and from 11 employees at the supplier of CleverLoan (referred to anonymously as “AI Provider”).

연구 과정에서 우리는 메인 파이낸스의 대출 상담사 39명, 관리자 14명, 그리고 클레버론 제공업체(익명으로 “AI Provider”라 명명)의 직원 11명을 대상으로 인터뷰를 통해 데이터를 수집했다.

Overview of Main Finance

메인 파이낸스 개요

Main Finance is one of Germany’s largest banking groups and comprises about 900 institutions with more than 9,000 branches (including some in other European countries) and 135,000 employees.

메인 파이낸스는 독일 최대 은행 그룹 중 하나로, 약 900개의 기관과 9,000개 이상의 지점(다른 유럽 국가의 일부 포함), 그리고 135,000명의 직원을 보유하고 있다.

Main Finance has a strong regional focus and connects closely with local customers.

메인 파이낸스는 강력한 지역 중심 접근 방식을 채택하며 지역 고객들과 긴밀히 연결되어 있다.

The company’s presence in a particular region is visible not only through its numerous branches but also through its high social commitment to regional associations, institutions and activities.

이 회사의 특정 지역 내 존재는 다수의 지점뿐만 아니라 지역 협회, 기관 및 활동에 대한 높은 사회적 기여를 통해서도 드러난다.

Moreover, the company is renowned for its personal and customer-focused consulting in all financial matters.

또한, 이 회사는 모든 금융 분야에서 개인 맞춤형 및 고객 중심의 상담으로 잘 알려져 있다.

The company has assets of approximately $1 trillion and customer loans of about $700 billion.

이 회사는 약 1조 달러의 자산과 약 7천억 달러의 고객 대출을 보유하고 있다.

Private customer banking is one of Main Finance’s primary business areas and accounts for 60% of customer loans.

개인 고객 금융은 메인 파이낸스의 주요 사업 분야 중 하나이며, 고객 대출의 60%를 차지한다.

Within the private banking area, the small-loan business grants loans of up to about $100,000, with repayments due over a relatively short period.

개인 금융 분야 내에서 소액 대출 사업은 약 10만 달러까지의 대출을 제공하며, 비교적 짧은 기간 내에 상환이 이루어진다.

Examples include loans for purchasing a new car, for home renovation, or for a vacation.

예로는 새 자동차 구매, 주택 리노베이션, 또는 휴가를 위한 대출이 포함된다.

However, in the years before Main Finance introduced the CleverLoan AI system, the small-loan business had experienced several troubling issues.

그러나 메인 파이낸스가 클레버론 AI 시스템을 도입하기 전 몇 년 동안, 소액 대출 사업은 여러 가지 문제에 직면했다.

Issues Main Finance Faced Before Introducing AI

메인 파이낸스가 AI 도입 이전에 직면한 문제

Despite the central importance of private customer banking, Main Finance was increasingly confronted by four main issues in its small-loan business:

개인 고객 금융이 핵심적인 중요성을 가지는 사업임에도 불구하고, 메인 파이낸스는 소액 대출 사업에서 네 가지 주요 문제에 점점 더 직면하게 되었다:

1) increased competition from new market participants due to digitization;

2) mismatched personnel resources;

3) high default rates; and hence

4) a decline in profitability.

1) 디지털화로 인해 새로운 시장 참가자들과의 경쟁 증가,

2) 인력 자원의 불일치,

3) 높은 대출 채무 불이행 비율,

4) 이로 인한 수익성 감소.

Increased Competition from New Market Participants Due to Digitization

디지털화로 인한 새로운 시장 참가자들과의 경쟁 증가

As in many other industries, digitization has increased significantly in the banking industry.

다른 여러 산업과 마찬가지로, 은행 산업에서도 디지털화가 크게 증가하였다.

New developments in digital technologies enable processes to be handled more efficiently and in a more customer-oriented manner.

디지털 기술의 새로운 발전은 프로세스를 더욱 효율적이고 고객 중심적으로 처리할 수 있게 한다.

As a consequence, customer demands have shifted to greater flexibility and autonomy, which has accelerated the banking industry’s digital transformation and the emergence of an increasing number of online banks.

결과적으로, 고객의 요구는 더 큰 유연성과 자율성을 지향하게 되었으며, 이는 은행 산업의 디지털 전환을 가속화하고 더 많은 온라인 은행의 출현을 촉진하였다.

Online banks do not operate regional branch offices, have lower overall staffing and administrative costs, and therefore are often able to offer much more favorable loan conditions than their regional counterparts.

온라인 은행은 지역 지점을 운영하지 않으며, 전반적인 직원 및 행정 비용이 낮기 때문에 종종 지역 은행보다 훨씬 유리한 대출 조건을 제공할 수 있다.

Moreover, online banks have quicker processes that result in faster handling of loan applications. As a result, many customers have switched to online banks.

또한, 온라인 은행은 대출 신청을 더 빠르게 처리할 수 있는 신속한 절차를 제공한다. 결과적으로 많은 고객이 온라인 은행으로 이동하였다.

By continuing with its established customer-service focus, Main Finance experienced increasing cost pressure and competition in its small-loan business:

기존의 고객 서비스 중심 방식을 유지한 메인 파이낸스는 소액 대출 사업에서 비용 압박과 경쟁이 증가하는 상황에 직면했다:

“… if [customers] came to us, it was a time-consuming procedure. And for some people, this process just took too long or it was too complicated. And now there are online banks that say to customers: ‘You can get your loan right away.’ And then, during the process customers are told: ‘Well, you can also open a current account here, or trade securities and so on.’ Thus, customers partly migrated to the online banks.”

Manager, Main Finance

“… 고객들이 우리를 방문했을 때, 절차가 시간 소모적이었다. 어떤 사람들에게는 이 과정이 너무 오래 걸리거나 너무 복잡했다. 그런데 이제 온라인 은행들이 고객들에게 ‘바로 대출을 받을 수 있습니다’라고 말한다. 그 과정에서 고객들은 ‘여기에서 계좌를 개설하거나 증권 거래도 할 수 있습니다’라는 말을 듣게 된다. 따라서 고객들이 일부 온라인 은행으로 이동하였다.”

메인 파이낸스 관리자

Mismatched Personnel Resources

인력 자원의 불일치

Another issue for Main Finance was the mismatch of personnel resources, which mainly resulted from the industry’s increased digitization as well as the overall shortage of skilled workers in professional areas such as loan consulting.

메인 파이낸스가 직면한 또 다른 문제는 인력 자원의 불일치였으며, 이는 주로 산업의 디지털화 증가와 대출 상담과 같은 전문 분야에서 숙련된 인력의 전반적인 부족에서 비롯되었다.

On the one hand, the technology-driven automation and standardization of a growing number of tasks resulted in some employees becoming redundant.

한편, 기술 주도적인 자동화와 점점 더 많은 작업의 표준화는 일부 직원들을 잉여 인력으로 만들었다.

On the other hand, the bank had a shortage of qualified employees in areas with complex tasks where profound expertise was needed.

반면에, 은행은 높은 전문성이 필요한 복잡한 업무 영역에서 자격을 갖춘 직원이 부족했다.

For example, Main Finance had surplus staff in the service area (particularly employees who filled out transfer forms or welcomed customers at the front service desk) and simultaneously had a shortage of skilled staff qualified for loan consulting.

예를 들어, 메인 파이낸스는 서비스 영역(특히 송금 양식을 작성하거나 고객을 환영하는 프론트 데스크 직원)에서 잉여 인력이 있었지만 동시에 대출 상담에 적합한 숙련된 직원은 부족했다.

Main Finance could have laid off the surplus employees, but this would have greatly harmed its reputation as a sustainable and regional business partner and employer.

메인 파이낸스는 잉여 인력을 해고할 수도 있었지만, 이는 지속 가능하고 지역적인 비즈니스 파트너 및 고용주로서의 평판에 큰 타격을 줄 수 있었다.

The bank’s key competence is its strong connection to the local community.

은행의 핵심 경쟁력은 지역 사회와의 강력한 연계성에 있다.

“The main problem all along has been with people who worked at the counter or who made savings account entries and did transfers. You don’t need these employees anymore, but the challenge remains to keep them active in the market anyway. … On the other hand, the whole banking business is becoming more and more complex, and you simply need an immense amount of knowledge. Whether you are selling a security or something in the loan business, you need qualified people and to get hold of them is not easy.”

Manager, Main Finance

“지금까지의 주요 문제는 창구에서 일하거나 저축 계좌를 입력하고 송금을 처리했던 직원들과 관련이 있었다. 이제는 이러한 직원들이 더 이상 필요하지 않지만, 어쨌든 이들을 시장에서 활동적으로 유지해야 한다는 과제가 남아 있다. … 반면에 은행 사업 전체가 점점 더 복잡해지고 있으며, 엄청난 지식이 필요하다. 증권을 판매하든 대출 업무를 하든, 자격을 갖춘 사람들을 필요로 하며, 이러한 인력을 확보하는 것은 쉽지 않다.”

메인 파이낸스 관리자

High Loan Default Rates

높은 대출 채무 불이행 비율

A third issue the company faced was the large amount of loan defaults, with many customers delaying their repayments or refusing to repay at all.

회사가 직면한 세 번째 문제는 많은 고객이 상환을 연기하거나 아예 상환을 거부하는 등 대출 채무 불이행 건수가 많다는 것이었다.

There were two reasons for the high rate of defaults.

높은 채무 불이행 비율의 이유는 두 가지였다.

First, individual loan consultants applied selection criteria inconsistently, because there were no strict guidelines for granting a loan.

첫째, 개별 대출 상담사가 대출 승인 기준을 일관되게 적용하지 않았는데, 이는 대출 승인에 대한 엄격한 가이드라인이 없었기 때문이다.

Because consultants decided independently on loan approvals, decisions differed from one consultant to the next.

상담사가 대출 승인을 독립적으로 결정했기 때문에, 상담사마다 결정이 달랐다.

Thus, consultants’ personal opinions would inform their decisions and lead to misjudgments.

결과적으로 상담사의 개인적 의견이 대출 결정에 영향을 미치며 오판으로 이어졌다.

Second, due to a shortage of highly qualified consultants, less experienced consultants without the required expertise to correctly evaluate a customer’s creditworthiness were employed in the lending business.

둘째, 고도로 숙련된 상담사가 부족하여 고객의 신용도를 정확히 평가할 전문성을 갖추지 못한 경험이 적은 상담사가 대출 업무에 배치되었다.

As a result, Main Finance experienced increasingly high loan default rates:

결과적으로 메인 파이낸스는 점점 더 높은 대출 채무 불이행 비율을 경험했다:

“There are consultants who don’t have the know-how, because they can’t correctly assess the customer’s situation, the income situation and so on, which leads to high default rates. I know other [Main Finance] institutions that have relaxed the lending criteria even more than we have. They lowered the barriers for awarding loans, and they had an even higher default rate.”

Manager, Main Finance

“고객의 상황, 소득 상황 등을 정확히 평가할 수 있는 노하우가 없는 상담사들이 있다. 이는 높은 채무 불이행 비율로 이어진다. 우리보다 더 대출 기준을 완화한 다른 [메인 파이낸스] 기관들도 있다. 그들은 대출 기준을 낮췄고, 채무 불이행 비율은 훨씬 더 높았다.”

메인 파이낸스 관리자

Declining Profitability

수익성 감소

Increased competition, mismatched personnel resources, and high loan default rates led to a decline in profitability in the small-loan business.

증가하는 경쟁, 인력 자원의 불일치, 그리고 높은 대출 채무 불이행 비율이 소액 대출 사업의 수익성 감소로 이어졌다.

Although Main Finance consistently generated good profits in business segments such as mortgages and commercial services, the small-loan business increasingly became a problem for the bank.

메인 파이낸스는 모기지나 상업 서비스와 같은 사업 부문에서 꾸준히 좋은 수익을 올렸지만, 소액 대출 사업은 점점 은행에 문제로 자리 잡았다.

As a consequence, senior management began to look for possible solutions and decided to introduce the CleverLoan AI system:

결과적으로 고위 경영진은 가능한 해결책을 모색하기 시작했으며, 클레버론 AI 시스템을 도입하기로 결정했다:

The Strategic Decision to Introduce the AI System

AI 시스템 도입에 대한 전략적 결정

Senior management initially considered developing Main Finance’s own technology that would provide optimized lending decisions.

고위 경영진은 처음에 메인 파이낸스 자체 기술을 개발하여 최적화된 대출 결정을 제공하는 방안을 고려했다.

However, this idea was quickly discarded for two reasons: 1) the cost of developing such a tool would have been too high; and 2) the bank did not have the necessary know-how because IT development is not part of its core business.

그러나 이 아이디어는 두 가지 이유로 빠르게 폐기되었다: 1) 그러한 도구를 개발하는 비용이 너무 높았고, 2) IT 개발이 핵심 사업이 아니었기 때문에 은행이 필요한 노하우를 가지고 있지 않았다.

Senior management therefore decided to seek external solutions.

따라서 고위 경영진은 외부 솔루션을 모색하기로 결정했다.

Since 2001, Main Finance has been in a contractual relationship with AI Provider, a German IT service company that provides IT-based services for various business segments in the banking industry (e.g., support for loan decisions or liquidity management).

2001년부터 메인 파이낸스는 AI 제공업체(AI Provider)와 계약 관계를 맺어왔으며, 이 업체는 대출 결정 지원이나 유동성 관리와 같은 은행 산업의 다양한 사업 부문을 위한 IT 기반 서비스를 제공하는 독일 IT 서비스 회사이다.

Main Finance was already using a tool from AI Provider to support loan decisions.

메인 파이낸스는 이미 대출 결정을 지원하기 위해 AI 제공업체의 도구를 사용하고 있었다.

This tool provided loan consultants with consistent guidelines based on predefined criteria for granting loans.

이 도구는 대출 승인을 위한 사전 정의된 기준에 기반한 일관된 가이드라인을 대출 상담사들에게 제공했다.

However, the consultants were still able to alter the system-proposed decisions.

그러나 상담사는 여전히 시스템이 제안한 결정을 변경할 수 있었다.

With progressing technological advancement, AI Provider had begun to specialize in AI-based solutions to enhance the efficiency of specific business areas.

기술 발전이 진행됨에 따라, AI 제공업체는 특정 사업 영역의 효율성을 높이기 위한 AI 기반 솔루션에 특화되기 시작했다.

One of the company’s showcase products is CleverLoan—an AI-based tool for processing loan applications, which has since become the company’s core product due to its success and the high demand from Main Finance.

회사의 대표 제품 중 하나는 클레버론으로, 대출 신청을 처리하기 위한 AI 기반 도구이다. 이는 성공과 메인 파이낸스의 높은 수요 덕분에 회사의 핵심 제품이 되었다.

Only recently, AI Provider launched the latest version of CleverLoan, which is now a fully automated substitutive decision-making tool that is also able to learn.

최근 AI 제공업체는 클레버론의 최신 버전을 출시했으며, 이는 이제 학습이 가능한 완전 자동화된 대체 의사결정 도구가 되었다.

Main Finance’s senior management recognized that CleverLoan had considerable potential to address the four major issues it faced in the small-loan business.

메인 파이낸스의 고위 경영진은 클레버론이 소액 대출 사업에서 직면한 네 가지 주요 문제를 해결할 상당한 잠재력을 가지고 있음을 인식했다.

However, Main Finance took the strategic decision not to just implement this AI solution, but to restructure its small-loan business model to increase profitability by handing over its entire small-loan business to AI Provider, including administrative processing and the risk of loan defaults.

그러나 메인 파이낸스는 이 AI 솔루션을 단순히 도입하는 데 그치지 않고, 행정 처리와 대출 채무 불이행 위험을 포함한 전체 소액 대출 사업을 AI 제공업체에 이양함으로써 수익성을 높이기 위해 소액 대출 사업 모델을 재구성하기로 전략적 결정을 내렸다.

This decision means that Main Finance no longer has the administrative burden, nor the risk of loan defaults.

이 결정은 메인 파이낸스가 더 이상 행정적 부담이나 대출 채무 불이행 위험을 지지 않게 되었음을 의미한다.

However, the bank receives a commission fee for every loan made via CleverLoan.

그러나 은행은 클레버론을 통해 이루어진 각 대출에 대해 수수료를 받는다.

In return, AI Provider receives the interest from the loans.

대신에 AI 제공업체는 대출에서 발생하는 이자를 수취한다.

AI Provider also benefits from Main Finance’s existing large customer network because it does not have branch offices of its own:

AI 제공업체는 자체 지점이 없기 때문에 메인 파이낸스의 기존 대규모 고객 네트워크로부터 혜택을 받는다:

“We used to have [CleverLoan] shops. And that didn’t work out as well as we had imagined, and then consequently … we withdrew from the area and left the value we could add completely to [Main Finance] with its branches and customer network.”

Sales Manager, AI Provider

“우리는 과거에 [클레버론] 매장을 운영했었다. 그러나 우리가 상상했던 만큼 잘 되지 않았고, 그래서 … 결국 우리는 그 지역에서 철수했고, 우리의 부가가치를 전적으로 [메인 파이낸스]와 그 지점 및 고객 네트워크에 맡겼다.”

AI 제공업체 영업 관리자

Over time, more and more of Main Finance’s institutions implemented CleverLoan.

시간이 지남에 따라, 메인 파이낸스의 점점 더 많은 기관들이 클레버론을 도입했다.

Today, the vast majority of its almost 900 institutions use this AI-based solution.

현재 약 900개의 기관 중 대다수가 이 AI 기반 솔루션을 사용하고 있다.

Overview of the CleverLoan AI System

클레버론 AI 시스템 개요

CleverLoan was developed to provide loan consulting services for private customers.

클레버론은 개인 고객을 위한 대출 상담 서비스를 제공하기 위해 개발되었다.

It combines dynamic and static customer characteristics to decide whether or not to grant a loan and determines the terms and conditions of the loans.

이는 대출 승인 여부를 결정하고 대출의 조건을 정하기 위해 동적 및 정적 고객 특성을 결합한다.

Examples of customer characteristics include profession, place of residence, and marital status.

고객 특성의 예로는 직업, 거주지, 결혼 상태 등이 있다.

The system connects with external databases such as those containing customers’ account balances or the SCHUFA to gather data on customers’ income, assets, or debts.

시스템은 고객의 계좌 잔고나 SCHUFA와 같은 외부 데이터베이스와 연결하여 고객의 소득, 자산, 부채 데이터를 수집한다.

Based on these different data sources, CleverLoan autonomously decides whether to grant or deny a loan application and determines the terms of the loan.

이러한 다양한 데이터 소스를 바탕으로 클레버론은 대출 신청의 승인 여부를 자율적으로 결정하고 대출 조건을 설정한다.

Thus, CleverLoan autonomously verifies a customer’s data and within seconds generates an irreversible decision on loan approval or rejection.

따라서 클레버론은 고객 데이터를 자율적으로 검증하고 몇 초 안에 대출 승인 또는 거절에 대한 되돌릴 수 없는 결정을 생성한다.

The CleverLoan AI system is transparent, as European law requires, and it does not include neural networks.

클레버론 AI 시스템은 유럽 법률이 요구하는 바와 같이 투명하며, 신경망을 포함하지 않는다.

If the decision is to reject a loan application, the system automatically generates a guideline for explaining the rejection (e.g., insufficient income or excessive debts).

대출 신청을 거절하기로 결정하면, 시스템은 거절 이유를 설명하기 위한 가이드라인(예: 소득 부족, 과도한 부채)을 자동으로 생성한다.

However, the guideline does not disclose all reasons for the decision and does not justify specific loan conditions such as the interest rate.

그러나 이 가이드라인은 결정에 대한 모든 이유를 공개하지 않으며, 금리와 같은 특정 대출 조건에 대한 설명을 제공하지 않는다.

In fact, only a few AI Provider managers and employees know the underlying algorithms and the overall statistical model.

실제로, AI 제공업체의 관리자와 직원 중 소수만이 기본 알고리즘과 전체 통계 모델을 알고 있다.

AI Provider keeps the building blocks of its AI system strictly confidential and does not share them with any Main Finance managers or employees.

AI 제공업체는 자사의 AI 시스템의 구성 요소를 엄격히 비공개로 유지하며, 이를 메인 파이낸스의 관리자나 직원과 공유하지 않는다.

CleverLoan was trained on historical customer data and uses machine learning to make decisions about who is eligible for a loan.

클레버론은 과거 고객 데이터를 학습하며, 대출 자격 여부를 결정하기 위해 머신러닝을 활용한다.

It regularly evaluates which combinations of customer characteristics result in high default rates and thus determines which parameters might have to be included or reset.

시스템은 정기적으로 고객 특성의 조합 중 어떤 것이 높은 채무 불이행 비율을 초래하는지를 평가하며, 이에 따라 포함하거나 재설정해야 할 매개변수를 결정한다.

For instance, after the 2015 refugee crisis in Germany, the AI system indicated that people who had lived in Germany for less than six months had a particularly high default rate.

예를 들어, 2015년 독일 난민 위기 이후 AI 시스템은 독일에서 6개월 미만 거주한 사람들이 특히 높은 채무 불이행 비율을 가지고 있음을 나타냈다.

This finding delivered by the algorithm led to a new criterion being included in the lending process: minimum length of stay in Germany.

알고리즘이 제공한 이 발견으로 인해 대출 과정에 새로운 기준인 독일 내 최소 체류 기간이 포함되었다.

Although the system itself identified this potential improvement, AI Provider’s board still had to approve the addition of the new criterion:

시스템 자체가 이러한 잠재적 개선점을 식별했음에도 불구하고, AI 제공업체의 이사회는 새로운 기준의 추가를 승인해야 했다:

“I can’t tell you exactly how our AI system is programmed because this is our competitive advantage, but I can tell you that there is not ONE SINGLE decision-determining criterion; [the decision-making process] is made up of a very diverse set of characteristics—and that is precisely its strength. So, for example, the system looks at your SCHUFA, to check whether you have properly serviced your loans in the past. Then of course we look at your liquidity according to monthly expenses, and so on. So, suddenly you have a whole range of relevant characteristics and then the machine’s intelligence puts it all together.”

CEO, AI Provider

“우리 AI 시스템이 어떻게 프로그래밍되었는지 정확히 말할 수는 없다. 이는 우리의 경쟁 우위이기 때문이다. 하지만 단 하나의 의사결정 기준으로 작동하는 것은 아니라는 점은 확실히 말할 수 있다. [의사결정 과정]은 매우 다양한 특성들로 구성되어 있으며, 이것이 바로 시스템의 강점이다. 예를 들어, 시스템은 SCHUFA를 검토하여 과거에 대출을 제대로 상환했는지 확인한다. 그런 다음 매월 지출에 따른 유동성을 살펴보는 등 여러 데이터를 확인한다. 그러면 관련 특성들이 조합되고, 기계의 지능이 이를 모두 통합하여 의사결정을 내린다.”

AI 제공업체 CEO

Introducing the AI System Profoundly Changed the Role of Loan Consultants

AI 시스템 도입은 대출 상담사의 역할을 근본적으로 변화시켰다

The introduction of CleverLoan fundamentally changed loan consultants’ work.

클레버론의 도입은 대출 상담사의 업무를 근본적으로 변화시켰다.

Previously, the consultants were fully in charge of the loan application process.

이전에 상담사는 대출 신청 과정을 전적으로 담당했다.

Thus, if “Max Miller” wanted a loan of $10,000 for a new car, he would make an appointment with his consultant, “Tom Smith.”

따라서 “맥스 밀러”가 새 차를 위해 10,000달러의 대출을 원하면, 상담사인 “톰 스미스”와 약속을 잡았을 것이다.

They would meet in Tom’s office and Max would explain his request.

둘은 톰의 사무실에서 만나 맥스가 자신의 요청을 설명했다.

Tom would register the application and list the documents Max would need to hand in with his application (e.g., salary statement, confirmation about existing debt, current bank statements).

톰은 신청서를 등록하고, 맥스가 신청과 함께 제출해야 할 서류(예: 급여 명세서, 기존 부채 확인서, 현재 은행 거래 명세서)를 목록화했다.

Max would need to apply for some documents from different authorities, so they would agree to meet again within two weeks.

맥스는 여러 기관에서 몇 가지 서류를 신청해야 했고, 두 사람은 2주 안에 다시 만나기로 했다.

At that next meeting, Tom might see from Max’s documents that from time to time he had problems balancing his bank account.

다음 만남에서 톰은 맥스의 서류를 통해 그가 가끔 은행 계좌의 잔액을 맞추는 데 어려움을 겪었다는 것을 알 수 있었다.

However, as Tom has known Max for a long time, he would approve the loan and determine the interest rate and the repayment installments.

그러나 톰이 맥스를 오랫동안 알아왔기 때문에 대출을 승인하고 금리와 상환 금액을 결정했을 것이다.

To complete the application process, Tom would then have to send all the paperwork to a different internal division to have all the details checked.

신청 과정을 완료하기 위해 톰은 모든 서류를 다른 내부 부서로 보내 세부 사항을 확인받아야 했다.

One week later, Tom would have the approval of the internal department and could finalize the loan contract.

1주일 후 톰은 내부 부서의 승인을 받고 대출 계약을 마무리할 수 있었다.

Once Max signed the contract and after an additional 10-day delay, he would receive the $10,000.

맥스가 계약서에 서명하고 추가로 10일의 지연 후에 10,000달러를 받을 수 있었다.

Now, with the CleverLoan AI system, Max makes an appointment to meet with Tom and explains his request.

이제 클레버론 AI 시스템과 함께 맥스는 톰과 약속을 잡고 자신의 요청을 설명한다.

Tom types the data from Max’s identity card into the CleverLoan system and fills in the required fields.

톰은 맥스의 신분증 데이터를 클레버론 시스템에 입력하고 필요한 필드를 채운다.

He clicks on “Make Request” and, within a few minutes, Tom has the final decision.

그는 “신청 제출”을 클릭하고 몇 분 안에 최종 결정을 받는다.

The AI system decides to grant Max the loan and lists all conditions, such as interest rate and repayment terms.

AI 시스템은 맥스의 대출을 승인하기로 결정하고 금리 및 상환 조건과 같은 모든 조건을 나열한다.

Tom then goes through the conditions with Max one by one.

톰은 맥스와 함께 조건을 하나씩 검토한다.

In addition to the loan details, the AI system generates recommendations for additional products and services that might be interesting for Max.

대출 세부 사항 외에도 AI 시스템은 맥스에게 흥미로울 수 있는 추가 제품 및 서비스에 대한 추천을 생성한다.

For example, the system might show that Max currently has two outstanding loans with another bank.

예를 들어, 시스템은 맥스가 현재 다른 은행에서 두 개의 미상환 대출을 보유하고 있다는 것을 보여줄 수 있다.

Tom tells Max that if he were to bundle these loans into a single loan from Main Finance, he would be given special conditions.

톰은 맥스에게 이 대출들을 메인 파이낸스에서 하나의 대출로 묶으면 특별 조건을 받을 수 있다고 말한다.

Furthermore, CleverLoan might recommend a life insurance policy for Max.

더 나아가, 클레버론은 맥스에게 생명 보험 상품을 추천할 수도 있다.

Finally, Max signs the contract, and one hour later $10,000 is in his account.

마침내 맥스는 계약서에 서명하고, 한 시간 후에 10,000달러가 그의 계좌로 입금된다.

Figure 1 illustrates the loan consulting process before and after the introduction of the CleverLoan AI system and provides an overview of the process changes.

그림 1은 클레버론 AI 시스템 도입 전후의 대출 상담 과정을 보여주며, 과정의 변화를 개괄적으로 설명한다.

Figure 1: Overview of the Changes in the Loan Consulting Process Before and After Introducing the

The Intended Consequences of Introducing the AI System Were Realized

AI 시스템 도입의 의도된 결과가 실현되었다.

The introduction of CleverLoan resulted in four intended consequences for Main Finance, all of which the company’s senior management had anticipated during the planning stage: 1) enhanced competitiveness; 2) solving the personnel mismatch; 3) decreased default rates; and 4) increased profitability.

클레버론 도입은 메인 파이낸스에 네 가지 의도된 결과를 가져왔으며, 이는 모두 회사 고위 경영진이 계획 단계에서 예상했던 바이다: 1) 경쟁력 강화, 2) 인력 불일치 문제 해결, 3) 채무 불이행률 감소, 4) 수익성 증가.

1. Enhanced Competitiveness Through Immediate Decisions

즉각적인 의사결정을 통한 경쟁력 강화

The introduction of CleverLoan counteracted the growing competition that Main Finance was experiencing from online banks.

클레버론 도입은 메인 파이낸스가 온라인 은행들과의 증가하는 경쟁에서 직면한 문제를 상쇄시켰다.

The AI system’s ability to immediately generate a decision contributed to more efficient processing of loan applications.

AI 시스템의 즉각적인 결정 생성 능력은 대출 신청 처리의 효율성을 높이는 데 기여했다.

As described above, the entire loan process from application to decision outcome previously took several weeks.

앞서 설명한 바와 같이, 대출 신청에서 결정 결과까지의 전체 과정은 이전에 몇 주가 걸렸다.

With CleverLoan, the entire process now takes between 15 and 20 minutes.

클레버론을 사용하면 전체 과정이 이제 15~20분 정도 소요된다.

The advantage that Main Finance now has over online banks is that customers have an on-site personal loan consultant but still receive an immediate decision.

메인 파이낸스가 이제 온라인 은행보다 가지는 강점은 고객이 현장에서 대출 상담사를 만나면서도 즉각적인 결정을 받을 수 있다는 점이다.

Customer surveys have confirmed to senior management that Main Finance has improved its competitiveness in the small-loan market:

고객 설문 조사는 메인 파이낸스가 소액 대출 시장에서 경쟁력을 향상시켰음을 고위 경영진에게 확인시켰다:

“[With the use of CleverLoan] we could kill two birds with one stone, as we now offer fast lending and we have the consultant on site. So, we actually have both of these things and are able to retain customers as we are able to serve them holistically.”

Manager, Main Finance

“[클레버론을 사용하면서] 우리는 한 번에 두 마리 토끼를 잡을 수 있었다. 이제 우리는 빠른 대출을 제공하고 현장에 상담사를 두고 있기 때문이다. 따라서 이 두 가지를 모두 갖추고 있으며, 고객을 포괄적으로 지원할 수 있어 고객을 유지할 수 있게 되었다.”

메인 파이낸스 관리자

2. Solving the Personnel Mismatch Through Autonomous Decision Substitution

자율적 의사결정 대체를 통한 인력 불일치 문제 해결

Introducing the CleverLoan AI system also helped to address the mismatch in personnel resources—surplus staff in the service area, and staff shortages in the loan consultancy area.

클레버론 AI 시스템 도입은 서비스 부문의 잉여 인력과 대출 상담 부문의 인력 부족이라는 인력 불일치 문제를 해결하는 데도 도움을 주었다.

CleverLoan significantly reduced the requirements needed for the work of loan consultants, and employees without specific loan consulting expertise can now work in this area by relying on the AI system.

클레버론은 대출 상담 업무에 필요한 요건을 크게 줄였으며, 대출 상담 전문성이 없는 직원들도 AI 시스템에 의존하여 이 분야에서 일할 수 있게 되었다.

Main Finance can therefore retain service employees who do not have loan consulting qualifications by re-allocating them to this role.

따라서 메인 파이낸스는 대출 상담 자격이 없는 서비스 직원을 이 역할로 재배치하여 유지할 수 있다.

The company also benefits from a high degree of flexibility arising from the interchangeability of employees.

회사는 직원들의 교체 가능성에서 비롯된 높은 수준의 유연성으로도 이점을 얻는다.

Because the AI system can be used by almost every employee, Main Finance no longer depends on qualified and experienced employees whose only contribution is to grant or deny loans.

AI 시스템은 거의 모든 직원이 사용할 수 있으므로, 메인 파이낸스는 대출 승인 또는 거절만을 담당하는 숙련되고 경험 많은 직원에게 더 이상 의존하지 않는다.

This is especially helpful if employees have left or are absent due to illness, maternity leave, or vacation.

이는 특히 직원이 퇴사하거나 병가, 출산 휴가, 휴가로 부재 중일 때 유용하다.

Furthermore, newly appointed loan consultants can start using the AI system from day one and no longer need to undergo lengthy and costly training:

또한 새로 임명된 대출 상담사는 첫날부터 AI 시스템을 사용할 수 있으며, 더 이상 길고 비용이 많이 드는 교육을 받을 필요가 없다:

“Before, you had to be familiar with the loan business, and there weren’t that many people who could make really reliable decisions on allocating loans. So, with [CleverLoan] it suddenly became relatively easy. You could put the required data in a query procedure and then the system says yes or no.”

Manager, Main Finance

“이전에 대출 업무에 익숙해야 했고, 대출 배정을 신뢰성 있게 결정할 수 있는 사람이 그렇게 많지 않았다. 그러나 [클레버론]으로 인해 갑자기 일이 상대적으로 쉬워졌다. 필요한 데이터를 쿼리 프로세스에 입력하면 시스템이 승인 또는 거절을 결정한다.”

메인 파이낸스 관리자

3. Decreased Default Rates Through Consistent and Adaptable Decision Algorithms

일관적이고 적응 가능한 의사결정 알고리즘을 통한 채무 불이행률 감소

The CleverLoan AI system makes more accurate predictions and decisions than loan consultants previously did, which has resulted in a decrease in loan defaults.

클레버론 AI 시스템은 이전의 대출 상담사보다 더 정확한 예측과 결정을 내리며, 이는 대출 채무 불이행 감소로 이어졌다.

Analyses by AI Provider have shown that customers granted loans by CleverLoan are more likely to repay their loans:

AI 제공업체의 분석에 따르면, 클레버론을 통해 대출을 받은 고객이 대출을 상환할 가능성이 더 높은 것으로 나타났다:

“Talking to debt counseling agencies, we never heard that customers were overindebted because of CleverLoan decisions. And, for us, that was always the greatest compliment. This has always reflected quite positively on the fact that our loan decision algorithms work well.”

CEO, AI Provider

“채무 상담 기관과 대화할 때, 우리는 클레버론 결정으로 인해 고객이 과도하게 채무를 지게 되었다는 말을 들은 적이 없다. 그리고 이는 항상 우리에게 가장 큰 칭찬이었다. 이는 우리의 대출 결정 알고리즘이 잘 작동한다는 점을 항상 긍정적으로 반영했다.”

AI 제공업체 CEO

Although Main Finance is not liable for any loan defaults, it still wants low default rates because this will help it to maintain and strengthen customer relationships.

메인 파이낸스는 대출 채무 불이행에 대해 책임이 없지만, 채무 불이행 비율이 낮기를 원한다. 이는 고객 관계를 유지하고 강화하는 데 도움을 줄 수 있기 때문이다.

There is a strong link between the perception of its loan consulting service and the ability to get a loan approved via CleverLoan, so Main Finance is interested in customers who trust and are satisfied with CleverLoan.

대출 상담 서비스에 대한 인식과 클레버론을 통해 대출 승인을 받을 수 있는 능력 간에는 강한 연관성이 있으므로, 메인 파이낸스는 클레버론을 신뢰하고 만족하는 고객들에게 관심을 가지고 있다.

These favorable impressions might not exist if customers were not able to repay their loans and thus faced permanent indebtedness.

고객이 대출을 상환하지 못하고 지속적인 채무에 직면하게 된다면 이러한 긍정적인 인상이 존재하지 않을 수 있다.

Main Finance therefore indirectly benefits from the low rate of loan defaults made possible by the introduction of CleverLoan.

따라서 메인 파이낸스는 클레버론 도입으로 인해 가능해진 낮은 대출 채무 불이행 비율로 간접적인 혜택을 얻고 있다.

4. Increased Profitability

수익성 증가

Together, the three intended consequences described above contributed to increased profitability in Main Finance’s small-loan business.

위에서 설명한 세 가지 의도된 결과가 결합되어 메인 파이낸스의 소액 대출 사업에서 수익성을 증가시켰다.

The more efficient processes, reduced staffing and administrative costs, and decreased loan defaults enabled by CleverLoan’s unique characteristics have all helped to increase the profitability of the small-loan business:

클레버론의 독특한 특성으로 가능해진 더 효율적인 프로세스, 인력 및 행정 비용 절감, 대출 채무 불이행 감소는 모두 소액 대출 사업의 수익성을 높이는 데 기여했다:

“[CleverLoan] was a very big success story, from my point of view, because now the [small-loan] business has actually been revived.”

Manager, Main Finance

“[클레버론]은 내 관점에서 매우 큰 성공 사례였다. 이제 [소액 대출] 사업이 실제로 부활했기 때문이다.”

메인 파이낸스 관리자

In conclusion, implementing CleverLoan has counteracted the major issues faced by Main Finance in its small-loan business.

결론적으로, 클레버론 도입은 메인 파이낸스가 소액 대출 사업에서 직면했던 주요 문제를 상쇄시켰다.

As a result, senior management initially considered CleverLoan to be a success.

그 결과, 고위 경영진은 처음에 클레버론을 성공으로 간주했다.

However, over time, several unintended consequences emerged both for frontline workers and for the organization.

그러나 시간이 지남에 따라, 현장 직원과 조직 모두에 대해 몇 가지 의도하지 않은 결과가 나타났다.

Unintended Consequences for Frontline Workers

현장 직원에 대한 의도하지 않은 결과

The unique characteristics of the CleverLoan AI system resulted in several unintended consequences for frontline workers—both positive and negative.

클레버론 AI 시스템의 독특한 특성은 현장 직원들에게 긍정적이든 부정적이든 몇 가지 의도하지 않은 결과를 초래했다.

Senior management was mainly focused on the bank’s goals and, as part of this, intended to transfer service desk personnel to fill vacant loan consultant positions.

고위 경영진은 주로 은행의 목표에 집중했으며, 이를 위해 서비스 데스크 직원을 공석인 대출 상담직으로 전환할 계획이었다.

However, senior management underestimated the effect of the AI system’s unique characteristics on frontline workers’ work:

그러나 고위 경영진은 AI 시스템의 독특한 특성이 현장 직원들의 업무에 미치는 영향을 과소평가했다:

“I honestly had no idea about these issues; I was completely surprised when you told me that. I would be very interested in a further evaluation … because I would like to find out more about these employees who feel that their competence is impaired.”

Manager, Main Finance

“솔직히 이런 문제들에 대해 전혀 몰랐다. 당신이 말했을 때 완전히 놀랐다. 추가 평가에 매우 관심이 있다… 왜냐하면 자신들의 역량이 손상되었다고 느끼는 이 직원들에 대해 더 알고 싶기 때문이다.”

메인 파이낸스 관리자

Positive Unintended Consequences for Frontline Workers

현장 직원들에게 나타난 긍정적인 의도하지 않은 결과

There were three positive unintended consequences of working with CleverLoan for frontline workers: 1) transferring responsibility to the AI system; 2) ability to communicate more confidently; and 3) easier customer acceptance of loan rejections.

클레버론을 사용하는 현장 직원들에게 나타난 세 가지 긍정적인 의도하지 않은 결과는 다음과 같다: 1) AI 시스템으로 책임 전가, 2) 더 자신감 있게 의사소통할 수 있는 능력, 3) 대출 거절에 대한 고객 수용 용이성.

Transferring Responsibility to the AI System

AI 시스템으로 책임 전가

CleverLoan enables loan consultants to transfer their responsibility to the AI system, because they can neither intervene in the decision making nor alter the outcome.

클레버론은 대출 상담사가 AI 시스템에 책임을 전가할 수 있도록 하며, 이는 그들이 의사결정 과정에 개입하거나 결과를 변경할 수 없기 때문이다.

Feeling that they are no longer responsible for the decision helps many loan consultants communicate the decision to the customer more quickly and easily, putting less pressure on the consultants:

더 이상 결정을 책임지지 않는다는 느낌은 많은 대출 상담사가 고객에게 결정을 더 빠르고 쉽게 전달할 수 있도록 도우며, 상담사에게 가는 압박을 줄인다:

“… for me, it’s easy, because I just have this tool and I don’t have to decide on my own. I can delegate the responsibility more or less, because after so many years you know your customers very well, and to say ‘no’ to a larger loan is often difficult. Therefore, the program simply decides for you whether the customer will receive the loan—yes or no—and also at what interest rate.”

Loan Consultant, Main Finance

“… 나에게는 쉽다. 왜냐하면 나는 이 도구를 가지고 있고, 스스로 결정할 필요가 없기 때문이다. 나는 어느 정도 책임을 위임할 수 있다. 수년간 고객을 잘 알게 되었지만, 큰 대출에 대해 ‘안 된다’고 말하는 것은 종종 어렵다. 따라서 프로그램이 고객이 대출을 받을지 여부와 금리를 대신 결정해준다.”

메인 파이낸스 대출 상담사

Ability to Communicate More Confidently

더 자신감 있게 의사소통할 수 있는 능력

In association with transferred responsibility, some frontline workers feel that using CleverLoan helps them communicate more confidently.

책임 전가와 관련하여, 일부 현장 직원들은 클레버론을 사용하는 것이 더 자신감 있게 의사소통하는 데 도움을 준다고 느꼈다.

This confidence stems from CleverLoan’s ability to visually enhance the process of communicating the decision.

이 자신감은 클레버론이 의사결정 전달 과정을 시각적으로 향상시키는 능력에서 비롯된다.

Previously, loan consultants had to develop their own strategies for communicating rejections.

이전에 대출 상담사는 거절 의사를 전달하기 위한 자체 전략을 개발해야 했다.

Now, they can handle difficult customer situations by using the AI-generated guidelines for facilitating the consultation:

이제, 그들은 AI가 생성한 상담 가이드를 활용하여 어려운 고객 상황을 처리할 수 있다:

“In 90% of the cases [the guidelines are] clearly structured, showing why a particular decision comes out. So, even if the customer receives a rejection, this [AI-generated guideline] will state the reason for the rejection and the possibilities that the customer has if he/she wants to receive a different loan result.”

Loan Consultant, Main Finance

“90%의 경우에 [가이드라인은] 명확하게 구조화되어 특정 결정이 나온 이유를 보여준다. 따라서 고객이 거절을 받더라도, 이 [AI 생성 가이드라인]은 거절 이유와 다른 대출 결과를 원할 경우 고객이 가질 수 있는 가능성을 명시한다.”

메인 파이낸스 대출 상담사

Easier Customer Acceptance of Loan Rejections

대출 거절에 대한 고객 수용 용이성

When the AI system rejects a loan application, frontline workers perceive that customers better accept the system’s decision than they would if the decision were made by the loan consultant.

AI 시스템이 대출 신청을 거절할 때, 현장 직원들은 고객이 상담사가 결정을 내렸을 때보다 시스템의 결정을 더 잘 받아들인다고 인식한다.

Loan consultants rely on the finality of the AI-based decision to keep the interaction with customers short and to defuse any unpleasantness by the customer:

대출 상담사는 AI 기반 결정의 최종성에 의존하여 고객과의 상호작용을 짧게 유지하고 고객의 불만을 완화한다:

“It helps in arguing, I’d say, in difficult … loan applications, decision communications, decision making, as strange as it sounds. You don’t have deep insight into how the tool works, but interestingly, the acceptance of a ‘no’ is often easier for the customer when a machine has decided it for him/her.”

Consultant, Main Finance

“어려운 대출 신청이나 결정 전달, 의사결정 과정에서 논의를 돕는다, 이상하게 들릴 수 있지만 말이다. 도구가 어떻게 작동하는지 깊이 이해하지 못하지만, 기계가 대신 ‘안 된다’고 결정했을 때 고객이 이를 더 쉽게 받아들이는 경우가 종종 있다.”

메인 파이낸스 상담사

These three positive unintended consequences for frontline workers were mainly highlighted by former service-desk employees who are now able to use the CleverLoan AI system to work as loan consultants and subjectively perceive the switch as a promotion.

현장 직원들에게 나타난 이 세 가지 긍정적인 의도하지 않은 결과는 주로 과거 서비스 데스크 직원들이 클레버론 AI 시스템을 사용하여 대출 상담사로 일하게 되면서, 이 변화를 승진으로 주관적으로 받아들이는 경우에 두드러졌다.

However, according to the bank, the change in role was not intended as a promotion; nevertheless, employees perceive the change as a promotion, resulting in increased motivation and satisfaction:

그러나 은행에 따르면 역할의 변화는 승진으로 의도된 것은 아니었지만, 직원들은 이 변화를 승진으로 인식하여 동기 부여와 만족도가 증가하였다:

“What the person who sells a [loan via CleverLoan] must be able to do is a consultation, but more in the sense of service, and so on. But doing data entry simply has zero complexity, and I don’t need an insanely highly qualified employee to do this consultation.”

HR Manager, AI Provider (previously a Main Finance Loan Consultant)

“[클레버론을 통해 대출을 판매하는] 사람이 해야 하는 것은 상담이지만, 더 서비스 지향적인 성격이다. 하지만 단순히 데이터 입력을 하는 일은 복잡성이 전혀 없고, 이 상담을 수행하는 데 지나치게 높은 자격을 가진 직원이 필요하지 않다.”

AI 제공업체 인사 관리자 (이전에 메인 파이낸스 대출 상담사)

The service-desk employees who have been reassigned to a loan consultant role appreciate the opportunity not only to orient themselves to the AI system, as they would for a conventional information system, but also to rely on it completely.

대출 상담 역할로 재배치된 서비스 데스크 직원들은 기존의 정보 시스템처럼 AI 시스템에 적응할 기회를 얻은 것뿐만 아니라, 그것에 완전히 의존할 수 있는 점을 긍정적으로 평가한다.

The autonomy of the AI system gives these employees the security and confidence to step into their new role as loan consultants.

AI 시스템의 자율성은 이 직원들에게 새로운 대출 상담사 역할을 맡는 데 필요한 안정감과 자신감을 제공한다.

Negative Unintended Consequences for Frontline Workers

현장 직원들에게 나타난 부정적인 의도하지 않은 결과

The four negative unintended consequences experienced by frontline workers, particularly those trained as loan consultants, were: 1) a perceived loss of competence; 2) a perceived loss of reputation; 3) an increased moral burden; and 4) the unpredictability of decisions.

특히 대출 상담사로 훈련받은 현장 직원들이 경험한 네 가지 부정적인 의도하지 않은 결과는 다음과 같다: 1) 역량 상실에 대한 인식, 2) 평판 상실에 대한 인식, 3) 도덕적 부담 증가, 4) 결정의 예측 불가능성.

Perceived Loss of Competence

역량 상실에 대한 인식

Some frontline workers perceived the transfer of decision-making autonomy from loan consultant to the AI system as a loss of competence.

일부 현장 직원들은 대출 상담사에서 AI 시스템으로 의사결정 자율성이 이전된 것을 역량 상실로 인식했다.

For them, a loan consultant’s role is characterized by the freedom to advise customers creatively and independently and to decide whether to grant a loan and under what conditions by considering each customer’s individual needs.

그들에게 대출 상담사의 역할은 고객의 개별적인 요구를 고려하여 창의적이고 독립적으로 조언하며, 대출 승인 여부와 조건을 결정할 자유로 특징지어진다.

This freedom and autonomy are now restricted by the AI system; consultants can no longer intervene in the decision making nor change the result, even if they disagree with it.

이제 이 자유와 자율성은 AI 시스템에 의해 제한되었으며, 상담사는 결정에 개입하거나 결과에 동의하지 않더라도 이를 변경할 수 없게 되었다.

Many loan consultants therefore perceive the introduction of CleverLoan as demoting them to data-entry assistants whose ability to create individual solutions for each customer is called into question.

따라서 많은 대출 상담사는 클레버론 도입을 자신들을 각 고객에게 맞춤형 솔루션을 제공할 능력이 의심받는 데이터 입력 보조로 강등시키는 것으로 인식한다.

Unlike support from conventional information systems, the technology now takes over not just a single task component but the whole process, and autonomously decides on loan applications—

기존의 정보 시스템 지원과 달리, 기술은 이제 단순히 단일 업무 구성 요소를 넘어서 전체 과정을 담당하며, 대출 신청에 대해 자율적으로 결정한다.

the AI system is now responsible for the process that used to define the consultants’ professional role.

AI 시스템은 이제 상담사의 전문적 역할을 정의했던 과정을 담당하고 있다.

“[The role can now be done by] anyone who can push the buttons. Regarding the ability to take decisions, … I am just more and more restricted [by these tools]. So, I don’t really have any competence of my own anymore. I am only a worker who just punches in the data.”

Loan Consultant, Main Finance

“[이 역할은 이제] 버튼을 누를 수 있는 사람이라면 누구든 할 수 있습니다. 의사결정 능력과 관련해서는 … 나는 이런 도구들로 인해 점점 더 제약을 받습니다. 그래서 이제 더 이상 내 스스로의 역량을 가지고 있지 않습니다. 나는 단지 데이터를 입력하는 노동자일 뿐입니다.”

메인 파이낸스 대출 상담사

Perceived Loss of Reputation

평판 상실에 대한 인식

Consultants used to be respected experts, but the AI system has reduced their role to merely entering data, resulting in a loss of reputation.

상담사는 존경받는 전문가였지만, AI 시스템은 그들의 역할을 단순히 데이터를 입력하는 것으로 축소시켰고, 이는 평판 상실로 이어졌다.

Although service-desk employees reassigned as loan consultants perceived the change as positive, qualified consultants perceived a general reputational loss.

서비스 데스크 직원으로 재배치된 대출 상담사들은 이 변화를 긍정적으로 인식했지만, 자격 있는 상담사들은 전반적인 평판 상실을 느꼈다.

Prior to the introduction of CleverLoan, friends and family had the impression that loan consultants were entrusted with large sums of money and thus had great influence.

클레버론 도입 이전에는 친구와 가족들이 대출 상담사가 큰 금액을 맡을 만큼 신뢰받고, 그로 인해 큰 영향력을 가진다고 생각했다.

Now that the AI system makes loan decisions, these consultants perceive that their public image has changed:

이제 AI 시스템이 대출 결정을 내리면서, 상담사들은 자신들의 대외 이미지가 변했다고 인식한다:

“[The AI system] has changed [things] a bit in terms of the public image. I only say what I do for a living if someone asks me. But, in the past, you were certainly a bit more proud or assertive or … outgoing, if you got into a conversation with people. Today, I actually consider whether I should talk about my job or not.”

Loan Consultant, Main Finance

“[AI 시스템이] 대외 이미지 면에서 [무언가를] 조금 바꿔 놓았습니다. 나는 누군가 내 직업에 대해 묻는 경우에만 말합니다. 하지만 과거에는 확실히 더 자랑스럽거나, 자신감 있거나 … 사람들과 대화를 할 때 더 외향적이었습니다. 오늘날에는 내 직업에 대해 이야기해야 할지 말지 실제로 고민합니다.”

메인 파이낸스 대출 상담사

Previously, the introduction of information systems did not have such an adverse impact on employees’ professional image, as outsiders would often not explicitly notice the new technology or would see it only as a support tool.

이전에 정보 시스템 도입은 직원들의 전문적 이미지에 이렇게 부정적인 영향을 미치지 않았다. 외부인들은 새로운 기술을 명확히 알아채지 못하거나, 이를 단순한 지원 도구로만 여겼기 때문이다.

However, because the CleverLoan AI system removes the loan consultants from decision making, it affects their professional image and external perceptions of their role.

그러나 클레버론 AI 시스템이 대출 상담사를 의사결정 과정에서 배제함에 따라, 이는 그들의 전문적 이미지와 역할에 대한 외부 인식에 영향을 미친다.

Increased Moral Burden

도덕적 부담 증가

Loan consultants who previously were responsible for making decisions about loans report that, since the introduction of CleverLoan, they increasingly suffer from a moral burden brought on by working with the AI system.

이전에 대출 결정 책임을 맡았던 상담사들은 클레버론 도입 이후 AI 시스템과 함께 일하면서 점점 더 도덕적 부담을 느끼고 있다고 보고했다.

CleverLoan grants loans to all customers who meet the set criteria, regardless of their individual circumstances or other contextual factors.

클레버론은 개별적인 상황이나 기타 맥락적 요인에 상관없이, 설정된 기준을 충족하는 모든 고객에게 대출을 승인한다.

Nonetheless, consultants have to sit with customers throughout the process, support the AI decision and communicate it to the customer, even if they disagree.

그럼에도 불구하고, 상담사들은 과정 전반에 걸쳐 고객과 함께하며, AI 결정을 지지하고 이를 고객에게 전달해야 한다. 심지어 그 결정에 동의하지 않더라도 말이다.

Sometimes, however, loan consultants have to tell a customer that the requested loan has been granted, even if they believe that the loan will be an irresponsible burden for the customer.

그러나 때때로 대출 상담사는 대출이 고객에게 무책임한 부담이 될 것이라고 믿으면서도, 요청한 대출이 승인되었다고 고객에게 말해야 한다.

Before the introduction of CleverLoan, consultants would use their experience to reject such applications and thus protect the customer.

클레버론 도입 이전에는 상담사들이 자신의 경험을 활용하여 그러한 신청을 거절하고, 이를 통해 고객을 보호할 수 있었다.

Now, loan consultants no longer have the choice, which puts an increased moral burden on them because they feel responsible for their customers.

이제 대출 상담사들은 더 이상 선택권이 없으며, 고객에 대한 책임감을 느끼기 때문에 도덕적 부담이 커지고 있다.

“It’s like we’re salesmen and we’re selling this product, ‘Don’t you want a bit more?’ It’s like at the butchers. … We are not supposed to caution the customer; rather, we should encourage them to apply for more and greater loans.”

Loan Consultant, Main Finance

“우리는 마치 판매원처럼 이 제품을 판매하는 것 같습니다. ‘조금 더 원하지 않으세요?’라는 식으로요. 정육점에서처럼요. … 우리는 고객을 주의시키는 것이 아니라, 오히려 더 크고 많은 대출을 신청하도록 장려해야 합니다.”

메인 파이낸스 대출 상담사

In contrast to support from conventional information systems, the consultants are bound by the AI system’s decisions and cannot interpret the decisions themselves.

기존 정보 시스템의 지원과 달리, 상담사들은 AI 시스템의 결정에 얽매이며, 스스로 그 결정을 해석할 수 없다.

All they can do is present the decision to the customer. They and the bank would seem untrustworthy if, for example, they recommended that the customer decline the loan despite it being granted by the AI system.

그들이 할 수 있는 일은 단지 고객에게 결정을 전달하는 것뿐이다. 예를 들어, AI 시스템이 승인한 대출을 고객에게 거절하라고 추천한다면, 상담사와 은행 모두 신뢰할 수 없게 보일 것이다.

This is a stark difference from the past, where consultants might have used the suggested system-generated decision as a starting point and could use their discretion to tailor the suggestion to the customer’s individual circumstances.

이는 과거와 뚜렷한 차이점이다. 과거에는 상담사들이 시스템이 생성한 제안된 결정을 출발점으로 사용하고, 고객의 개별 상황에 맞게 이를 조정할 수 있는 재량권이 있었다.

Because this is no longer possible with CleverLoan, loan consultants’ moral burden increases.

클레버론에서는 이것이 더 이상 불가능하기 때문에, 대출 상담사의 도덕적 부담이 증가한다.

Moreover, because the underlying decision parameters are not transparent and are constantly changing, a loan consultant might find a decision to be incomprehensible, which further emphasizes the difference between the consultant’s assessment and that of the AI system.

게다가, 기본적인 결정 매개변수가 투명하지 않고 지속적으로 변경되기 때문에, 대출 상담사는 결정을 이해할 수 없다고 느낄 수 있다. 이는 상담사의 평가와 AI 시스템의 평가 간의 차이를 더욱 강조한다.

Unpredictability of Decisions

결정의 예측 불가능성

The final unintended consequence for frontline employees that we identified is their perception that the decisions produced by CleverLoan are unpredictable.

우리가 확인한 현장 직원들에게 나타난 마지막 의도하지 않은 결과는 클레버론이 내놓은 결정이 예측 불가능하다는 인식이다.

This perception arises from the AI system’s ability to learn, which means the decision-making factors are continually changing.

이러한 인식은 AI 시스템의 학습 능력에서 비롯되며, 이는 의사결정 요인이 지속적으로 변하고 있음을 의미한다.

In turn, this means that loan consultants seem to be confronted with unpredictable decisions.

결국, 이는 대출 상담사들이 예측할 수 없는 결정에 직면하게 되는 것으로 보이게 한다.

Previously, loan consultants had relied on their personal experience to evaluate a loan request, which ensured a degree of consistency in the decisions made for a specific customer.

이전에는 대출 상담사가 자신의 개인 경험을 바탕으로 대출 요청을 평가했으며, 이는 특정 고객에 대해 내린 결정에서 일정한 일관성을 보장했다.

However, the AI system results in different decisions for the same customer at different times.

그러나 AI 시스템은 동일 고객에 대해 다른 시간에 다른 결정을 내린다.

The unpredictability further increases loan consultants’ perceived differences between their own assessments and the AI system’s decisions:

이 예측 불가능성은 대출 상담사들이 자신의 평가와 AI 시스템의 결정 간에 느끼는 차이를 더욱 증가시킨다:

“Last week, I had a young woman of 22 as a customer, and she had just started working. She got a €35,000 loan, and a very good interest rate, about 5%. … A bit later, I had a former colleague who came to me, who wanted to buy a car; … he is about 38, has a good income, everything is absolutely great. … He was given an interest rate of almost 9%. … Sometimes I can’t understand these decisions.”

Loan Consultant, Main Finance

“지난주, 나는 22살 된 젊은 여성을 고객으로 만났고, 그녀는 일을 막 시작한 상태였다. 그녀는 35,000유로의 대출을 받았고, 금리도 약 5%로 매우 좋았다. … 얼마 뒤, 전직 동료가 내게 와서 차를 사고 싶다고 했다. 그는 38세쯤 되었고, 수입도 좋고, 모든 조건이 완벽했다. … 그런데 그는 거의 9%에 가까운 금리를 받았다. … 가끔 나는 이런 결정을 이해할 수 없다.”

메인 파이낸스 대출 상담사

In contrast to conventional information systems, AI systems can adapt parameters independently without involving or informing the frontline workers.

기존 정보 시스템과 달리, AI 시스템은 현장 직원들을 참여시키거나 정보를 제공하지 않고도 매개변수를 독립적으로 조정할 수 있다.

Moreover, the underlying algorithms are so complex that, despite extensive experience and special expertise, Main Finance loan consultants cannot fully comprehend them.

게다가 기본 알고리즘이 매우 복잡하여, 메인 파이낸스의 대출 상담사들은 광범위한 경험과 특별한 전문성을 가지고 있음에도 이를 완전히 이해할 수 없다.

This lack of comprehension results in decisions seeming to be highly unpredictable, which was not the case when conventional information systems were used to support decisions about loans.

이러한 이해 부족은 결정이 매우 예측 불가능해 보이게 하며, 이는 기존 정보 시스템이 대출 결정을 지원했을 때는 그렇지 않았다.

Unintended Consequences for the Organization

조직에 대한 의도하지 않은 결과

The unique characteristics of the CleverLoan AI system also resulted in unintended consequences for the organization.

클레버론 AI 시스템의 독특한 특성은 조직에도 의도하지 않은 결과를 초래했다.

The frontline workers’ perceptions of working with the AI system revealed four negative unintended consequences for the organization itself: loss of critical thinking; knowledge outsourcing; loss of expertise; and misuse of the system.

AI 시스템과 함께 일하는 데 대한 현장 직원들의 인식은 조직 자체에 다음과 같은 네 가지 부정적인 의도하지 않은 결과를 드러냈다: 비판적 사고 상실, 지식 외부화, 전문성 상실, 시스템 오용.

In addition, the organization experienced two unintended consequences resulting from the unique characteristics of the CleverLoan AI system: systematic exclusion of certain customers; and loss of the organization’s unique selling point.

게다가 조직은 클레버론 AI 시스템의 독특한 특성으로 인해 다음 두 가지 의도하지 않은 결과를 경험했다: 특정 고객의 체계적 배제, 조직 고유 판매 포인트의 상실.

Loss of Critical Thinking

비판적 사고 상실

The transfer of decision-making responsibility to the CleverLoan AI system has resulted in an increasing number of employees who have lost the ability to reflect critically on their work.

의사결정 책임이 클레버론 AI 시스템으로 이전되면서, 자신의 업무를 비판적으로 성찰하는 능력을 상실한 직원들이 점점 늘어나고 있다.

These employees no longer have the opportunity to develop reflection skills in work-related decisions, because the AI system has taken over the entire decision-making process.

이러한 직원들은 AI 시스템이 전체 의사결정 과정을 맡으면서 업무 관련 결정에서 성찰 능력을 개발할 기회를 잃었다.

As frontline workers cannot influence the decisions made by the AI system, many become indifferent to the outcome of the process:

현장 직원들이 AI 시스템의 결정에 영향을 미칠 수 없기 때문에, 많은 직원들이 프로세스 결과에 무관심해진다:

“[Employees] would now make nonsense [loan decisions] if they had to decide themselves. Another disadvantage is that reference and knowledge are lost because employees no longer understand the loan business.”

Manager, Main Finance

“[직원들이] 스스로 결정을 내려야 한다면, 이제 터무니없는 [대출 결정]을 할 것입니다. 또 다른 단점은 직원들이 더 이상 대출 업무를 이해하지 못하기 때문에 참고와 지식이 사라진다는 점입니다.”

메인 파이낸스 관리자

“In the end, because I … and the bank do not take any risks with [CleverLoan], I more or less don’t care which loan goes through and which one doesn’t.”

Loan Consultant, Main Finance

“결국, 저는 … 그리고 은행은 [클레버론]과 함께 어떠한 위험도 부담하지 않기 때문에, 어떤 대출이 승인되고 어떤 대출이 거절되는지에 대해 거의 신경 쓰지 않습니다.”

메인 파이낸스 대출 상담사

Knowledge Outsourcing

지식 외부화

Another unintended consequence for the organization, which is related to the loss of critical thinking, is that the AI system’s autonomous decision making results in the company outsourcing knowledge to the AI system.

조직에 대한 또 다른 의도하지 않은 결과는 비판적 사고 상실과 관련이 있으며, AI 시스템의 자율적 의사결정으로 인해 회사가 지식을 AI 시스템에 외부화하게 된다는 점이다.

Thus, some employees lose, or fail to develop, the knowledge underlying the job assigned to them.

따라서 일부 직원들은 자신에게 부여된 업무의 기초가 되는 지식을 잃거나 이를 개발하지 못한다.

“A disadvantage is that profound loan decision knowledge is outsourced—it is now transferred into some kind of algorithm. … All the things that would [previously] have to be evaluated are now taken out [of the employee’s job description]. … If [CleverLoan] were to switch off, there would be chaos, because most people can’t do that anymore. … So, there are drawbacks: knowledge is lost; it is definitely gone; it is out of the company; it has been outsourced to the AI system.”

Manager, Main Finance

“단점은 깊이 있는 대출 결정 지식이 외부화된다는 것입니다. 이는 이제 일종의 알고리즘으로 전환되었습니다. … [이전에] 평가해야 했던 모든 것들이 이제 [직원 업무 설명에서] 제외되었습니다. … [클레버론]이 꺼진다면, 혼란이 생길 것입니다. 대부분의 사람들이 더 이상 그 일을 할 수 없기 때문입니다. … 따라서 단점이 있습니다. 지식이 사라지고, 분명히 사라졌습니다. 회사에서 사라지고, AI 시스템에 외부화되었습니다.”

메인 파이낸스 관리자

From an organizational perspective, both the loss of critical thinking and knowledge outsourcing are extremely troubling in the long term, because employees’ awareness is severely impaired or even nonexistent.

조직의 관점에서 보면, 비판적 사고 상실과 지식 외부화는 장기적으로 매우 우려스러운 문제이다. 이는 직원들의 인식이 심각하게 저하되거나 아예 존재하지 않기 때문이다.

They are unable to work without the AI system’s assistance, and the knowledge they would previously have had has been outsourced.

그들은 AI 시스템의 지원 없이는 업무를 수행할 수 없으며, 이전에 가졌던 지식은 외부화되었다.

A big drawback is that loan consultants no longer have even a basic understanding of the loan process that would enable them to answer customers’ questions if the guidelines generated by the AI system are not sufficient.

큰 단점은 대출 상담사들이 이제는 AI 시스템이 생성한 가이드라인이 충분하지 않을 경우, 고객의 질문에 답할 수 있는 대출 프로세스에 대한 기본적인 이해조차 가지고 있지 않다는 점이다.

One of Main Finance’s unique selling points is its individual customer service and consultation, which distinguishes it from online banks.

메인 파이낸스의 고유한 판매 포인트 중 하나는 온라인 은행과 차별화되는 개별 고객 서비스와 상담이다.

Critical thinking abilities and basic knowledge are vital to servicing customers satisfactorily.

비판적 사고 능력과 기본 지식은 고객에게 만족스러운 서비스를 제공하는 데 필수적이다.

Moreover, a lack of critical thinking and knowledge of the loan decision-making process makes it impossible for consultants to notice possible errors or factors that could improve CleverLoan.

게다가 대출 의사결정 과정에 대한 비판적 사고와 지식이 부족하면, 상담사들이 클레버론을 개선할 수 있는 잠재적인 오류나 요인을 알아차리는 것이 불가능해진다.

Loss of Expertise

전문성 상실

As a result of some frontline employees’ perceived loss of competence and reputation, Main Finance is in danger of losing highly skilled experts.

일부 현장 직원들이 느끼는 역량과 평판 상실로 인해, 메인 파이낸스는 고도로 숙련된 전문가를 잃을 위험에 처해 있다.

Prior to the introduction of the CleverLoan AI system, loan consultants made decisions based on long years of experience and extensive in-service training.

클레버론 AI 시스템 도입 이전에는 대출 상담사가 오랜 경험과 광범위한 직무 교육을 기반으로 결정을 내렸다.

Their own abilities determined their success.

그들의 성공은 자신의 능력에 의해 결정되었다.

Because consultations are now driven by CleverLoan, highly qualified and competent loan consultants either change their profession or switch to other roles in the bank.

이제 상담이 클레버론에 의해 주도되기 때문에, 고도로 자격을 갖추고 유능한 대출 상담사들은 직업을 바꾸거나 은행 내 다른 역할로 전환하고 있다.

They move to roles where their skills and abilities are not replaced by a machine.

그들은 자신의 기술과 능력이 기계로 대체되지 않는 역할로 이동한다.

“[With the introduction of] even more digitization and even more standardization, at some point you will just draw a line and look for something else. At some stage, you get to the point where it’s just not fun anymore.”

Loan Consultant, Main Finance

“[더욱 많은 디지털화와 표준화가 도입되면서], 어느 순간 선을 긋고 다른 것을 찾기 시작합니다. 어느 시점이 되면, 그냥 더 이상 재미가 없어집니다.”

메인 파이낸스 대출 상담사

For the bank, the loss of highly qualified loan consultants is a serious issue for two major reasons.

은행에 있어, 고도로 자격을 갖춘 대출 상담사의 상실은 두 가지 주요 이유로 심각한 문제이다.

First, its customers are used to individual and superior financial advice.

첫째, 고객들은 개별적이고 우수한 금융 조언에 익숙하다.

Well-trained and experienced loan consultants are very difficult to obtain, so the bank has a great interest in keeping its existing loan consultants.

잘 훈련되고 경험이 풍부한 대출 상담사를 확보하기는 매우 어려우므로, 은행은 기존 대출 상담사를 유지하는 데 큰 관심을 가지고 있다.

Second, to maintain profitability, the bank needs to sell other financial products to loan customers.

둘째, 수익성을 유지하기 위해 은행은 대출 고객에게 다른 금융 상품을 판매해야 한다.

It therefore needs qualified consultants who can advise customers about broader financial matters.

따라서 은행은 더 광범위한 금융 문제에 대해 고객에게 조언할 수 있는 자격을 갖춘 상담사가 필요하다.

Misuse of the System

시스템 오용

Main Finance found that, because of their perceived loss of competence, some loan consultants were misusing the CleverLoan AI system by trying to outsmart it.

메인 파이낸스는 대출 상담사들이 자신들의 역량 상실에 대한 인식으로 인해 클레버론 AI 시스템을 오용하며 이를 교묘히 속이려 한다는 것을 발견했다.

They justified these actions as either necessary to overcome the restrictions imposed on their field of activity or important for granting a loan to individuals well-known to them:

그들은 이러한 행동을 자신들의 활동 영역에 부과된 제한을 극복하기 위해 필요하거나, 자신이 잘 아는 개인에게 대출을 승인하는 데 중요하다고 정당화했다:

“You can somehow understand why [CleverLoan] has rejected the application. If you understand why, you can, how can I put it, [find] ‘detours’ for how to outsmart the system.”

Loan Consultant, Main Finance

“[클레버론]이 신청을 거절한 이유를 어느 정도 이해할 수 있습니다. 왜 그런지 이해하면, 어떻게 표현할지 모르겠지만, 시스템을 속이는 ‘우회로’를 찾을 수 있습니다.”

메인 파이낸스 대출 상담사

Misusing the system presents two problems: first, behavior that tweaks the system impairs future plans for introducing AI systems in other areas.

시스템 오용은 두 가지 문제를 제기한다. 첫째, 시스템을 조작하려는 행동은 다른 영역에서 AI 시스템을 도입하려는 미래 계획에 부정적인 영향을 미친다.

Second, attempting to outsmart the system involves additional effort, which wastes organizational resources.

둘째, 시스템을 속이려는 시도는 추가적인 노력을 필요로 하며, 이는 조직의 자원을 낭비한다.

Moreover, Main Finance is liable for financial damage if AI Provider discovers that employees deliberately manipulate the data input to CleverLoan.

게다가, AI 제공업체가 직원들이 클레버론에 입력된 데이터를 의도적으로 조작했다는 사실을 발견할 경우, 메인 파이낸스는 재정적 손실에 대한 책임을 지게 된다.

Systematic Exclusion of Certain Customers

특정 고객의 체계적 배제

Although the use of the CleverLoan AI system helps to maintain existing customers and gain new ones, it can also systematically exclude certain types of customers.

클레버론 AI 시스템의 사용은 기존 고객을 유지하고 새로운 고객을 확보하는 데 도움을 주지만, 동시에 특정 유형의 고객을 체계적으로 배제할 수도 있다.

Main Finance transferred its entire small-loan business to AI Provider, and so, without exception, is bound by the loan criteria the system imposes.

메인 파이낸스는 소액 대출 사업 전반을 AI 제공업체에 이관했으며, 따라서 예외 없이 시스템이 부과하는 대출 기준에 얽매인다.

Applicants who fail to meet these criteria are systematically excluded from receiving loans, even if they are already customers of Main Finance and meet all other required criteria.

이 기준을 충족하지 못하는 신청자는 이미 메인 파이낸스의 고객이고 다른 모든 요구 조건을 충족하더라도 대출을 받지 못한다.

For example, freelancers are generally not eligible for a small loan, regardless of whether they are customers of Main Finance.

예를 들어, 프리랜서는 메인 파이낸스의 고객인지 여부와 관계없이 일반적으로 소액 대출을 받을 자격이 없다.

The same is true for people who do not pay rent (e.g., because they live with their parents).

부모와 함께 살아서 월세를 내지 않는 사람들에게도 동일하게 적용된다.

Such customers will most likely turn to a different bank for all their banking needs.

이러한 고객들은 대부분 모든 금융 서비스를 위해 다른 은행으로 전환할 가능성이 높다.

“Some situations require creative solutions because there are so many things here that we can’t do by the book. That’s simply how it is. … the machine says: ‘Thank you, that’s it, goodbye.’ Okay, but then we didn’t make the deal.”

Loan Consultant, Main Finance

“일부 상황은 창의적인 해결책을 요구합니다. 왜냐하면 여기서 우리가 책대로 할 수 없는 것이 너무 많기 때문입니다. 그냥 그런 겁니다. … 기계는 ‘감사합니다, 여기까지입니다, 안녕히 가세요’라고 말합니다. 알겠습니다, 하지만 그러면 우리는 거래를 성사시키지 못합니다.”

메인 파이낸스 대출 상담사

“The disadvantage is that if the customer does not fit into the schema, he can’t be served via [CleverLoan]. There are cases in which people live at home and don’t pay any rent—that’s just the way it is. But [CleverLoan] says ‘This case doesn’t exist.’ The tool then uses the average rent for the parents’ living area, and then it could be that the loan is rejected because of this estimated rent, which the customer actually doesn’t pay at all. And I can’t justify it … it just won’t work.”

Loan Consultant, Main Finance

“단점은 고객이 이 스키마에 맞지 않는다면, [클레버론]을 통해 서비스를 받을 수 없다는 것입니다. 예를 들어, 집에서 부모와 함께 살며 월세를 내지 않는 경우가 있는데, [클레버론]은 ‘이런 사례는 존재하지 않는다’라고 합니다. 도구는 부모의 거주 지역 평균 월세를 사용하고, 이로 인해 고객이 실제로 내지 않는 월세 때문에 대출이 거절될 수 있습니다. 저는 이를 정당화할 수 없고 … 그냥 작동하지 않습니다.”

메인 파이낸스 대출 상담사

The CleverLoan AI system also systematically excludes certain groups of people, based on their social status, origin or place of residence.

클레버론 AI 시스템은 사회적 지위, 출신지 또는 거주지에 따라 특정 그룹의 사람들을 체계적으로 배제하기도 한다.

The system stores and analyzes all available data, such as repayment behavior, asset development and current debts.

시스템은 상환 행동, 자산 발전 및 현재 부채와 같은 모든 사용 가능한 데이터를 저장하고 분석한다.

Based on these characteristics, CleverLoan uses heuristics to determine the loan conditions for entire groups of customers rather than for individuals.

이러한 특성을 바탕으로 클레버론은 개별 고객이 아니라 전체 고객 그룹에 대한 대출 조건을 결정하기 위해 휴리스틱을 사용한다.

For instance, the average income in certain residential areas is included in the analysis.

예를 들어, 특정 거주 지역의 평균 소득이 분석에 포함된다.

Thus, if the only difference between two otherwise equal applicants is their place of residence, they will receive different loan conditions.

따라서 두 신청자가 다른 모든 조건이 같고 거주지가 유일한 차이라면, 그들은 서로 다른 대출 조건을 받게 된다.

One applicant might not even be granted a loan at all, while the other will be found creditworthy and granted a loan.

한 신청자는 대출을 전혀 받지 못할 수도 있는 반면, 다른 신청자는 신용 가치가 있다고 평가되어 대출을 받을 수 있다.

“I understand that some things do not fit into this black box. But I find it a pity that there is no exception. … For example, when someone has recently moved to Germany as an engineer or as an IT specialist in the technical field, the system doesn’t differentiate him/her from a [newly arrived] refugee who is just starting to work in the post office.”

Loan Consultant, Main Finance

“어떤 것들은 이 블랙박스에 맞지 않는다는 것을 이해합니다. 하지만 예외가 없다는 것은 아쉽습니다. … 예를 들어, 최근 기술 분야의 엔지니어나 IT 전문가로 독일에 이주한 사람이 우편국에서 이제 막 일을 시작한 [새로 도착한] 난민과 구분되지 않는다는 것입니다.”

메인 파이낸스 대출 상담사

Loss of the Organization’s Unique Selling Point

조직 고유 판매 포인트 상실

Because of the autonomous nature of the AI system and the irreversibility of the system’s decision, Main Finance risks losing its unique selling point of providing individual advice to customers.

AI 시스템의 자율적 특성과 시스템 결정의 불가역성으로 인해, 메인 파이낸스는 고객에게 개별적인 조언을 제공하는 고유 판매 포인트를 잃을 위험이 있다.

Although loan applicants do sit down with a personal consultant (unlike pure online banks), some applicants can’t be served because CleverLoan excludes certain customer groups.

대출 신청자들이 순수 온라인 은행과는 달리 개인 상담사와 마주 앉기는 하지만, 클레버론이 특정 고객 그룹을 배제하기 때문에 일부 신청자는 서비스를 받을 수 없다.

Moreover, by using CleverLoan, Main Finance now relies on a fully automated loan management tool that cannot be influenced by human intervention.

게다가 클레버론을 사용함으로써 메인 파이낸스는 이제 인간 개입의 영향을 받을 수 없는 완전 자동화된 대출 관리 도구에 의존하고 있다.

Thus, existing customers lose the added value of being provided with individual advice, which means they perceive Main Finance as no different than, for instance, an online bank with standard and cheaper conditions.

따라서 기존 고객들은 개별적인 조언을 받을 수 있는 부가 가치를 잃게 되며, 이는 메인 파이낸스를 예를 들어, 표준적이고 더 저렴한 조건을 가진 온라인 은행과 다르지 않게 인식하게 한다.

As a result, regular customers who are used to individual consulting and personalized offers may be alienated by the unchangeable CleverLoan offers:

그 결과, 개별 상담과 맞춤형 제안에 익숙한 정규 고객들은 변경할 수 없는 클레버론의 제안으로 인해 소외감을 느낄 수 있다:

“I think there are more and more [customers who are going to online banks]; that is a danger … [and is] especially true for the interest-sensitive customers. I think these customers do a lot online, or don’t even ask us, and if they ask, then we have no chance, because these customers can always find another bank, … that makes it cheaper for them online.”

Loan Consultant, Main Finance

“[온라인 은행으로 가는 고객들이] 점점 더 많아지는 것 같습니다. 이는 위험입니다. … [그리고 이는] 특히 금리에 민감한 고객들에게 해당됩니다. 이 고객들은 많은 일을 온라인에서 처리하거나, 우리에게 묻지조차 않습니다. 그리고 만약 묻는다면, 우리는 아무런 기회가 없습니다. 왜냐하면 이 고객들은 항상 더 저렴한 조건을 제공하는 다른 은행을 온라인에서 찾을 수 있기 때문입니다.”

메인 파이낸스 대출 상담사

Summary of Unintended Consequences of Introducing the CleverLoan AI System

클레버론 AI 시스템 도입에 따른 의도하지 않은 결과 요약

The unintended consequences of introducing the CleverLoan AI system both for frontline employees and the organization are summarized in Figure 2.

클레버론 AI 시스템 도입이 현장 직원과 조직에 미친 의도하지 않은 결과는 그림 2에 요약되어 있다.

Figure 2: Overview of the Unintended Consequences of Introducing the CleverLoan AI System

The unintended consequences differ fundamentally from the effects of introducing conventional information systems, both in terms of their scope and their characteristics.

의도하지 않은 결과는 그 범위와 특성 면에서 기존 정보 시스템 도입의 효과와 근본적으로 다르다.

AI systems do not merely support decisions but are able to completely replace entire (human) decision-making processes.

AI 시스템은 단순히 결정을 지원하는 것에 그치지 않고 전체(인간) 의사결정 과정을 완전히 대체할 수 있다.

They can also learn based on data.

AI 시스템은 또한 데이터를 기반으로 학습할 수 있다.

Furthermore, the non-transparency of the underlying mechanisms exacerbates the AI system’s effects on employees and the organization.

게다가, 기본 메커니즘의 비투명성은 AI 시스템이 직원과 조직에 미치는 영향을 악화시킨다.

Organizations should be aware of these effects before introducing an AI system.

조직은 AI 시스템을 도입하기 전에 이러한 영향을 인지해야 한다.

Recommendations for Implementing an AI System

AI 시스템 구현에 대한 권장 사항

The Main Finance case study demonstrates that implementing an AI system that is capable of learning from historical data holds great potential but can result in unintended consequences for frontline workers and the organization itself.

메인 파이낸스 사례 연구는 과거 데이터를 학습할 수 있는 AI 시스템을 구현하는 것이 큰 잠재력을 지니고 있지만, 현장 직원과 조직 자체에 의도하지 않은 결과를 초래할 수 있음을 보여준다.

Based on our analysis of this case, we provide five recommendations that will enable organizations to obtain the beneficial effects of introducing AI systems and cope with the unintended consequences.

이 사례에 대한 분석을 바탕으로, AI 시스템 도입의 유익한 효과를 얻고 의도하지 않은 결과에 대처할 수 있도록 돕는 다섯 가지 권장 사항을 제시한다.

1. Be Aware that AI Is Significantly Different from Conventional Information Systems

1. AI가 기존 정보 시스템과 크게 다르다는 점을 인지하라

For Main Finance, the most profound issues associated with introducing an AI system resulted from senior management underestimating the impact AI would have on the work and scope of frontline employees.

메인 파이낸스에서 AI 시스템 도입과 관련된 가장 심각한 문제는 AI가 현장 직원의 업무와 역할 범위에 미칠 영향을 고위 경영진이 과소평가한 데서 비롯되었다.

Compared to conventional information systems, an AI system can take over all aspects of a core business process.

기존 정보 시스템과 비교할 때, AI 시스템은 핵심 비즈니스 프로세스의 모든 측면을 대체할 수 있다.

Because AI systems can react adaptively to changing information and learn from data and behavior, introducing them fundamentally alters many employees’ perceptions of their own competence, which leads to diverse outcomes.

AI 시스템은 변화하는 정보에 적응적으로 반응하고 데이터와 행동에서 학습할 수 있기 때문에, 이를 도입하면 많은 직원들의 자기 역량에 대한 인식을 근본적으로 변화시켜 다양한 결과를 초래한다.

Moreover, managers need to be aware of the unique (and sometimes unintended) consequences of substituting human decision making with an AI system.

게다가, 관리자는 인간 의사결정을 AI 시스템으로 대체할 때 발생하는 독특하고(때로는 의도하지 않은) 결과를 인지할 필요가 있다.

In particular, employees are bound to the AI system’s underlying decision-making criteria and algorithms.

특히, 직원들은 AI 시스템의 기본적인 의사결정 기준과 알고리즘에 얽매이게 된다.

This is particularly relevant if, as in the Main Finance case, the AI system was not developed in-house, which means the implementing organization was not involved in specifying the criteria.

이는 특히 메인 파이낸스 사례처럼 AI 시스템이 내부에서 개발되지 않았을 경우에 더욱 관련이 있다. 이는 도입 조직이 기준을 명시하는 과정에 관여하지 않았음을 의미한다.

Outsourcing the development and operation of an AI system in this way can lead, for example, to certain customer groups no longer being served or individual customer characteristics not being taken into account in decision making.

이와 같은 방식으로 AI 시스템의 개발과 운영을 외주화하면, 특정 고객 그룹이 더 이상 서비스를 받지 못하거나, 개별 고객 특성이 의사결정에 고려되지 않는 상황을 초래할 수 있다.

When considering whether to introduce an AI system, managers must be aware of the unintended consequences related to the AI system’s unique characteristics both for frontline employees and the organization.

AI 시스템 도입 여부를 고려할 때, 관리자는 AI 시스템의 고유한 특성과 관련된 의도하지 않은 결과가 현장 직원과 조직에 미칠 영향을 인지해야 한다.

The full impact of these unintended consequences may only become evident over time.

이러한 의도하지 않은 결과의 전체적인 영향은 시간이 지나야만 명확해질 수 있다.

2. Ensure Employees Maintain the Abilities to Reflect on and Understand the Underlying Processes

2. 직원들이 기저 프로세스를 성찰하고 이해할 수 있는 능력을 유지하도록 하라

One advantage of an AI system is that it is able to arrive at decisions independently and can provide guidelines for explaining the decision to the customer and for recommending how to proceed.

AI 시스템의 한 가지 장점은 독립적으로 결정을 내릴 수 있으며, 고객에게 결정을 설명하고 진행 방법을 권장하는 데 필요한 가이드를 제공할 수 있다는 것이다.

In the Main Finance case, because loan consultants no longer made the decision themselves but only had to enter data, employees from other areas of the business could operate the system.

메인 파이낸스 사례에서는 대출 상담사가 더 이상 스스로 결정을 내리지 않고 데이터를 입력하기만 하면 되었기 때문에, 다른 분야의 직원들도 이 시스템을 운영할 수 있었다.

This meant that the bank was no longer dependent on experts for processing loan applications.

이는 은행이 더 이상 대출 신청 처리에 전문가들에게 의존하지 않게 되었음을 의미한다.

However, the case study shows that transferring knowledge and responsibility to an AI system can have troubling consequences for the organization, such as the loss of employees’ critical thinking abilities and the loss of domain knowledge.

그러나 사례 연구는 지식과 책임을 AI 시스템으로 이전하는 것이 직원의 비판적 사고 능력 상실과 도메인 지식 상실과 같은 문제를 조직에 초래할 수 있음을 보여준다.

However, these abilities and knowledge are important in other areas and for the early detection of possible errors in the system.

하지만 이러한 능력과 지식은 다른 영역에서, 그리고 시스템에서 발생할 수 있는 오류를 조기에 발견하는 데 중요하다.

To avoid an overly dependence on an AI system, managers should offer employees regular training to promote critical thinking and to equip them with the ability to identify possible errors in the system at an early stage.

AI 시스템에 지나치게 의존하지 않기 위해, 관리자는 직원들에게 정기적인 교육을 제공하여 비판적 사고를 증진하고, 시스템에서 발생할 수 있는 오류를 조기에 식별할 수 있는 능력을 갖추도록 해야 한다.

Even if frontline workers can get by without a great deal of detailed knowledge because the system takes care of it, they should maintain the core knowledge and a basic understanding of the process and tasks.

시스템이 대부분을 처리하기 때문에 현장 직원들이 세부적인 지식 없이도 업무를 수행할 수 있다고 하더라도, 핵심 지식과 프로세스 및 업무에 대한 기본적인 이해는 유지해야 한다.

It might also be particularly helpful to provide training for IT consultants who work with the AI system so that they can alert the AI system provider to possible problems and systemic errors at an early stage.

AI 시스템과 함께 일하는 IT 컨설턴트들에게 교육을 제공하는 것도 특히 유용할 수 있다. 이를 통해 이들이 AI 시스템 제공업체에 발생 가능한 문제와 시스템 오류를 조기에 경고할 수 있도록 한다.

These employees can also give the provider regular feedback on which aspects work well, and which are not well received by customers and frontline employees.

이러한 직원들은 또한 어떤 측면이 잘 작동하는지, 그리고 어떤 점이 고객과 현장 직원들에게 잘 받아들여지지 않는지를 제공업체에 정기적으로 피드백할 수 있다.

In this way, these employees can contribute to the development of the AI system beyond its in-built learning capabilities.

이러한 방식으로, 이 직원들은 AI 시스템의 내재된 학습 능력을 넘어 시스템 개발에 기여할 수 있다.

3. Understand and Guide the Change in Employees’ Roles

3. 직원들의 역할 변화에 대해 이해하고 이를 안내하라

In the Main Finance case, multiple issues for the organization arose from some employees perceiving that the AI system diminished their competence.

메인 파이낸스 사례에서, 일부 직원들이 AI 시스템이 자신의 역량을 약화시킨다고 인식하면서 조직에 여러 문제가 발생했다.

These issues included the loss of experts, a reduction in job attractiveness and the misuse of the AI system.

이러한 문제에는 전문가의 상실, 직업 매력도의 감소, AI 시스템의 오용이 포함되었다.

In particular, highly trained and competent loan consultants perceived that the introduction of the AI system had significantly diminished their competence and reputation.

특히, 고도로 훈련되고 유능한 대출 상담사들은 AI 시스템 도입이 자신의 역량과 명성을 상당히 약화시켰다고 인식했다.

As a result, these employees often felt they had been demoted and were less valued, which led them to change departments and even companies, or to try and manipulate the system.

그 결과, 이 직원들은 종종 자신이 강등되었고 덜 가치 있게 여겨진다고 느끼며 부서를 옮기거나 회사를 떠나기도 했으며, 심지어 시스템을 조작하려고 시도하기도 했다.

To prevent these issues from arising, managers must be aware of employees’ perceptions about their own competence so that they can actively counteract them.

이러한 문제가 발생하지 않도록, 관리자는 직원들의 자기 역량에 대한 인식을 이해하고 이를 적극적으로 대응해야 한다.

There are two important actions managers can take: 1) provide communication and appreciation; and 2) expand frontline workers’ range of tasks and competences.

관리자가 취할 수 있는 두 가지 중요한 조치는 다음과 같다: 1) 소통과 감사를 제공한다. 2) 현장 직원들의 업무 범위와 역량을 확장한다.

Before implementing an AI system, managers should explain to employees why they are introducing the new system, what it can do and what its potential is.

AI 시스템을 구현하기 전에, 관리자는 직원들에게 새로운 시스템을 도입하는 이유, 시스템이 할 수 있는 것, 그리고 그것의 잠재력에 대해 설명해야 한다.

At Main Finance, the introduction of the AI system was accompanied by a training program focused on how to use the system.

메인 파이낸스에서는 AI 시스템 도입과 함께 시스템 사용 방법에 초점을 맞춘 교육 프로그램이 제공되었다.

Although the training included a discussion of the system’s potential for frontline workers and their work, some employees still felt robbed of their tasks, and thus also of their competence.

교육은 시스템이 현장 직원과 그들의 업무에 미칠 잠재력에 대한 논의를 포함했지만, 일부 직원들은 여전히 자신의 업무와 역량을 빼앗겼다고 느꼈다.

Rather than the training focusing on the system itself, it would have been better to have a stronger focus on communicating the purpose of the AI system and on addressing the resulting shift in roles.

교육이 시스템 자체에 초점을 맞추기보다는, AI 시스템의 목적을 전달하고 역할 변화에 대한 문제를 다루는 데 더 강한 초점을 맞추는 것이 더 나았을 것이다.

Note, however, that frontline workers gaining a full understanding of their new roles takes time and has to be reinforced by regular training and workshops.

그러나 현장 직원들이 새로운 역할을 완전히 이해하는 데에는 시간이 걸리며, 정기적인 교육과 워크숍을 통해 강화되어야 한다.

Senior management also needs to extend the scope of tasks and competencies of experienced and highly qualified employees whose current roles are being displaced by an AI system.

고위 경영진은 또한 AI 시스템에 의해 현재 역할이 대체되고 있는 경험 많고 자격이 있는 직원들의 업무 범위와 역량을 확장할 필요가 있다.

At Main Finance, for example, this would mean explaining that, in the future, the tasks of a competent loan consultant would no longer focus on loan decisions, but on offering additional products such as insurance and securities management.

예를 들어, 메인 파이낸스에서는 유능한 대출 상담사의 업무가 미래에는 대출 결정에 초점을 맞추는 것이 아니라, 보험 및 증권 관리와 같은

This cross-selling approach would require experienced and qualified loan consultants who holistically support the customer.

이런 교차 판매 접근법은 고객을 전반적으로 지원할 수 있는 경험 많고 자격을 갖춘 대출 상담사가 필요하다.

Moreover, because the AI system can make faster and more accurate decisions on loan applications than qualified loan consultants, using the consultants just in this role significantly underuses their potential.

게다가 AI 시스템이 자격을 갖춘 대출 상담사보다 대출 신청에 대해 더 빠르고 정확한 결정을 내릴 수 있기 때문에, 상담사를 이 역할에만 활용하는 것은 그들의 잠재력을 상당히 과소 활용하는 것이다.

Thus, at Main Finance, the task profile of a loan consultant could be extended to that of a holistic consultant who advises on all of a customer’s financial questions.

따라서 메인 파이낸스에서는 대출 상담사의 업무 프로파일을 고객의 모든 금융 질문에 대해 조언하는 전반적인 상담사로 확장할 수 있다.

The advantage of this holistic approach is that the organization can market more products, and the consultant’s role is extended into new areas that provide more autonomy and freedom.

이런 전반적인 접근법의 장점은 조직이 더 많은 제품을 마케팅할 수 있고, 상담사의 역할이 더 많은 자율성과 자유를 제공하는 새로운 영역으로 확장된다는 것이다.

4. Make the AI System as Transparent and Easy to Explain as Possible

4. AI 시스템을 가능한 한 투명하고 설명하기 쉽게 만들어라

At Main Finance, the underlying algorithm of the AI system is neither transparent nor comprehensible to the loan consultants.

메인 파이낸스에서 AI 시스템의 기본 알고리즘은 대출 상담사들에게 투명하지도 이해할 수 있는 것도 아니다.

Furthermore, the algorithm changes regularly, which makes the decisions difficult to understand.

게다가 알고리즘이 정기적으로 변경되므로, 결정을 이해하기 어렵게 만든다.

Moreover, because the consultants cannot understand how, for example, customers who they consider not to be creditworthy are granted a loan, some of them feel an increased moral burden.

또한, 상담사들은 신용 가치가 없다고 생각하는 고객이 대출을 받을 수 있는 이유를 이해할 수 없기 때문에, 일부는 더 큰 도덕적 부담을 느낀다.

This lack of understanding creates a feeling of uncertainty in their interaction with customers.

이러한 이해 부족은 고객과의 상호작용에서 불확실성을 느끼게 한다.

To make the AI system more transparent for employees despite the secret underlying algorithm, managers should involve the provider of the AI system more actively in introducing the system to frontline employees.

기본 알고리즘이 비공개임에도 불구하고, AI 시스템을 직원들에게 더 투명하게 만들기 위해 관리자는 AI 시스템 제공업체를 시스템 도입 과정에 더 적극적으로 참여시켜야 한다.

Historically, when AI Provider has provided the system to a new part of Main Finance, it has only given management and employees limited guidance on how to use it.

과거에 AI 제공업체가 메인 파이낸스의 새로운 부서에 시스템을 제공할 때, 관리자와 직원들에게 시스템 사용 방법에 대한 제한된 가이드만 제공했다.

More recently, however, some of the bank’s institutions have started to involve AI Provider more closely in the introduction process.

그러나 최근에는 은행의 일부 기관들이 AI 제공업체를 도입 과정에 더 밀접하게 참여시키기 시작했다.

For example, AI Provider could be used to explain the meaning and function of the system to employees as well as introducing the values and assumptions used to program the algorithm.

예를 들어, AI 제공업체는 알고리즘을 프로그래밍하는 데 사용된 가치와 가정을 소개하는 것뿐만 아니라, 시스템의 의미와 기능을 직원들에게 설명하는 데 활용될 수 있다.

Doing this would make the AI system easier to explain.

이렇게 하면 AI 시스템을 설명하기 더 쉬워질 것이다.

Many of Main Finance’s loan consultants feel morally compromised because they perceive that the AI system is leading customers into a debt trap.

메인 파이낸스의 많은 대출 상담사들은 AI 시스템이 고객을 부채 함정으로 이끌고 있다고 인식하기 때문에 도덕적으로 손상을 입었다고 느낀다.

Nevertheless, both AI Provider and Main Finance have records that show that the loan default rate has dropped significantly since the system was introduced.

그럼에도 불구하고, AI 제공업체와 메인 파이낸스 모두 시스템 도입 이후 대출 채무 불이행 비율이 크게 감소했다는 기록을 가지고 있다.

Frontline employees, however, are not aware of this.

그러나 현장 직원들은 이를 알지 못한다.

Furthermore, most employees are unaware that the system learns and improves by drawing on customer data and past customer behavior.

게다가 대부분의 직원들은 시스템이 고객 데이터와 과거 고객 행동을 바탕으로 학습하고 개선된다는 사실을 알지 못한다.

This means that employees are often confused when two similar customers receive different decisions at different times.

이는 두 명의 유사한 고객이 서로 다른 시점에 다른 결정을 받을 때 직원들이 종종 혼란스러워한다는 것을 의미한다.

Involving the provider of the AI system in the introduction process can help to increase employees’ understanding of the system and make it more transparent.

AI 시스템 제공업체를 도입 과정에 참여시키는 것은 직원들이 시스템에 대한 이해를 높이고 이를 더 투명하게 만드는 데 도움이 될 수 있다.

5. Create Strategies for Servicing Customer Groups Excluded from the AI System

5. AI 시스템에서 배제된 고객 그룹을 위한 서비스 전략을 마련하라

An autonomous AI system can often systematically make adverse decisions for specific groups of customers.

자율적인 AI 시스템은 특정 고객 그룹에 대해 체계적으로 불리한 결정을 내릴 수 있다.

By limiting employees’ influence on the decisions and transferring responsibility to the AI system, the risk of excluding specific customer groups is increased.

직원들의 의사결정 영향력을 제한하고 AI 시스템에 책임을 이전함으로써 특정 고객 그룹을 배제할 위험이 증가한다.

In the case of the AI system introduced at Main Finance, two problematic system behaviors emerged.

메인 파이낸스에서 도입된 AI 시스템의 경우, 두 가지 문제가 되는 시스템 행동이 나타났다.

First, because the system uses certain criteria that have to be met without any exceptions, it does not grant loans to specific customer groups, such as the self-employed or those who do not pay rent.

첫째, 시스템은 반드시 충족해야 하는 특정 기준을 사용하기 때문에 자영업자나 월세를 내지 않는 사람들과 같은 특정 고객 그룹에게는 대출을 승인하지 않는다.

These groups are therefore excluded from receiving a loan via the AI system.

따라서 이러한 그룹은 AI 시스템을 통해 대출을 받을 수 없게 된다.

Additionally, the system treats certain heterogeneous customer groups as if everyone is the same, and does not take account of individual differences.

또한, 시스템은 특정 이질적인 고객 그룹을 모두 동일하게 취급하며, 개별적인 차이를 고려하지 않는다.

One example is the criterion relating to the minimum length of stay in Germany, which was introduced during the refugee crisis of 2015.

한 가지 예는 2015년 난민 위기 당시 도입된 독일 거주 최소 기간 기준이다.

All customers who do not meet this criterion are either refused a loan or granted one under stringent conditions.

이 기준을 충족하지 못한 모든 고객은 대출을 거부당하거나 엄격한 조건 하에 대출을 승인받는다.

Individual factors such as income or profession are not considered in these cases.

이러한 경우 소득이나 직업과 같은 개별 요인은 고려되지 않는다.

As currently programmed, the AI system does not allow its decision to be rejected, even if, for example, the applicant is a regular or a particularly valuable Main Finance customer.

현재 프로그래밍된 상태에서 AI 시스템은, 예를 들어 신청자가 메인 파이낸스의 정규 고객이거나 특히 중요한 고객이더라도, 결정을 거부할 수 없게 한다.

As a result, the bank risks losing certain customer groups and also risks losing its unique selling point: the bank is known for individual and customer-focused financial consulting.

그 결과, 은행은 특정 고객 그룹을 잃을 위험에 처하며, 개별적이고 고객 중심의 금융 상담으로 잘 알려진 고유한 판매 포인트를 잃을 위험도 있다.

Although Main Finance has asked AI Provider to consider including more individual customer groups in the AI system, AI Provider stresses that the current system is not able to provide decisions for highly individual customer groups (e.g., customers with a highly variable or changing income such as freelancers).

메인 파이낸스는 AI 제공업체에 AI 시스템에 더 많은 개별 고객 그룹을 포함하는 것을 고려해달라고 요청했지만, AI 제공업체는 현재 시스템이 매우 개별적인 고객 그룹(예: 소득이 매우 변동적인 자영업자)에게 결정을 제공할 수 없다고 강조한다.

Moreover, AI Provider is interested in granting loans to customers who have a relatively high probability of repaying the loan.

게다가 AI 제공업체는 대출 상환 가능성이 비교적 높은 고객에게 대출을 승인하는 데 관심이 있다.

The system can more accurately assess static factors, such as a fixed income, than highly dynamic factors such as the variable income of a freelancer.

시스템은 프리랜서의 변동 소득과 같은 매우 동적인 요소보다 고정 소득과 같은 정적인 요소를 더 정확하게 평가할 수 있다.

For these reasons, AI Provider does not intend to add further customer groups in the near future, although this might change with further technological advancements.

이러한 이유로 AI 제공업체는 가까운 미래에 추가적인 고객 그룹을 포함할 의도가 없으며, 이는 기술이 더욱 발전함에 따라 변경될 수 있다.

Managers should create strategies for dealing with specific customer groups systematically excluded by the AI system.

관리자는 AI 시스템에 의해 체계적으로 배제된 특정 고객 그룹을 다루기 위한 전략을 마련해야 한다.

One approach is to create in-house solutions for customer groups, such as self-employed applicants, who will automatically be rejected by the AI system.

한 가지 접근법은 AI 시스템에 의해 자동으로 거절될 자영업자와 같은 고객 그룹을 위한 내부 솔루션을 개발하는 것이다.

Because these are often lucrative customers, the organization could service such groups with an internally developed process and assign highly qualified frontline employees to specialize in servicing them.

이러한 고객 그룹은 종종 수익성이 높기 때문에 조직은 이 그룹을 내부적으로 개발된 프로세스를 통해 서비스하고, 이를 전문적으로 담당할 고도로 자격을 갖춘 현장 직원을 배치할 수 있다.

If Main Finance were to do this, the intention of senior management to counteract the increasing competition from online banks would be strengthened because the excluded customers would receive timely decisions, have a personal on-site contact and still be treated as individuals.

메인 파이낸스가 이를 실행한다면, 온라인 은행의 증가하는 경쟁에 대응하려는 고위 경영진의 의도가 강화될 것이다. 왜냐하면 배제된 고객이 적시에 결정을 받고, 현장에서 개인적인 연락을 취할 수 있으며 여전히 개별적으로 대우받을 수 있기 때문이다.

Another strategy would be to create regular feedback opportunities for experienced frontline workers to flag possible discriminatory behavior they notice in the AI system.

또 다른 전략은 경험 많은 현장 직원들이 AI 시스템에서 감지한 차별적 행동 가능성을 표시할 수 있는 정기적인 피드백 기회를 만드는 것이다.

This feedback could then be forwarded to the provider of the AI system so the user organization and provider could jointly develop enhancements to the system.

이 피드백은 AI 시스템 제공업체에 전달되어 사용자 조직과 제공업체가 시스템 개선을 공동으로 개발할 수 있다.

Concluding Comments

결론

The Main Finance case study highlights the potential benefits of substituting human decision making with an AI system.

메인 파이낸스 사례 연구는 인간 의사결정을 AI 시스템으로 대체함으로써 얻을 수 있는 잠재적 이점을 강조한다.

The intentions of Main Finance’s senior management when it decided to replace its conventional information systems for supporting loan application decisions with an autonomous and learning AI system were to counteract: 1) increasing competition from new digital-based market participants; 2) mismatched personnel resources; and 3) high loan default rates.

메인 파이낸스의 고위 경영진이 기존 대출 신청 결정을 지원하는 정보 시스템을 자율적이고 학습 가능한 AI 시스템으로 교체하기로 결정한 의도는 다음과 같았다: 1) 새로운 디지털 기반 시장 참가자의 증가하는 경쟁에 대응, 2) 인력 자원의 불균형 문제 해결, 3) 높은 대출 채무 불이행 비율 감소.

Senior management hoped that, together, these intentions would reverse the decline in profitability of its small-loan business.

고위 경영진은 이러한 의도가 결합되어 소액 대출 사업의 수익성 감소를 반전시킬 수 있기를 희망했다.

Although the AI system was successful in meeting these intentions, Main Finance was confronted with several unintended consequences of introducing the AI system, both for frontline employees and the organization, that were not anticipated by senior management during the planning stages.

AI 시스템이 이러한 의도를 충족하는 데 성공했음에도 불구하고, 메인 파이낸스는 AI 시스템 도입으로 인해 계획 단계에서 고위 경영진이 예상하지 못한 현장 직원과 조직 모두에 대한 몇 가지 의도하지 않은 결과에 직면했다.

These unintended consequences could threaten the intended organizational goals of introducing an AI system.

이러한 의도하지 않은 결과는 AI 시스템 도입의 의도된 조직 목표를 위협할 수 있다.

Based on our insights gained from the Main Finance case, we have provided recommendations for managers who intend to implement or have already implemented AI systems in their organization.

메인 파이낸스 사례에서 얻은 통찰을 바탕으로, 우리는 AI 시스템을 도입하려 하거나 이미 도입한 조직의 관리자를 위한 권장 사항을 제시했다.

Following these recommendations will ensure that AI systems achieve their full potential while also reducing the risks and managing the unintended consequences.

이 권장 사항을 따르면 AI 시스템이 그 잠재력을 최대한 발휘하는 동시에 위험을 줄이고 의도하지 않은 결과를 관리할 수 있을 것이다.

We offer our insights and recommendations as a resource for other organizations considering introducing AI systems for decision making.

우리는 의사결정을 위해 AI 시스템 도입을 고려하는 다른 조직을 위한 자료로 우리의 통찰과 권장 사항을 제공한다.

Appendix: Research Methodology

부록: 연구 방법론

This article is based on an in-depth case study of Main Finance and the CleverLoan AI system.

이 논문은 메인 파이낸스와 클레버론 AI 시스템에 대한 심층 사례 연구를 기반으로 작성되었다.

Between January and December 2019, we collected data at Main Finance and AI Provider by attending several meetings and presentations, making observations during on-site visits and conducting interviews with various employees.

2019년 1월부터 12월 사이, 우리는 여러 회의와 발표에 참석하고, 현장 방문 중 관찰하며, 다양한 직원들과 인터뷰를 진행함으로써 메인 파이낸스와 AI 제공업체에서 데이터를 수집했다.

Research Interviewees

In all, we conducted semistructured interviews with 39 loan consultants who use CleverLoan and 14 managers at Main Finance, as well as with 11 employees and managers at AI Provider (see the table above).

우리는 클레버론을 사용하는 39명의 대출 상담사와 메인 파이낸스의 14명의 관리자, 그리고 AI 제공업체의 11명의 직원 및 관리자를 대상으로 반구조화된 인터뷰를 진행했다(위 표 참조).

The interview questions for Main Finance managers centered on why senior management had decided to introduce CleverLoan, the intended goals of introducing the AI system, and the outcomes or developments that were surprising or unintended from their perspective.

메인 파이낸스 관리자들에게 한 인터뷰 질문은 고위 경영진이 클레버론을 도입하기로 결정한 이유, AI 시스템 도입의 의도된 목표, 그리고 그들의 관점에서 놀랍거나 의도하지 않은 결과 또는 발전에 초점을 맞췄다.

The questions for the loan consultants focused on how their work had changed since the introduction of CleverLoan, their perceptions of working with the AI system, the benefits they gained and the issues they experienced.

대출 상담사들에게 한 질문은 클레버론 도입 이후 업무가 어떻게 변화했는지, AI 시스템과 함께 일하면서 느낀 점, 얻은 이점, 그리고 겪은 문제에 중점을 두었다.

The questions for AI Provider personnel were aimed at gaining an in-depth understanding of the AI system itself, its functions and possibilities.

AI 제공업체 직원들에게 한 질문은 AI 시스템 자체, 그 기능 및 가능성을 심층적으로 이해하는 것을 목표로 했다.

We analyzed the data from the interviews in five rounds, using an iterative grounded theory approach.

우리는 반복적 근거 이론 접근법을 사용하여 5단계에 걸쳐 인터뷰 데이터를 분석했다.

In doing so, we used both open and selective coding.

이 과정에서 우리는 개방형 코딩과 선택적 코딩을 모두 사용했다.

We used two perspectives—those of frontline workers who used the system and those of senior management—to classify the consequences of introducing the AI system.

우리는 AI 시스템 도입의 결과를 분류하기 위해 시스템을 사용하는 현장 직원과 고위 경영진의 두 가지 관점을 사용했다.

We also classified the consequences according to whether they were intended or unintended, or positive or negative.

우리는 또한 결과를 의도된 것인지 의도하지 않은 것인지, 긍정적인지 부정적인지에 따라 분류했다.

Finally, to verify our findings, we shared them with Main Finance and AI Provider and invited feedback.

마지막으로, 우리의 발견을 검증하기 위해 이를 메인 파이낸스와 AI 제공업체와 공유하고 피드백을 요청했다.

This feedback was especially important for verifying our classification of intended and unintended consequences.

이 피드백은 의도된 결과와 의도하지 않은 결과에 대한 우리의 분류를 검증하는 데 특히 중요했다.