논문리뷰 : 빅데이터 통합을 활용한 데이터 사일로 연결
Patel, Jayesh.(2019)
BRIDGING DATA SILOS USING BIG DATA INTEGRATION
Patel, Jayesh. "Bridging data silos using big data integration." International Journal of Database Management Systems 11.3 (2019): 01-06.
ABSTRACT
With cloud computing, cheap storage, and technology advancements, an enterprise uses multiple applications to operate business functions.
클라우드 컴퓨팅, 저렴한 스토리지, 그리고 기술 발전으로 인해 기업은 다양한 애플리케이션을 사용하여 비즈니스 기능을 운영한다.
Applications are not limited to just transactions, customer service, sales, and finance, but they also include security, application logs, marketing, engineering, operations, HR, and many more.
애플리케이션은 거래, 고객 서비스, 판매, 재무에 국한되지 않고 보안, 애플리케이션 로그, 마케팅, 엔지니어링, 운영, 인사 등 다양한 기능을 포함한다.
Each business vertical uses multiple applications which generate a huge amount of data.
각 비즈니스 부문은 다수의 애플리케이션을 사용하며, 이는 방대한 양의 데이터를 생성한다.
On top of that, social media, IoT sensors, SaaS solutions, and mobile applications record exponential growth in data volume.
더불어 소셜 미디어, IoT 센서, SaaS 솔루션, 모바일 애플리케이션은 데이터 볼륨의 기하급수적 성장을 기록하고 있다.
In almost all enterprises, data silos exist through these applications.
거의 모든 기업에서는 이러한 애플리케이션을 통해 데이터 사일로가 존재한다.
These applications can produce structured, semi-structured, or unstructured data at different velocities and in different volumes.
이들 애플리케이션은 서로 다른 속도와 크기로 구조화된 데이터, 반구조화된 데이터, 비구조화된 데이터를 생성할 수 있다.
Having all data sources integrated and generating timely insights helps in overall decision-making.
모든 데이터 소스를 통합하고 적시에 인사이트를 생성하는 것은 전반적인 의사결정에 도움을 준다.
With recent developments in Big Data Integration, data silos can be managed better and it can generate tremendous value for enterprises.
빅데이터 통합의 최근 발전으로 데이터 사일로를 더 효과적으로 관리할 수 있으며, 이는 기업에 막대한 가치를 창출할 수 있다.
Big data integration offers flexibility, speed, and scalability for integrating large data sources.
빅데이터 통합은 대규모 데이터 소스를 통합하기 위한 유연성, 속도, 확장성을 제공한다.
It also offers tools to generate analytical insights which can help stakeholders to make effective decisions.
또한 이해관계자가 효과적인 결정을 내릴 수 있도록 돕는 분석 인사이트를 생성하는 도구를 제공한다.
This paper presents an overview of data silos, challenges with data silos, and how big data integration can help to resolve them.
본 논문은 데이터 사일로의 개요, 데이터 사일로와 관련된 과제, 그리고 빅데이터 통합이 이를 해결하는 데 어떻게 기여할 수 있는지에 대해 논의한다.
KEYWORDS
Data Silo, Big Data, Data Pipelines, Integration, Data Lake, Hadoop
1. INTRODUCTION
A data silo is a segregated group of data stored in multiple enterprise applications.
데이터 사일로는 여러 기업 애플리케이션에 저장된 분리된 데이터 집합을 의미한다.
Most applications store raw and processed data in various ways.
대부분의 애플리케이션은 원시 데이터와 처리된 데이터를 다양한 방식으로 저장한다.
Each application has its own features and tools to allow business users easy access to processed data using dashboards and reports.
각 애플리케이션은 대시보드와 보고서를 통해 비즈니스 사용자들이 처리된 데이터에 쉽게 접근할 수 있도록 고유한 기능과 도구를 제공한다.
Most of these dashboards and reports are application-specific.
이 대시보드와 보고서 대부분은 애플리케이션에 특화되어 있다.
As a result, teams in various business units will have limited visibility of the data in the enterprise and will only see a partial picture.
그 결과, 다양한 비즈니스 부서의 팀들은 기업 데이터에 대한 제한된 가시성을 가지며 데이터의 일부만을 볼 수 있다.
They will not be able to extract the full value of data from various enterprise applications that source data silos.
이들은 데이터 사일로의 출처가 되는 다양한 기업 애플리케이션에서 데이터의 전체 가치를 추출할 수 없다.
Data silos restrict sharing information and collaboration among teams.
데이터 사일로는 팀 간 정보 공유와 협업을 제한한다.
It leads to poor decision-making and negatively impacts profitability [16][17].
이는 부실한 의사결정을 초래하며 수익성에 부정적인 영향을 미친다 [16][17].
With evolving APIs in enterprise applications and the emergence of new technologies, frameworks, and platforms, there are various opportunities to integrate these silos.
기업 애플리케이션 API의 발전과 새로운 기술, 프레임워크, 플랫폼의 등장으로 이러한 사일로를 통합할 다양한 기회가 생겼다.
Integrating thousands of disparate data sources is now easier than ever before due to Big Data Integration and tools.
빅데이터 통합과 관련 도구 덕분에 수천 개의 이질적인 데이터 소스를 통합하는 일이 이제 이전보다 훨씬 더 쉬워졌다.
This paper will focus on how big data integration can help integrate disparate data sources.
본 논문은 빅데이터 통합이 이질적인 데이터 소스를 어떻게 통합할 수 있는지에 초점을 맞춘다.
2. RELATED WORK
Data integration has been around for the last few decades and has been evolving.
데이터 통합은 지난 몇 십 년간 존재해왔으며, 계속 발전하고 있다.
Data silos are often managed differently by enterprises based on their priorities and challenges.
데이터 사일로는 기업의 우선순위와 직면한 과제에 따라 서로 다른 방식으로 관리된다.
Data integration is the key to bridging data silos and generating the true value of data [15].
데이터 통합은 데이터 사일로를 연결하고 데이터의 진정한 가치를 창출하기 위한 핵심이다 [15].
As applications can be heterogeneous, it is challenging to integrate them.
애플리케이션이 이질적일 수 있기 때문에 이를 통합하는 것은 도전 과제가 된다.
To integrate heterogeneous sources, data integration mitigates risks and offers flexibility.
이질적인 소스를 통합하기 위해 데이터 통합은 리스크를 완화하고 유연성을 제공한다.
In paper [21], multiple approaches were discussed to integrate heterogeneous data warehouses using a practical system as an example.
논문 [21]에서는 실제 시스템을 예로 들어 이질적인 데이터 웨어하우스를 통합하기 위한 여러 접근법을 논의했다.
The paper [14] compares traditional data warehouse toolkits with big data integration.
논문 [14]는 전통적인 데이터 웨어하우스 툴킷과 빅데이터 통합을 비교한다.
It provides details on methodology, architecture, ETL challenges, processing, and storage for data warehouses and big data lakes.
이 논문은 데이터 웨어하우스와 빅데이터 레이크에 대한 방법론, 아키텍처, ETL 문제, 처리 및 저장소에 관한 세부 사항을 제공한다.
It summarizes the characteristics of data warehouses and big data, followed by a proposed model to process big data.
데이터 웨어하우스와 빅데이터의 특성을 요약하고, 빅데이터를 처리하기 위한 모델을 제안한다.
A seminar on big data integration [2] discussed techniques such as record linkage, schema mapping, and data fusion.
빅데이터 통합에 관한 세미나 [2]에서는 레코드 연결, 스키마 매핑, 데이터 융합과 같은 기술을 논의했다.
It also summarized how big data integration relieves challenges with big data.
이 세미나는 빅데이터 통합이 빅데이터와 관련된 문제를 어떻게 완화하는지 요약했다.
Big data integration is reviewed in paper [11] by presenting issues with traditional data integrations and relevant work on big data integration.
빅데이터 통합은 논문 [11]에서 전통적인 데이터 통합의 문제와 빅데이터 통합에 관한 관련 연구를 제시하며 다루어졌다.
Challenges of big data are also discussed, along with techniques to resolve them in a big data environment.
빅데이터 환경에서 이를 해결하기 위한 기술과 함께 빅데이터의 문제점도 논의되었다.
A book on Big Data Analytics [1] discusses strategies and roadmaps to integrate big data analytics into enterprises.
빅데이터 분석에 관한 책 [1]은 빅데이터 분석을 기업에 통합하기 위한 전략과 로드맵을 논의한다.
It presents how big data tools and techniques can help develop big data applications to manage data silos.
이 책은 빅데이터 도구와 기술이 데이터 사일로를 관리하기 위한 빅데이터 애플리케이션 개발에 어떻게 도움이 되는지 설명한다.
3. DATA SILOS AND CHALLENGES
3.1. Data Silos
In the age of artificial intelligence, data science, machine learning, and predictive analytics, generating insights from the right data at the right time is critical.
인공지능, 데이터 과학, 머신러닝, 예측 분석의 시대에 적시에 올바른 데이터로부터 인사이트를 생성하는 것은 매우 중요하다.
These days, there is a strong wave to adopt artificial intelligence and machine learning to be data-driven and gain a competitive advantage.
오늘날, 데이터 중심적이고 경쟁 우위를 확보하기 위해 인공지능과 머신러닝을 채택하려는 강한 흐름이 있다.
The biggest hurdle to attain success in this endeavor is data integration and preparation [18].
이 노력에서 성공을 거두기 위한 가장 큰 장애물은 데이터 통합과 준비이다 [18].
Due to the increasing number of business applications in the corporate world, data sit in hundreds or thousands of applications or servers that result in data silos.
기업 환경에서 비즈니스 애플리케이션의 증가로 인해 데이터는 수백 또는 수천 개의 애플리케이션이나 서버에 저장되며 데이터 사일로를 형성한다.
It becomes worse during mergers and acquisitions.
이러한 문제는 기업의 합병 및 인수 시 더욱 심각해진다.
On the other side, it is not practical to give everyone in the company access to all applications.
반면에, 모든 직원에게 모든 애플리케이션에 대한 접근 권한을 부여하는 것은 현실적이지 않다.
Even if that is true, it will take so much time to integrate the required datasets without a proper strategy.
그렇게 한다고 해도, 적절한 전략 없이는 필요한 데이터 세트를 통합하는 데 엄청난 시간이 소요된다.
It takes days, months, or even years to manually acquire and integrate data from data silos.
데이터 사일로에서 데이터를 수동으로 획득하고 통합하는 데는 며칠, 몇 달, 심지어 몇 년이 걸릴 수 있다.
Data silos are formed due to various reasons, including structural, vendor contracts, and political factors [16].
데이터 사일로는 구조적, 벤더 계약, 정치적 요인 등 다양한 이유로 형성된다 [16].
3.2. Challenges with Data Silos
According to a survey by the American Management Association [8], 83% of executives reported that their organizations have silos, and 97% think silos have a negative effect.
미국 경영협회(AMA)의 설문조사 [8]에 따르면, 83%의 경영진이 자신들의 조직에 사일로가 존재한다고 답했으며, 97%는 사일로가 부정적인 영향을 미친다고 생각했다.
The simplest reason is that they impact overall decision-making and affect each business vertical.
가장 단순한 이유는 사일로가 전반적인 의사결정에 영향을 미치고 각 비즈니스 부문에 영향을 준다는 것이다.
It is obvious that data silos restrict visibility across different verticals.
데이터 사일로는 서로 다른 부문 간의 가시성을 제한한다는 것이 명백하다.
Data enrichment is not possible with data silos, and that’s why it negatively impacts informed decision-making.
데이터 사일로가 존재하면 데이터 보강이 불가능하며, 이는 정보에 입각한 의사결정에 부정적인 영향을 미친다.
Additionally, data silos can represent the same problem or situation differently.
게다가, 데이터 사일로는 동일한 문제나 상황을 서로 다르게 나타낼 수 있다.
For example, an active subscriber in a SaaS (Software as a Service) company may mean different things to the finance team and the marketing team.
예를 들어, SaaS(서비스형 소프트웨어) 회사에서 ‘활성 구독자’라는 개념은 재무팀과 마케팅팀에게 서로 다른 의미를 가질 수 있다.
For the finance team, if a subscriber is paying a subscription or using a promotion, he/she will be considered active.
재무팀의 경우, 구독자가 요금을 지불하거나 프로모션을 사용 중인 경우 활성 상태로 간주된다.
For marketing, active status depends on various activities on the platform, like login or usage.
마케팅팀의 경우, 활성 상태는 로그인이나 플랫폼에서의 활동과 같은 다양한 활동에 따라 결정된다.
That leads to inefficiency and additional work to determine which source is accurate.
이는 비효율성을 초래하며, 어느 소스가 정확한지 판단하기 위한 추가 작업을 필요로 한다.
3.3. Bridging Data Silos
As data silos are formed from multiple applications and processes, data resides in various places—cloud, on-premise, application servers, flat files, databases, etc.
데이터 사일로는 여러 애플리케이션과 프로세스로 인해 형성되며, 데이터는 클라우드, 온프레미스, 애플리케이션 서버, 평문 파일, 데이터베이스 등 다양한 장소에 분산되어 있다.
A key thing here is to find value in data and define which data silos should create maximum value if they are integrated.
여기서 중요한 점은 데이터에서 가치를 발견하고, 통합 시 최대 가치를 창출할 데이터 사일로를 정의하는 것이다.
One way to overcome data silos is to strategize sources of data silos to enhance collaborations and communications among multiple departments and teams.
데이터 사일로를 극복하는 한 가지 방법은 데이터 사일로의 소스를 전략적으로 분석하여 여러 부서와 팀 간의 협업과 의사소통을 강화하는 것이다.
From separating different processes or applications to unifying them, breaking down data silos requires major efforts and a change in the overall culture of the organization [16][17].
서로 다른 프로세스나 애플리케이션을 통합하려면 데이터 사일로를 해체하는 데 많은 노력과 조직의 전반적인 문화 변화를 요구한다 [16][17].
Another way to solve this problem is to integrate these data silos using integration techniques and tools.
이 문제를 해결하는 또 다른 방법은 통합 기술과 도구를 사용해 이러한 데이터 사일로를 통합하는 것이다.
Integrating these data silos is a costly and time-consuming process.
이러한 데이터 사일로를 통합하는 과정은 비용이 많이 들고 시간이 오래 걸린다.
There have been multiple frameworks and tools for data integrations, but we will focus on big data integration due to its long-term benefits.
데이터 통합을 위한 다양한 프레임워크와 도구가 존재하지만, 우리는 장기적 이점 때문에 빅데이터 통합에 초점을 맞출 것이다.
Let’s understand the need for integrating data silos in the corporate world with a simple analogy.
기업 환경에서 데이터 사일로 통합의 필요성을 간단한 비유를 통해 이해해 보자.
In a household kitchen, you will find sugar in one container, coffee in another container, and creamer in a different container.
가정의 주방에서는 설탕은 한 용기에, 커피는 또 다른 용기에, 크리머는 다른 용기에 담겨 있는 것을 볼 수 있다.
We consolidate all three in different proportions to make a delicious coffee.
우리는 이 세 가지를 각각 다른 비율로 섞어 맛있는 커피를 만든다.
Similarly, multiple applications in enterprises form data silos for specific operations.
이와 마찬가지로, 기업 내 여러 애플리케이션은 특정 운영 목적을 위해 데이터 사일로를 형성한다.
When executives and investors look at a company as a whole, a clear and better view of the overall picture will go a long way.
경영진과 투자자가 회사를 전체적으로 볼 때, 더 명확하고 나은 전반적인 그림을 보는 것이 중요하다.
Integrating data silos effectively can resolve this critical challenge.
데이터 사일로를 효과적으로 통합하면 이 중요한 문제를 해결할 수 있다.
4. BIG DATA INTEGRATION
Enterprise applications generate a variable volume of data in real-time, near-real-time, or not-real-time.
기업 애플리케이션은 실시간, 준실시간 또는 비실시간으로 다양한 양의 데이터를 생성한다.
Data can be structured, semi-structured, or unstructured [5][14].
데이터는 구조화된 데이터, 반구조화된 데이터, 또는 비구조화된 데이터일 수 있다 [5][14].
Almost 80% of data from enterprise applications is either unstructured or semi-structured [9].
기업 애플리케이션에서 생성되는 데이터의 약 80%는 비구조화되거나 반구조화된 데이터이다 [9].
Volume can be low or high, but there is no clear bar to classify volume as low or high [11].
데이터 볼륨은 적거나 많을 수 있지만, 이를 명확히 낮거나 높은 볼륨으로 분류할 기준은 없다 [11].
Applications can generate static or dynamic data structures, and they are heterogeneous in most cases [14].
애플리케이션은 정적 또는 동적인 데이터 구조를 생성할 수 있으며, 대부분의 경우 이질적이다 [14].
Most of these demonstrate the characteristics of Big Data, often known as the seven V’s: Volume, Variety, Velocity, Veracity, Value, Variability, and Viability [4][14].
이들 데이터 대부분은 빅데이터의 특징인 ‘7V’로 알려진 볼륨(Volume), 다양성(Variety), 속도(Velocity), 신뢰성(Veracity), 가치(Value), 변동성(Variability), 실행 가능성(Viability)을 나타낸다 [4][14].
Traditional data integration techniques work well for structured data [21].
전통적인 데이터 통합 기법은 구조화된 데이터에 대해 잘 작동한다 [21].
Traditional data integration can handle some of the characteristics of Big Data but falls short when handling semi-structured and unstructured data at scale [2][3].
전통적인 데이터 통합은 빅데이터의 일부 특성을 처리할 수 있지만, 반구조화 및 비구조화 데이터를 대규모로 처리하는 데는 한계가 있다 [2][3].
With advancements in big data technologies and infrastructure, it becomes much easier to integrate a variety of data sources at scale [11].
빅데이터 기술과 인프라의 발전으로 다양한 데이터 소스를 대규모로 통합하는 일이 훨씬 쉬워졌다 [11].
Distributed processing and distributed messaging systems have made integrations possible at a high scale.
분산 처리 및 분산 메시징 시스템은 대규모 통합을 가능하게 했다.
MapReduce and Hadoop used to be good options for integrating data silos [14].
MapReduce와 Hadoop은 데이터 사일로를 통합하기 위한 좋은 옵션이었다 [14].
Spark and Hadoop have become better options to integrate a variety of data sources after recent developments in Spark [6].
최근 Spark의 발전 이후, Spark와 Hadoop은 다양한 데이터 소스를 통합하기 위한 더 나은 옵션이 되었다 [6].
Kafka and other distributed messaging technologies have made real-time data integration possible [12][13].
Kafka 및 기타 분산 메시징 기술은 실시간 데이터 통합을 가능하게 했다 [12][13].
Depending on the needs, data can be processed in batches or in real-time using big data tools.
필요에 따라 데이터는 빅데이터 도구를 사용해 배치 처리되거나 실시간으로 처리될 수 있다.
To integrate data silos, you can either extract raw data from each application or pull processed data from sources based on the requirements and nature of the applications.
데이터 사일로를 통합하려면 각 애플리케이션에서 원시 데이터를 추출하거나, 요구사항과 애플리케이션의 특성에 따라 처리된 데이터를 소스에서 가져올 수 있다.
Following general steps are identified to integrate data silos based on several use cases:
다양한 사용 사례를 기반으로 데이터 사일로를 통합하기 위해 다음의 일반적인 단계를 식별할 수 있다:
1. Data Discovery
: Identify data silos to be integrated. It is a data discovery and justification phase.
데이터 발견: 통합해야 할 데이터 사일로를 식별한다. 이는 데이터 발견 및 정당화 단계이다.
Evaluate and determine what integrating data silos will benefit the entire corporation.
데이터 사일로 통합이 기업 전체에 어떤 이점을 줄지 평가하고 결정한다.
Set clear expectations, benchmarks, and constraints for each data silo.
각 데이터 사일로에 대한 명확한 기대치, 기준, 제약을 설정한다.
This phase provides an idea of priorities on which data silos should be handled first.
이 단계는 어떤 데이터 사일로를 우선 처리해야 할지에 대한 우선순위 아이디어를 제공한다.
2. Data Extraction: Determine what to extract from sources.
데이터 추출: 소스로부터 무엇을 추출할 것인지 결정한다.
Data can be extracted from relational databases, cloud, IoT sensors, flat files, application logs, images, large documents, and so on [1][19].
데이터는 관계형 데이터베이스, 클라우드, IoT 센서, 평문 파일, 애플리케이션 로그, 이미지, 대용량 문서 등에서 추출할 수 있다 [1][19].
Data extraction should not put more burden on data sources or impact other production processes.
데이터 추출은 데이터 소스에 과부하를 주거나 다른 생산 프로세스에 영향을 주어서는 안 된다.
“Schema on read” can be beneficial for semi-structured and unstructured data, and big data integration can handle it easily [10].
“읽기 시 스키마 적용”은 반구조화 및 비구조화 데이터에 유용하며, 빅데이터 통합은 이를 쉽게 처리할 수 있다 [10].
3. Data Export: Export data to temporary storage or messaging systems.
데이터 내보내기: 데이터를 임시 저장소나 메시징 시스템으로 내보낸다.
Kafka is a powerful message broker for high-throughput real-time event data and can be effective in integrating data silos [12][20].
Kafka는 고처리량 실시간 이벤트 데이터를 위한 강력한 메시지 브로커로, 데이터 사일로 통합에 효과적일 수 있다 [12][20].
Other alternatives should be evaluated based on needs.
다른 대안도 필요에 따라 평가해야 한다.
4. Data Loading: Load data to the cloud, Hadoop Distributed File System (HDFS), or any big data platform in real-time or in batches.
데이터 로딩: 데이터를 클라우드, Hadoop 분산 파일 시스템(HDFS), 또는 다른 빅데이터 플랫폼에 실시간 또는 배치 형태로 로드한다.
Data can be loaded as-is in raw format. Based on requirements, data can be transformed and stored as well.
데이터는 원시 형식 그대로 로드할 수 있으며, 요구사항에 따라 변환 후 저장할 수도 있다.
5. Data Processing and Analytics: Consolidate data sources based on business needs.
데이터 처리 및 분석: 비즈니스 요구사항에 따라 데이터 소스를 통합한다.
This step involves processing unstructured or semi-structured data into structured data so that it can be used in analytics.
이 단계에서는 비구조화 또는 반구조화 데이터를 구조화된 데이터로 처리하여 분석에 사용할 수 있도록 한다.
It includes aggregating data, generating key performance metrics, and creating analytical data models [7].
여기에는 데이터 집계, 주요 성과 지표 생성, 분석 데이터 모델 개발이 포함된다 [7].
5. BIG DATA LAKE
A data lake is an excellent choice for data consolidation and for integrating data silos.
데이터 레이크는 데이터 통합 및 데이터 사일로 통합을 위한 탁월한 선택이다.
It is an integral part of Big Data Integration.
데이터 레이크는 빅데이터 통합의 필수적인 구성 요소이다.
It offers several benefits over traditional data warehouses.
데이터 레이크는 전통적인 데이터 웨어하우스에 비해 여러 가지 이점을 제공한다.
Data lakes support the strategy to develop a universal culture of scalable, data-driven insights.
데이터 레이크는 확장 가능하고 데이터 중심적인 인사이트 문화를 구축하기 위한 전략을 지원한다.
They are highly flexible, agile, and reusable.
데이터 레이크는 매우 유연하고, 민첩하며, 재사용 가능하다.
As they are designed for low-cost storage, they are commonly used to store historical data from various sources [15].
저비용 저장을 목적으로 설계되었기 때문에, 다양한 소스에서 생성된 과거 데이터를 저장하는 데 자주 사용된다 [15].
When you have all the data you need in one place, you can use it for multiple purposes.
필요한 데이터를 한 곳에 모두 보유하고 있으면 이를 여러 용도로 사용할 수 있다.
Instead of storing only raw data, data lakes should also store processed data, metrics, and aggregations to take full advantage.
원시 데이터만 저장하는 대신, 데이터 레이크는 처리된 데이터, 지표, 집계 데이터를 함께 저장하여 최대한 활용해야 한다.
To avoid extra processing time, commonly used aggregations and metrics should be precomputed and stored in the data lake.
추가적인 처리 시간을 방지하기 위해, 자주 사용되는 집계 데이터와 지표는 미리 계산되어 데이터 레이크에 저장되어야 한다.
That way, it can serve as an enterprise data platform and act as a single source of truth.
이렇게 하면 데이터 레이크는 기업 데이터 플랫폼으로 기능하며, 단일 진실 공급원(Single Source of Truth) 역할을 할 수 있다.
As the journey to a big data lake is not short, sticking to the goals identified during data discovery is crucial.
빅데이터 레이크로의 여정은 짧지 않으므로, 데이터 발견 단계에서 설정한 목표를 고수하는 것이 중요하다.
This journey will open doors to new opportunities and help enterprises subjugate data silos.
이 여정은 새로운 기회를 열어주며, 기업이 데이터 사일로를 정복하도록 돕는다.
6. CONCLUSIONS
Today, data are being generated in hundreds or thousands of enterprise applications at an unprecedented scale.
오늘날 데이터는 수백, 수천 개의 기업 애플리케이션에서 전례 없는 규모로 생성되고 있다.
As these applications are used by different business verticals and teams, data sharing is not easy, even within the same vertical.
이러한 애플리케이션은 서로 다른 비즈니스 부문과 팀에 의해 사용되므로, 동일한 부문 내에서도 데이터 공유가 쉽지 않다.
As a result, multiple data silos are formed in enterprises.
그 결과, 기업 내에서 다수의 데이터 사일로가 형성된다.
Data can generate enormous value if integrated, analyzed, and presented correctly.
데이터는 올바르게 통합되고, 분석되며, 제시된다면 막대한 가치를 창출할 수 있다.
This paper presented some challenges with data silos and how big data integration can help to tackle them.
본 논문은 데이터 사일로와 관련된 몇 가지 문제와 빅데이터 통합이 이를 해결하는 데 어떻게 기여할 수 있는지 논의했다.
It discussed the use of Big Data Lakes to integrate data silos and how they can serve multiple needs through a single platform.
데이터 사일로를 통합하기 위해 빅데이터 레이크를 사용하는 방법과 이를 통해 단일 플랫폼에서 다양한 요구를 충족하는 방법을 논의했다.
As big data integration evolves, new frameworks, platforms, and techniques are expected to make integrations easier in the future.
빅데이터 통합이 발전함에 따라 새로운 프레임워크, 플랫폼, 기술이 통합을 더욱 용이하게 할 것으로 기대된다.
Additionally, data governance for big data lakes and enterprise data access control have significant potential for future development.
또한, 빅데이터 레이크를 위한 데이터 거버넌스와 기업 데이터 접근 제어는 미래 발전 가능성이 크다
