데이터 통합 솔루션 :개발자들이 알아야 하는 비법
데이터 통합 관리는 많은 데이터를 다루는 일입니다.
이것은 소프트웨어를 개발하는 일과 비슷합니다. 모두 최종 사용자의 요구를 이해해야 하고, 솔루션 구현 방법에 대한 지식, 반복해서 결과물을 개선하는 애자일 기법에 대한 인식이 필요합니다.
성공적인 개발이 되려면 데이터 통합 관리에 대해 잘 알아야 합니다. 이 글에서는 데이터 통합 관리를 위한 솔루션을 추천해 드리고자 합니다.
데이터 통합 관리이란?
데이터 통합 관리(data integration management)는 데이터 관리 체계입니다.
정보통신기술 발전에 따라 기업 내 데이터 양이 많아지면서 데이터를 효과적이고 통합적으로 관리하여 가치있는 데이터를 지속적으로 발굴해야 합니다.
왜냐하면, 데이터 관리 소홀로 인한 정보 노출과 관리 비용을 줄이고, 고품질의 데이터를 발굴하여 기업의 가치 창출에 기여하기 위해서는 전사적으로 데이터를 관리하고 통제할 필요가 있습니다.
데이터 통합 관리 에서 자주 쓰는 용어
도식(Schema): 보관된 데이터들을 구조화·질의 가능(queryable)한 형태로 정리하는 방식
데이터베이스(Database): 하나 혹은 다수의 도식을 이용하여 데이터를 유기적으로 정리한 집합체
출처(Source): 데이터를 포함한 데이터베이스의 개수. 각각의 출처에 속하는 데이터들은 다른 출처의 데이터들과 중복되거나 상호보완적일 수 있음.
데이터 표준(Data standards): 데이터에 대한 정의·표시 형식 등에 대한 동의된 기준
데이터 형식(Data formats):데이터나 메타데이터 파일을 표시하는 형식·형태
데이터 창고(Data warehouse):여러 출처의 데이터들을 한 군데에서 통합하여 보관하는 곳.
연합 데이터베이스(Federated databases):여러 출처의 데이터들을 통합하여 사용자들이 통일된 양식이나 관점으로 데이터를 볼 수 있게 만든 것.
연관 데이터(Linked data):데이터들의 연관 관계를 네트워크 등의 방식으로 표현한 것. 의미상으로 공유되는 항목들을 엮음으로써 전자기기에서 읽을 수 있도록 정리한 것.
존재론(Ontology): 데이터를 묘사하는 구조화된 방법으로, 생물정보학에서는 존재론들을 애매모호하지 않고 전반적으로 동의할 수 있는 항목들로 구성함으로써 생물학적 현상이나 특성을 묘사할 수 있음.
특성 어휘(Iled vocabulary): 특정 관심 분야를 묘사하는 용어들의 집합체
고유 식별자(Unique identifier): 분자, 생물종, 존재론 등 특정 생물학적 용어를 대표하는 기호·문자·숫자를 일컫음.
메타데이터(Metadata): 데이터의 정보를 묘사하는 데이터로, 데이터에 대한 생물학적 용어·의미 등 부가 설명을 담당함.
주석달기(Annotation): 생물학적 용어·단어 개체에 관련된 기능 따위의 정보를 추가로 부여한 것.
자동 주석달기(Automatic annotation): 컴퓨터 소프트웨어를 이용하여 주석을 다는 것으로, 많은 양의 메타데이터를 생성할 때 적용되는 방법임.
수동 주석달기(Manual annotation): 자동 주석달기의 반대되는 용어로, 개인이 직접 주석을 다는 것.
GUI: 컴퓨터 그래픽 기능을 이용한 사용자 친화적인 인터페이스로 생물학자들이 손쉽게 통합된 생물학적 데이터들을 찾거나 읽거나 수정할 수 있도록 프로그램을 구성한 것.
API: 응용프로그램 인터페이스. 고급 사용자들이 자동적으로 툴 기능이나 데이터에 접근할 수 있도록 툴이나 프로토콜에서 제공하는 설정
UX: 사용자 경험, 생산물의 유용성에 집중하여 사용자의 만족을 높이기 위한 노력 및 행위
시각화 도구(Visualization tools): 네트워크를 시각화하여 볼 수 있는 Cytoscape과 같이, 생물학자들이 데이터를 인간 친화적인 방식으로 이해할 수 있도록 만들어진 응용프로그램.
데이터 통합 관리 솔루션
데이터 웨어하우스(data warehouse)와 같은 중앙 집중식의 시스템을 활용하여 분산된 데이터 및 정보 시스템을 연결하고 통합하여 데이터의 중복을 제거하고 양질의 데이터로 유지 관리가 수행될 수 있습니다. 이 외에, 기준 정보 관리(MDM: Master Data Management), 빅데이터, 클라우드 컴퓨팅 솔루션 등이 사용됩니다.
이 부분에서는 데이터 통합 관리에 위한 솔루션을 추천해드리겠습니다.
FineReport
FineReport는 광범위한 데이터 소스를 지원하고 있습니다. 지원 가능한 데이터 소스는 다음과 같습니다.
관계형 데이터베이스 : Oracle, SqlServer, Mysql, DB2, Sybase, Access, Derby, Postgres, Informix와 같은 주류 관계형 데이터베이스와 SQL 데이터 시트 , 뷰 또는스토리지 프로세스를 지원합니다.
텍스트 데이터 소스 : Excel 파일, TXT 파일, XML 파일 등 .
다차원 데이터베이스 : Essbase, ssas, sap, hadoop, FineCube.
Nosql 데이터 소스 : MongoDB
내장 데이터 셋 : 서버 내장 데이터 세트 및 보고서 내장 데이터 세트
기타 : 프로그램 데이터 소스, json, SAP 데이터 소스
출처: FineReport 공식홈페이지또한, FineReport는 JDBC를 통해 데이터베이스에 직접 연결, JNDI를 통해 어플리케이션 서버와 데이터베이스 연결 공유, JCO를 통해 SAP 시스템에 연결 등 다양한 채널을 통해 데이터 소스를 연결합니다. 몇 초가 소요되나 지저분한 스크립팅이나 코딩이 필요하지 않습니다.
출처: FineReport 공식홈페이지그리고, FineReport는 멀티 소스의 데이터를 통합할 수 있습니다. 서로 다른 데이터베이스 및 테이블에서의 데이터 추출을 지원하고 ERP / OA / MES 및 기타 비즈니스 시스템의 데이터를 단일 플랫폼으로 쉽게 통합,조직의 정보 외딴섬을 차단합니다.
출처: FineReport 공식홈페이지현재 FineReport는 기간과 기능의 제한이 없는 개인 사용자용 라이선스를 공식홈페이지에서 무료로 배포하고 있습니다.
InnoQuartz는 Talend를 기반으로 한 데이터 통합 솔루션으로, 다양한 유형의 데이터의 통합과 운영 업무를 수행합니다. 전통적인 ETL을 넘어 준실시간 데이터 서비스를 위한 데이터 허브 구축을 목표로 하고 있습니다. InnoQuartz는 다양한 사업분야에서 관계부서와 유관기관의 데이터를 빠르고 정확하게 통합/전달하는 업무를 수행하고 있습니다.
InnoQuartz는 설치·관리·운영상의 복잡한 절차를 간소화 하였으며, 직관적이고 표준화된 개발 방법론을 제공하여 빠르고 안정적인 개발업무 수행을 지원합니다.
BNF테크놀로지
BNF테크놀로지는 IIOT 솔루션을 제공하고 있습니다. IIoT란 산업용 사물인터넷(Industrial Internet of Things)을 의미합니다. IIoT 플랫폼은 여러 기기에서 생산되는 방대한 데이터를 유/무선 연결하여, 운영 효율성과 생산성 향상을 위한 데이터의 전략적 활용을 지원합니다.
IIoT 플랫폼은 언제 어디서든 사용자가 필요로 하는 설비 데이터 모니터링입니다. 장점은 다음과 같습니다.
시스템 가변성: 사용자의 요구에 맞게 시스템의 축소나 확장이 가능
다양한 데이터 수집: 데이터 소스 또는 위치에 상관없이 실시간으로 데이터 수집
데이터 인프라 구축: 사람, 기업, 시스템 간의 상호 연결을 통한 데이터 기반 의사결정 지원
데이터 신뢰성: 데이터 수집 시스템 데이터와의 동일한 데이터를 손실 없이 저장
출처: BNF테크놀로지 공식홈페이지
