JunctionX Seoul 3일간의 여정과 우승(2)
마이크로소프트의 Responsible AI
About track
JunctionX Seoul의 파트너로 참여한 4개의 기업은 그들이 이번 해커톤에서 추구하는 방향성과 참가자들이 풀어나가야 할 과제 그리고 가이드를 제시했다. 각 트랙의 세부 주제와 요구 사항들은 아래와 같다.
Microsoft
"더 포괄적으로 일할 수 있는 사회와 비즈니스에 적용할 수 있는 협업과 원격 생산성"
1개의 웹사이트나 모바일 앱 데모 구축
Microsoft Azure에서 사용되는 기술을 최소 1가지 이상 사용
Responsible AI을 고려한 아이디어를 구체화
Naver Z
"Z세대를 위한 새로운 가상 놀이터"
새로운 ZEEPTO 기반 서비스 구축
ZEEPTO의 렌더 API를 사용하여 서비스 만들기
가상뿐만 아니라 일상생활에 접목할 수 있는 놀이문화 형성
Sia analytics
"우리는 새로운 우주 시대에 살고 있다"
Google earth를 사용하여 위성 이미지 수집(역사적 이미지 기능) 최소 2개 영역
이벤트와 관련된 뉴스를 찾은 후, 변경된 사항을 직접 표시
시간과 공간영역의 변화에 대한 새로운 표현방법 제시
Rakuten Rapid API
"진정한 스타트업이 될 수 있도록"
Rakuten Rapid API를 활용한 소프트웨어 또는 디지털 아이디어 제시
SaaS와 인터넷 서비스 선호
이 중 우리 팀이 선택했던 Microsoft 트랙이 강조하는 협업과 원격 생산성에 대해 더 깊게 소개하자면, 미래는 지금보다 더 새로운 작업 방식을 요구하고 있고 코로나 19 이전처럼 정상적으로 업무에 복귀하는 것은 어렵다고 설명한다.
이러한 이유로 국가의 회복과 경제가 정상화되기 위한 기술 혁신이 절실해졌고, 전 세계의 많은 사람들이 업무와 협업 적응하기 위해 새로운 기술이 필요하다. 그리고 그 기술은 responsible AI의 원칙을 갖고 시작한다.
그렇다면 그들은 왜 responsible AI를 강조하는가?
AI는 현시대의 기술을 정의하고 있다. 이미 다양한 분야에서 더 빠르고 발전적인 모습을 보이고 있으며 멀리 떨어져 있는 학생들이 교육을 받을 수 있거나 농부들이 전 세계 인구에게 충분한 식량을 생산할 수 있도록 돕는 등 사회의 어려운 과제 일부를 해결하는데 도움을 주고 있다. Microsoft는 AI의 지능이 인간의 선천적인 창의성과 독창성을 확장하는 데 사용되어야 한다고 설명한다.
Microsoft의 최고 법률 책임자인 Brad Smith의 책 Tools and Weapons에서 일부분을 인용하자면, 기술이 강력해질수록 사람이 얻을 수 있는 이익과 손실은 함께 커질 수밖에 없다고 설명한다. 새로운 AI 기술이 등장하고 사회 전체에 확산되면 그 이익과 함께 의도하지 않은 결과가 함께 따라오며, 일부는 윤리적 파급 효과와 함께 심각한 피해를 초래할 가능성이 있다.
오늘날 인공지능의 발전은 혁신의 속도가 인간의 지능에 근접하기 때문에 더욱 빠르게 개인적, 사회적인 차원에서 우리에게 영향을 미치게 된다. 이런 점에서 기술을 창출하는 기업은 미래에 대한 더 큰 책임을 받아들여야 하고, 정부는 더욱 빨리 대처해 혁신의 속도를 따라잡아 기술을 규제해야 할 필요성이 있다.
일례로 2016년 Twitter의 챗봇인 'Tay'를 개발하던 도중 위협적인 상황에 놓인 적이 있었다. 그들은 Tay가 사람의 의사소통과 성격의 특징을 더 잘 학습시키고 복제할 수 있도록 Twitter 사용자와의 상호작용을 어떠한 감시 없이 배우도록 학습시켰다. 하지만 학습을 시작한 지 24시간도 되지 않아 Tay는 편견으로 가득찬 수사법을 배웠고 이를 사용하면서 공손했던 챗봇이 혐오적인 발언을 하기 시작했다. 이 상황을 통해 그들은 AI 자체가 비윤리적인 기술은 아니지만 인공지능 시스템을 설계할 때는 인간적인 요소도 함께 고려해야 한다는 것을 배웠다고 설명하고 있다.
의도하지 않은 결과를 보여주는 또 다른 예는 얼굴 인식과 같은 민감한 기술이다. 현재 많은 분야에서 얼굴 인식 기술이 사용되고 있고, 이러한 기술은 특정 개인에 대한 정부의 지속적 감시를 가능하게 해 또 다른 문제를 야기한다.
Brad Smith and Carol Ann Browne, ⌜Tools and Weapons⌟, Foreword by Bill Gates, 2019이처럼 그들은 현시대의 가장 가시적인 문제들을 제기했다. 프라이버시, 사이버 범죄, 사이버 전쟁, 소셜 미디어, 인공지능의 도덕적 혼란, 빅 테크와 불평등과의 관계, 민주주의에 대한 도전 등 최근 이슈가 되고 있는 문제점들에 대해 Microsoft는 AI 개발 및 사용의 지침이 되어야 하는 여섯 가지 원칙을 갖고 접근하고 있다.
1. 공정성
AI 기술은 모든 사람에게 공정해야 한다. 예를 들어 이 기술이 의료나 대출 또는 고용에 관한 지침을 제공하는 경우 의료에서는 증상, 대출에서는 재정 상황, 고용에서는 전문 자격이 비슷한 모든 사람들에게 동일한 제안을 해야 한다.
2. 포용성
AI 기술은 광범위한 인간의 니즈와 경험을 통합적으로 해결해야 한다. 장애가 있는 전 세계 10억 명의 인구를 도울 수 있어야 하며 그 밖의 교육, 정부 서비스, 고용 등 다양한 분야에서도 보다 나은 환경을 제공하고 기회를 창출해야 한다.
3. 투명성
영향력 있는 결정을 내릴 때 AI 기술이 사용되는 경우, 어떤 방식으로 결정이 내려졌는지 사람들이 이해할 수 있어야 한다. 예를 들어 은행에서 AI 기술을 사용하여 개인의 신용도를 결정하거나 회사 내 AI로 채용을 할 경우 왜 지원자가 적격 한 사람인지 알 수 있어야 한다.
4. 책임성
AI 기술을 설계하고 배포하는 개발자는 시스템의 작동 방식에 대한 책임성을 갖고 있어야 한다. 업계 표준을 기반으로 책임 있는 기술을 개발해야 하며 이 기술을 통해 사람들이 결정을 할 때 AI가 최종적 권위를 갖는 것이 아닌 인간이 AI에 대해 제어를 할 수 있도록 해야 한다.
5. 신뢰성과 안전성
신뢰성을 만들기 위해 예기치 못한 상황에서도 AI가 안정적이고 일관되게 작동하는 것이 중요하다. 악조건의 상황에서도 기존 설계대로 안전하게 대응하고 유해한 조작에 대해 저항할 수 있어야 한다. 또 해당 시스템이 실제 작동할 때 본 의도대로 동작하는지 확인할 수 있어야 한다.
6. 개인 정보 보호와 보안
AI가 점점 더 보편화되고 있음에 따라 개인 정보 보호와 비즈니스 보안이 복잡해지고 있다. AI 시스템이 사람에 대해 정확한 예측과 결정을 하기 위해서는 데이터에 대한 액세스가 필수적으로 요구되므로 개인 정보 보호 및 보안 문제에 특히 주의해야 한다.
Microsoft는 위의 6가지 원칙인 공정성(Fairness), 포괄성(Inclusiveness), 투명성(Transparency), 책임감(Accountability), 신뢰성과 안전성(Reliability & Safety), 개인 정보 보호와 보안(Privacy & Security)으로 다양한 분야에서 책임감 있게 사람들의 삶과 일상에서 도움이 되길 기대하고 있다.
DAY 2
Voice to Text,
Text to Voice.
Day 2 Schedule팀 빌딩 중 각자 원하는 트랙을 먼저 선택한 후 팀을 찾는 경우도 있었고, 모든 트랙이 괜찮으니 조인시켜달라는 참가자도 있었다. 나는 4개의 트랙 중 Microsoft와 Sia 트랙에 관심이 있다고 소개했고, 그중에서도 특히 Microsoft 트랙에 참여하고 싶은 마음이 컸다. 현재 우리가 놓여있는 상황과 뉴 노멀 시대를 가장 잘 표현한 깊이 있는 주제였고, 평소에도 풀어보고 싶었던 관심 있는 분야였다.
우리 팀은 본격적으로 프로젝트에 들어가기 앞서 본인의 아이디어에 대한 구체화와 휴식시간을 갖고 오후 6시 40분에 구글 행아웃에서 만나기로 했다. 해커톤은 둘째 날이 가장 중요하기 때문에 해킹을 하기 전 충분한 휴식을 취하는 게 좋다. 난 팀 빌딩 첫날에 너무 신경을 많이 쓴 탓인지 쉽게 잠이 오지 않았고, 결국 1시간 동안 얕은 잠을 잔 후에 아이디에이션을 시작했다.
내가 생각했던 아이디어는 총 2가지였다. 첫 번째는 전 세계 다양한 사람들의 의사소통을 도울 수 있는 번역 기능이다. 평소에 유튜브로 해외 콘텐츠를 시청할 때 Auto Generate Subtitles 기능을 자주 사용하는데, 단순히 영상을 보고 들을 때 보다 자막을 함께 참고하면 스피킹 속도가 빠르거나 연음 때문에 이해하기 힘든 영어를 상황과 문맥에 맞게 이해할 수 있다.
이 기능은 음성 인식 기술로 사람의 음성을 읽고 자동으로 자막으로 내보내는 Voice to Text의 역할을 하고 있으며 현재 러시아어, 일본어, 영어, 포르투갈어, 독일어, 스페인어, 한국어, 이탈리아어, 네덜란드어 총 9개의 언어만 사용할 수 있다. 동영상을 업로드한 후에 유튜브에서 자동으로 캡션을 생성하기 때문에 후에 어색한 문장을 수정할 수도 있다.
다시 아이디어로 돌아와서, 현재 이 기능은 영어로 말하면 영어, 한국어로 말하면 한국어로 나타나는 형태로 음성을 인식해 사용된 언어로만 캡션을 생성하고 있지만, 사용자가 필요한 언어를 선택하고 그 언어로 바로 번역이 되는 캡션 기능이 있다면 해외 비디오 콘퍼런스 미팅과 다양한 해외 관련 협업 그리고 업무 생산성을 높일 수 있다. 또한 이 기능으로 소리를 들을 수 없는 청각장애인에게는 청각적인 한계에 부딪힐 때 자막을 통해 시각적으로 도움을 줄 수 있다.
두 번째는 위의 내용과 비슷한 아이디어로 음성을 텍스트로 변경하여 저장하는 기능이다. 회의를 할 때나 상사에게 업무를 보고 받을 때 우리는 여전히 회의록 녹음을 하거나 타이핑으로 회의 내용을 정리하곤 한다. 이런 상황에 도움을 줄 수 있는 Auto Save 기능은 회의 내용이 서면으로 준비되어야 하거나 작성해야 할 때 도움이 될 수 있으며 마찬가지로 업무 생산성을 높일 수 있다.
2가지의 아이디어를 간단하게 정리한 후 단체방에 내 아이디어를 공유했고, 우리는 각자 아이디어를 함께 공유할 수 있도록 공유 페이지에 보기 쉽게 정리했다. 총 7가지의 아이디어가 공유되었다.
Ideation우리는 각자 도출한 아이디어에 연장을 하면서 생각의 가지를 뻗어나갔다. 몇 시간에 걸쳐 화상회의로 아이디에이션을 했고, 우선 명확한 Target Audience를 설정하는 것과 Microsoft에서 강조한 Responsible AI에 부합하는 아이디어인지 고민하면서 끊임없이 파고들었다. 최종적으로 나의 아이디어와 개발자 Lask님의 아이디어에서 장점만을 뽑아 빠르게 발전시켜나갔다. 아이디어를 구체화하는 과정에서 우리의 목표와 핵심 기능은 세 가지로 정리되었다.
1. 시각장애인은 기본적으로 시야가 확보되지 않아 화상회의에 접근하기 조차 힘들다. 이러한 니즈를 반영해 접속 후 첫 화면부터 모든 과정이 스피커를 통해 명령어를 이야기하면 페이지가 넘어가도록 한다. 백그라운드 사운드에는 누가 이야기하고 있는지 알려준다.
2. 청각장애인은 반대로 시각적인 문제가 없어 화상회의에 참여할 수 있지만, 대화 내용을 듣지 못한다는 커다란 장벽이 있다. 이를 위해 실시간 자막 업데이트 기능을 통해 참가자들의 대화 내용을 볼 수 있게 한다.
3. 외국인과의 대화는 그 나라의 언어에 익숙하지 않은 이상 항상 한계에 부딪힐 수밖에 없다. 그래서 실시간으로 업데이트되는 자막의 번역 기능을 통해 실시간 번역 스크립트를 제공해 소통에 문제가 없게 한다.
우리는 위의 아이디어를 중심으로 모두가 사용할 수 있는 화상회의 플랫폼을 개발하기로 했고, Flow chart를 설계했다. 이번에 사용했던 툴은 Draw.io로 공유와 협업에 강점이 있는 툴이다.
WECO FlowchartGoogle Hangout을 레퍼런스로 참고하여 작성하였고, 사용자가 쉽게 화상회의에 접속하고 사용할 수 있도록 주요 기능을 살리되 심플한 단계로 설계했다.
이렇게 설계된 플로우 차트를 기준으로 개발 파트에서는 프런트, 백엔드로 나뉘어 개발을 시작했다. 이번 해커톤에서 Microsoft가 강조한 Responsible AI 말고도 고려해야 할 한 가지 사항이 더 있었는데, 바로 Microsoft Azure에서 서비스하고 있는 기능 중 1가지 이상 활용해 개발하는 것이다.
Microsoft Azure는 클라우딩 컴퓨팅 플랫폼 서비스로 빠르게 애플리케이션을 개발할 수 있다. 그들은 AI, 클라우드 마이그레이션, 블록체인, IOT, 거버넌스 그리고 다양한 산업 솔루션을 제공하고 있다. 또한 개발자는 자신이 사용하는 주 언어(JS, JAVA, Python 등)를 활용해 개발할 수 있다.
그들은 이번 해커톤에서 Aizure Prize를 애저의 기술을 가장 잘 활용한 팀에게 수여하기로 했다. 그들이 주장하는 필수 요건과 기준은 5가지였다.
Azure Prize criteria프로젝트가 명확한 니즈, 문제 또는 기회를 다루고 있으며 해결책이 명확하게 설명되어 있는가? (10점)
프로젝트가 애저를 사용하고 기술 설계 및 서비스 구현(예: 인지 서비스, 머신러닝) 또는 사용자 경험의 혁신을 포함하고 있는가? (20점)
프로젝트는 명확한 목표 시장이나 사용자가 있는가? (5점)
프로젝트의 목적과 기본 기능을 쉽게 이해할 수 있는가? (5점)
프로젝트는 성능, 사용자 인터페이스, 비주얼, 사용자 측면에서 전문적인 수준으로 제작하는가? (10점)
위의 5가지를 기준으로 평가하고 점수로 환산해 가장 기준에 부합하는 팀이 이기는 방식이었다. 우리는 최대한 기준에 맞춰 서비스를 개발하려고 노력했다. 세션 중간에 마이크로소프트를 담당하고 있는 멘토 Lan에게 우리의 아이디어를 멘토링 받을 수 있는 기회가 있었다. 팀에서 1명만 참여할 수 있었고, 개발자 Tim님이 대표로 멘토링을 받았다. 총 10가지의 질의응답으로 컨펌을 받을 수 있었다.
Microsoft Mentor Session급하게 작성한 게 느껴지는 Tim님의 요약본이다.(ㅋㅋㅋ) 전체적으로 우리의 아이디어는 이번 Microsoft에서 다루는 사항들과 Responsible AI에 적합하다는 의견을 받았다. Transcript 저장 기능으로 걱정이 되었던 프라이버시 문제도 해결할 수 있는 방법에 대해 설명해주셨고, 이미 잘 풀어나가고 있기 때문에 문제가 될 것은 없다고 하셨다고 한다.
그렇게 우리는 Lan으로부터 좋은 반응을 얻었고, 더욱 이 프로젝트에 열정적으로 임할 수 있었다. 나는 작성된 플로우 차트를 기준으로 와이어프레임을 그레이 스케일로 설계하기 시작했다.
해커톤 특성상 24시간 안에 빠르게 프로젝트를 완성해야 하기 때문에 디테일한 부분(타입 페이스, 색상, 아이콘, 이미지, 레이아웃 등)에 집착해 전체적인 흐름을 망칠 수 없었다. 오직 사용자 경험과 인터페이스에 집중해서 디자인했다.
WECO Wireframe - Grayscale또한 개발자와의 협업과 작업 효율성을 위해 HTML 코드로 임베드된 아이콘을 사용했고, 이미지는 내가 평소에 잘 활용하고 있던 Figma Plugins에서 Content Reel을 사용해 빠르게 와이어프레임을 설계했다. 설계 전에 Dyno님의 전체적인 가이드 덕분에 더 효율적으로 작업에 몰두할 수 있었다.
WECO Prototype메인 비디오에 사용한 색상 코드를 전달받았고, 그레이 스케일 위에 색을 입혀 본격적으로 프로토타입을 설계하기 시작했다. 사실 중간에 더 과정이 많았지만 현재는 최종 작업물만 남아있어서 아쉽게도 공유가 불가능하다.
프로토타입을 설계하는 중에 개발 파트에서 시간 안에 완벽한 데모를 구현할 수 없다는 이야기를 들었고, 플랜 B인 최대한 데모에 가까운 프로토타입을 구현하기로 했다.
디자인 파트에서 Dyno님은 Transcript의 주 기능인 Voice to Text, Text to Voice를 사용하는 과정을 After Effects를 사용해서 만들기로 했고, 나는 프로토타입의 전체적인 유저 플로우를 보여줄 수 있는 인터렉션을 Protopie를 사용해서 제작하기 시작했다.
WECO Prototype프로토타입의 전체적인 흐름을 명확하게 보여줘야 하기 때문에(딱 봐도 엄청난 트리거의 양... 밑에 3배 더 있음) 생각보다 꽤 많은 시간이 소요되었다. 중간에 피그마로 수정할 부분이 많아 계속 업데이트하는 과정에서 약간의 현기증이 났다.
디자인에 집중하는 시간 동안 개발 파트에서는 웹 소켓이 정상적으로 작동되지 않아 백엔드에서 애를 먹고 있는 상황이었다. 또한 프런트엔드와 백엔드의 연결이 쉽지 않았다고 한다.
결국 프로토타입은 새벽 5시가 되어서야 마무리할 수 있었고, 디자이너와 개발자 모두 지쳐있는 상황이었다. 우리는 무리하지 않고 아침 11시쯤 다시 모이기로 했다.
이렇게 DAY 2는 정신없이 마무리되었다. 마지막 날인 DAY 3에서는 프로젝트 기획안과 완성된 프로토타입 그리고 트랙 우승, 파이널 챔피언 수상에 대해 이어지는 다음 글로 작성할 예정이다.
참고 자료
https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6
https://azure.microsoft.com/ko-kr/services/cognitive-services/
함께 보면 좋은 글
https://brunch.co.kr/@whddnjs761/16
