끝없이 나아가는 테스팅 트렌드(2024베스트콘pt.2)
2024 Better Software Coference
어느덧 2024 베스트콘이 지난 지 2주 정도가 되었네요.
자사 솔루션 홍보와 맛있는 저녁(..)을 위해 참여했던 베스트콘에서
그 이상의 많은 것들을 경험해 버린 거 같아요..! ㅎㅎ
이전 글에 이어서 소개해드리고 싶은 게 아직 많은데 한번 보실까요?
LLM 안전성 테스팅 동향- 한국정보통신기술협회
해당 세션에서는 AI와 관련된 글로벌 표준과 지원 전략등을 소개해주셨어요
전달받은 동향을 조금 살펴보면, AI 적용의 일상화를 위해 많은 기업, 협회들이 참여하고 있다고 합니다..!
사기업 자가검증 환경 구축이나 운영을 적극 지원하고
민간자율 신뢰성 인증 제도(CAT 등)를 보급화하여 기업 홍보와 확산에 크게 지원하는 등의 노력도 기울이고 있죠.
추가로 범용 AI가 늘어나고 있는 추세에 맞춰 범용 AI(AGI) 위험관리 방안 연구를 지속하고
TTA PG 1005(인공지능 기반기술서)를 제정하는 등
글로벌 정책/기술 논의와 해외 최신 연구등을 많이 소개해주셨습니다...!
사실 우리나라 말고도 AI 검증은 어디든 필요성을 인지하고 있는 거 같아요.
예전에 각종 해외 컨퍼런스들을 조사한 적이 있는데, AI 검증 서비스가 생각보다 정말 정말 많더라구요
시대의 흐름을 놓치지 않고 따라가기 위함이겠죠?
RESORT 펌웨어 테스트
http://www.soft4soft.com/main/product.php?gMenu=201
펌웨어, 들어보신 적 있으실 거예요
저는 윈도우 삭제, 설치 시에 보던 용어라 약간 친숙한 거 같기도 합니다!
펌웨어는 하드웨어 장치에 내장된 소프트웨어인데요, 저장공간이 상당이 작고 제한적이라서 소프트웨어보다는 협소한 느낌이 들기도 하죠.
그치만! 놀라운 사실은 칩 프로세서로써 TV, 세탁기, 냉장고 등의 유형으로 우리가 생각하는 것보다 더
많이 중요한 역할 기능을 담당하고 있습니다!
컴퓨터에서는 하드웨어와 운영체제 사이에 있는 소프트웨어로, 운영체제 설치를 위한 발사대(...) 정도의 역할을 합니다. 더 많은 역할이 있을 수도 있으나 전문가가 아니라서 잘...ㅎㅎ
이 세상은 운영체제만 알아주지...
그치만 이 펌웨어가 개발이 힘들고, 오래 걸리고 전문가가 많이 부족하다고 하네요..!
검증작업이 정말 중요해 보입니다..!
펌웨어는 보통 하드웨어 장치를 제조업체에서 설치하고 업데이트하는데,
펌웨어 테스팅은 하드웨어와 스프트웨어 둘 다 검증하는 프로세스입니다.
RESORT 검증 솔루션은 임베디드 펌웨어 테스트 도구로서 펌웨어 테스팅을 진행하는데요
검증 진행 과정은 펌웨어 통합환경 테스트(SW+HW+UART)와 펌웨어 시뮬레이션 테스트 (only Program)를 통해 진행합니다!
CPU 실행 작동 기반 Statement, Branch, MC/DC Coverage를 분석하고
도구가 제공하는 가상 테스트 환경에서 테스트 케이스를 작성하여
펌웨어의 코드 검증을 진행할 수 있다고 알려주셨어요!
음... 설명보다는 단어 그대로 받아들이는 게 이해가 쉬울 거 같은 느낌인데요?
통합환경 테스트라면, SW와 HW가 정상적으로 상호작용하는지 검증하는 활동이고,
Statement는 상태, Branch는 가지 또는 분기점, MC/DC Coverage에서 MC/DC는 개별 조건식에 따른
결과 수행률을 만족하는 Coverage(커버리지)라는 것을 찾아볼 수 있죠.
사실 RESORT의 이론적인 개념보다는, 소프트웨어와 더불어 펌웨어를 타깃으로 하는 비즈니스 모델이 참신하고 좋아 보여서 관심이 갔었어요
흥미로운 게 이것뿐이었을까요? 베스트콘 마지막 세션도 남아있답니다!
VUX 자동화
http://www.tbell.co.kr/testops
여러분, ARS 상담 많이 해보셨나요?
상담원 특유의 기계미(?)가 돋보이는 목소리가 들리죠 ㅎㅎ
이 음성테스트마저도 자동화할 수 있어요(!)
좀 더 정확히 말하면 AI 보이스 테스트 자동화죠!
VUX(Voice User Experience) 기반 AI Contact Center 서비스입니다!
VUX 자동화는 '말로 하는 AI상담’ 진행 중 발생 가능한 고객 발화를 수집하고,
발화에 따른 시나리오 동작을 분석하여 음성 서비스 Full Test 검증 수행 시 소요되는 리소스(인력, 시간)의 한계를 극복하는 데 도움을 주는 도구입니다..!
아키텍처, 펌웨어에 이어 음성까지..!
재밌는 테스트 과정을 좀 더 짚어보면
1. 음성 발화 인식을 통해 공통 Flow, 공통 Prompt 및 상담 영역별 검증 내용을 분석
2. ‘말로 하는 AI상담’ Full TC 분석 및 검증/응답 유형별 TC 분류 및 선별
3. 시나리오 스텝 스크립트 개발 및 데이터 연동을 통한 실사용 검증 시나리오 동적 생성
4. CI/CD 환경 구축을 통한 검증 자동화 프로세스 구축
5. Jira Test Plan 이슈에 검증 결과 리포팅, 이슈 자동 생성
많은 테스트자동화 솔루션 중에서도 발화 인식과 이슈 등록까지, 매끄러움이 정상급이라는 생각이 들어요. :)
발화 수신 시 자연어 처리(NLP) 기능까지 포함되어 상당히 복합적인 업무작용이 일어나기에, 데이터 정확도가 중요하다고 생각되는데요
이는 AUX 케이블 이용을 통해 Audio Stream 전송을 통한 안정적인 Voice 검증을 도모하고,
실제 발화 및 응답 음성(Voice) 기반 검증 자동화 구축을 진행한다고 설명하셨습니다..!
더 나아가 TTS/STT 기술을 통한 시나리오 스템 검증과 까지 추가로 들어가니, AI보이스 테스트 자동화 구축 최고봉이라고 할 수 있겠네요!
테스트자동화(링크 참고)저까지 으쓱해지는 기분이 드는군요 ( ͈ര ̫ര ͈)
현장 분위기도 좋고, 사람들도 많이 있어서 즐기다가 온 기분이 들었습니다..!
베스트콘 내에서 진행되는 세션 전부 알차고 의미 있어서 많은 분들이 놓치지 않으셨길 바라요!
다음에 개최되는 베스트콘 컨퍼런스에도 많은 관심 부탁드립니다~
추가로 제 게시글도 많관부
