AI의 신뢰성에 관한 간단한 산수
AI가 주어진 질문에 99.9% 확률로 가장 정확한 다음 토큰을 찾아낸다면
백단어(토큰) 짜리 답변에 틀린 곳이 없을 확률은 90.48%
5백 단어(토큰) 짜리 답변에 틀린 곳이 없을 확률은 60.64%
천 단어(토큰) 짜리 답변에 틀린 곳이 없을 확률은 36.77%
2천 단어(토큰) 짜리 답변에 틀린 곳이 없을 확률은 13.52%
AI 만들어낸 답변을 처음부터 끝까지 집중하면서 읽어나가면서 틀린 곳을 정확하게 찾아내 고쳐서 사용할 수 없는 사람이, (즉 그 분야에 시니어급 전문가이면서 AI답변을 절대 신뢰하지 않는 사람을 제외한 모든 사람이,)
AI를 이용해 만든 결과물은 “(힌트없는) 지뢰찾기” 그 이상도 이하도 아닙니다…
좀 더 쉽게 말해 AI에게 특정 주제를 던져주고 “장문의 보고서”를 작성하게 한 뒤에 이를 검토 없이 그대로 복사해서 사용하는 사람은 강심장 도박사이거나, 영혼이 아주 순수한 사람입니다…
PS: 이런 AI기반의 두뇌를 담은 로봇에게 장시간 수(십)만 단계의 오류 없는 작업의 총합이라고 할 수 있는 “외과 수술”을 완전히 맡기고 사람은 다른 일을 하자고 주장하는 사람이 한 사람 있는 것 같았는데…..
추가 : AI를 가장 신뢰성 있게 사용하는 방법!!
“내 질문에 토 달지 말고 네/아니요 만 말해”
해당 질문에는 99.9% 정확한 답변을 얻을 수 있습니다.
단 이렇게 단답형 질문을 천 번 물어봤다면 천 번 모두 정답이었을 확률은 36.77%입니다…