AI에게 제대로 묻는 질문의 힘

원인을 분석하는 기술 Part.2 | EP.1

by 인력경영학자 이윤선

Aug 9. 2025

질문 설계의 핵심은 단순히 “더 많이 물어보기”가 아니다.
한 번 물어도 ‘좋은 질문’을 해야 한다는 데 있다.

Part 1. 문제를 발견하는 눈 기르기(6회)

Part 2. 원인을 분석하는 기술(1/8회차)

Part 3. 해결책을 만들고 실행하기(8회)

Part 4. 나만의 문제해결 습관 만들기(6회)

8화. AI에게 제대로 묻는 질문의 힘

답을 얻으려면, 먼저 질문을 바꿔야 한다

요즘은 AI를 쓰는 것이 특별한 일이 아니게 됐다. 업무 보고서를 준비할 때도, 여행 계획을 세울 때도, 심지어 저녁 메뉴를 정할 때도 AI를 열어 본다. 하지만 그만큼 이런 불만도 자주 들린다.
“뭐야, 별로 쓸만한 게 없네.”
“다 아는 얘기만 해 주네.”
“생각보다 똑똑하지 않네.”

이런 반응은 AI를 한 번이라도 써 본 사람이라면 누구나 느껴봤을 것이다. 그런데 조금만 시선을 돌려 보면, 이건 AI의 ‘능력’ 문제가 아니라, 우리가 던진 질문의 질 문제일 때가 많다.

한 번 상상해 보자. 누군가 당신에게 와서 “좋은 책 추천해 줘”라고 말한다. 그러면 어떤 책을 추천해야 할까? 장르도, 길이도, 언어도, 심지어 종이책인지 전자책인지도 모른다. 그러니 당신은 그냥 “요즘 인기 있는 책”이나 “내가 좋아하는 책”을 하나 건넬 수밖에 없다. AI도 똑같다. 정보와 지식은 풍부하지만, 질문이 추상적이면 그 안에서만 머문다.

실제로 한 마케터가 이런 경험을 했다. 새로운 캠페인 아이디어가 필요해 AI에게 “마케팅 아이디어 줘”라고 물었더니, ‘SNS 활용하기’, ‘이벤트 진행하기’ 같은 평범한 답변만 돌아왔다. 그런데 질문을 이렇게 바꿨다.

“20대 여성을 대상으로, SNS를 통해, 2주 안에 실행 가능하고, 예산 10만 원 이하인 마케팅 아이디어 5개를 제안해 줘.”

이번엔 전혀 다른 결과가 나왔다. 특정 플랫폼별 맞춤형 콘텐츠 아이디어, 기간과 예산에 맞는 실행 플랜, 예상 반응 분석까지 제시됐다. 단지 조건을 구체화했을 뿐인데 답변의 수준이 확 달라진 것이다.

AI는 마치 고성능 카메라와도 같다. 그냥 셔터만 누르면 그저 그런 사진이 찍히지만, 조리개, 셔터 속도, ISO를 조절하면 전혀 다른 결과물이 나온다. AI에게서 원하는 답을 얻고 싶다면, 질문이라는 렌즈를 제대로 세팅해야 한다.

이 회차에서는 AI에게 어떻게 질문해야 원하는 답을 얻을 수 있는지, 질문을 설계하는 구체적인 방법과 사례를 이야기한다. 생활 속의 작은 결정부터 조직의 중요한 프로젝트까지, AI를 ‘예측 가능한 성과 도구’로 만들려면 이 ‘질문의 기술’이 필수다.

1. 생활 사례 – 여행 계획 세우기

친구와 주말에 잠깐 여행을 가기로 했다. 바쁜 일상 속에서 간만에 맞춘 시간이라, 장소를 고르는 것부터 설레는 마음이 앞섰다. 그런데 막상 어디로 갈지 정하려니 고민이 시작됐다. “서울에서 너무 멀면 힘들고… 그렇다고 너무 가까우면 여행 기분이 안 나고… 뭘 먹어야 하지? 어디를 돌아다닐까?” 머릿속에서만 맴돌다가 결국 AI를 켰다.

“주말에 어디 가면 좋을까?”
처음 던진 질문은 이 한 줄이었다. AI는 빠르게 여러 지역을 추천했다. 강릉, 전주, 부산, 속초, 여수… 듣기만 해도 좋은 곳들이지만, 문제는 ‘지금 내 상황’과는 거리가 있었다. 부산이나 여수는 가는 데만 시간이 많이 걸리고, 전주는 가봤고, 강릉은 비 예보가 있었다. 이렇게 보니, AI가 추천한 리스트는 나쁘지 않지만 내 조건과는 맞지 않았다.

그래서 질문을 바꾸기 시작했다.

“서울에서 1~2시간 안에 갈 수 있는, 대중교통 이용이 가능한 여행지를 추천해 줘. 1박 2일 일정이고, 자연 풍경과 맛집이 있는 곳이면 좋겠어. 예산은 1인당 20만 원 이하야.”

이렇게 물으니 결과가 확 달라졌다. 가평, 춘천, 양평 같은 구체적인 지역이 나왔고, 기차나 버스 시간표까지 정리해 주었다. 심지어 “첫날 오전에 도착하면 강촌역 근처 자전거 대여 후 북한강 자전거길을 달리고, 오후에는 남이섬을 둘러본 뒤 숙소에서 바비큐를 즐길 것” 같은 일정표까지 제시했다. 숙소 후보 3곳과 저녁, 아침 식사 장소 추천까지 덧붙여 줬다.

여기서 느낀 건 단순하다. AI는 내가 주는 ‘조건’과 ‘맥락’을 바탕으로 결과를 만든다는 것이다. 처음처럼 막연히 물으면 AI도 막연하게 답하고, 구체적으로 물으면 그 틀에 맞춰 답한다. 즉, 질문의 ‘정밀도’가 결과물의 ‘정밀도’를 결정한다.

실제로 여행 계획에서 AI가 주는 가치는 단순한 장소 추천이 아니다. 교통편, 시간표, 동선, 비용, 날씨까지 종합적으로 고려해 일정표를 짜 주는 ‘맞춤형 컨시어지’ 역할을 한다. 하지만 이 기능이 100% 발휘되려면 내가 원하는 여행의 그림을 구체적으로 그려서 질문해야 한다.

이 사례를 친구에게 얘기했더니, “야, 너는 AI를 사람처럼 대하네”라고 했다. 그렇다. 나는 AI를 사람처럼, 아니 오히려 훨씬 더 꼼꼼한 비서처럼 대한다. 사람에게 ‘여행 어디 가면 좋을까?’라고 물어도 “그건 네가 뭘 좋아하느냐에 따라 다르지”라는 대답이 돌아온다. AI도 마찬가지다. 대신 AI는 한 번의 질문에도 내가 원하는 모든 조건을 넣을 수 있고, 그 조건을 바탕으로 수십 개의 변수를 동시에 계산해 준다.

여행이라는 작은 상황에서도 AI와의 대화 방식은 이렇게 성과를 좌우한다. 내가 원하는 답을 얻으려면, 내가 원하는 것을 명확히 알고, 그것을 질문 속에 녹여야 한다는 교훈을 이때 제대로 느꼈다.

2. 조직 사례 – 신규 제품 아이디어 회의

한 중소 가전제품 회사의 마케팅팀은 매년 상반기와 하반기에 ‘신제품 아이디어 회의’를 연다. 팀장 김현수는 이번에도 회의 날짜를 잡고 팀원들에게 준비를 부탁했다. 목표는 단순했다. “다음 분기 출시할 수 있는 소형 가전제품 아이디어 10개 발굴.”

회의 당일, 팀원들은 각자 메모를 들고 들어왔다. 그런데 분위기가 심상치 않았다. 발표가 시작되자마자 비슷한 아이디어가 반복됐다.
“미니 공기청정기요.”
“휴대용 가습기요.”
“무선 선풍기는 어때요?”

팀장은 속으로 한숨을 쉬었다. 이미 시장에 넘쳐나는 제품들, 그리고 작년에 논의했다가 포기한 아이디어까지 재탕되고 있었다. “이렇게 하면 신제품 경쟁력이 떨어지는데…”라는 생각이 들었지만, 팀원들도 딱히 더 나은 걸 내놓지 못했다. 결국 회의는 ‘다음 주에 아이디어를 다시 가져오자’로 끝났다.

이때 한 팀원이 제안했다. “다음 회의 전에 AI한테도 한 번 물어보면 어떨까요?” 처음엔 다들 시큰둥했지만, 어차피 아이디어가 부족하니 시도해 보기로 했다.

문제는 질문이었다. 첫 시도는 이렇게 시작됐다.

“신규 가전제품 아이디어 추천해 줘.”

AI는 10개의 아이디어를 순식간에 나열했다. 하지만 회의 때 나왔던 내용과 크게 다르지 않았다. 무선 청소기, 공기청정기, 스마트 조명 등 이미 흔한 제품들. 팀원들은 “역시 AI도 별 거 없네”라며 고개를 저었다.

그러나 한 엔지니어가 말을 꺼냈다. “질문을 좀 더 구체적으로 해 보죠. 우리 회사 자원과 목표를 넣어서.” 그래서 질문을 이렇게 바꿨다.

“우리는 30~40대 맞벌이 부부를 주요 고객으로 하는 중소 가전업체입니다. 예산은 5천만 원 이하의 개발비로 6개월 안에 출시 가능한 제품이 필요합니다. 주방이나 거실에서 쓸 수 있는 소형 가전으로, 경쟁사 제품과 차별화할 수 있는 아이디어를 10개 제시해 주세요.”

이번엔 결과가 달랐다. AI는 1차 아이디어뿐만 아니라, 각 아이디어의 차별 포인트와 예상 소비자 반응, 그리고 예상 제작 난이도까지 정리했다. 예를 들어 ‘아침 자동 도시락 제조기’라는 아이디어에는 “맞벌이 부부의 아침 식사 준비 시간을 절반으로 줄여 줌”이라는 가치를 덧붙였고, “시장에 유사 제품이 적어 진입 경쟁이 낮다”는 분석까지 포함했다.

팀은 이 데이터를 기반으로 세 가지 후보를 선정해 다음 회의에서 집중 논의했다. 무엇보다 AI의 제안이 단순 나열이 아니라, 조건에 맞춘 전략적 아이디어였기 때문에 실제 실행 가능성이 높았다.

이 경험 이후, 팀원들은 AI를 ‘아이디어 자동 생성기’가 아니라 ‘아이디어 협력자’로 보기 시작했다. 특히 AI에게 질문을 던질 때 목표, 조건, 제약, 차별화 포인트를 함께 넣으면 결과의 질이 확연히 달라진다는 사실을 깨달았다.

3. 중간 해설 – 질문 설계의 핵심 요소

앞서 여행 계획과 신제품 회의 두 가지 사례를 보면, 결과를 좌우한 건 AI의 능력이 아니라 질문 설계의 정밀도였다. AI는 마치 거대한 도서관과 슈퍼컴퓨터를 합쳐 놓은 존재다. 하지만 그 도서관에서 어떤 책을 꺼내야 할지, 그 슈퍼컴퓨터에 어떤 연산을 시킬지는 전적으로 질문하는 사람의 몫이다.

질문 설계의 핵심은 단순히 “더 많이 물어보기”가 아니다. 한 번 물어도 ‘좋은 질문’을 해야 한다는 데 있다. 좋은 질문이란, AI가 ‘맥락’을 이해하고 ‘조건’에 맞춘 답을 줄 수 있게 만드는 질문이다. 이를 위해 다음 네 가지 요소를 기억해 두면 좋다.

1. 목표(Goal)를 명확히 하기

왜 묻는가를 스스로 알고 있어야 한다.

“신규 가전제품 아이디어 추천”은 목표가 막연하다. 반면 “6개월 안에 출시할, 맞벌이 부부를 위한 소형 가전제품 아이디어”는 목표가 분명하다.

목표가 명확하면 AI의 검색·분석 범위가 좁아져서 결과가 더 구체적이고 실행 가능해진다.

2. 조건(Constraints)을 구체적으로 제시하기

시간, 예산, 대상, 장소, 환경 등 실제 상황에 맞는 조건을 넣는다.

여행 사례에서 “서울에서 1~2시간 거리, 대중교통 가능, 예산 20만 원 이하”라는 조건이 없었다면, AI는 멀리 떨어진 여행지도 추천했을 것이다.

조건은 ‘필터’ 역할을 해서 AI의 결과물에서 불필요한 부분을 걸러 준다.

3. 맥락(Context)을 제공하기

내가 처한 상황과 배경을 AI가 이해하도록 설명한다.

“중소 가전업체”라는 말 한마디만 넣어도 AI는 대기업 수준의 대규모 개발 아이디어가 아니라 현실적인 제안을 한다.

맥락은 AI의 정보 해석 방향을 결정짓는 나침반이다.

4. 기대 결과(Expected Output) 형태를 지정하기

단순 나열인지, 순위 매김인지, 장단점 비교인지, 실행 계획인지 원하는 형식을 미리 말한다.

“아이디어 10개를 장점·단점·예상 소비자 반응과 함께 표로 정리해 달라”라고 하면 AI는 자동으로 그 형식에 맞춘다.

이렇게 하면 추가 수정이나 재질문 횟수를 줄일 수 있다.

이 네 가지 요소는 각각 독립적으로도 중요하지만, 함께 쓰일 때 시너지가 커진다.
목표가 명확하면 조건을 설정하기 쉽고, 조건이 구체적이면 맥락을 드러내기 수월하다. 맥락이 분명하면 기대 결과를 정의하는 과정도 자연스럽게 이어진다.

즉, AI에게서 ‘원하는 답’을 얻는 과정은 AI를 ‘시험’하는 게 아니라 내가 스스로 원하는 것을 얼마나 잘 정의하느냐에 달려 있다.
좋은 질문은 AI를 더 똑똑하게 만들지 않는다. 좋은 질문은 나를 더 똑똑하게 만든다.

4. 실습 프롬프트 – AI에게 잘 묻는 질문 훈련하기

아래는 이번 회차에서 배운 목표·조건·맥락·기대 결과를 모두 반영해 AI 질문을 설계하는 실습이다.
목표는 단순히 한 번 질문하고 답을 받는 데서 끝나는 게 아니라, 질문을 개선하면서 결과의 질이 어떻게 변하는지 체감하는 것이다.

Step 1. 주제 선택

생활 또는 조직 상황에서 해결하고 싶은 문제나 하고 싶은 일을 하나 고른다.

예시

- 생활: 주말에 부모님과 함께 갈 수 있는 소풍 장소 찾기

- 조직: 사내 동호회 신규 회원 모집 홍보 아이디어 만들기

Step 2. 첫 질문 던지기

아무런 조건 없이, 가장 단순하게 AI에게 질문한다.

예시

“서울에서 주말 소풍 갈 만한 곳 추천해 줘.”
“신규 회원 모집 홍보 아이디어 알려줘.”

Step 3. 결과 분석

AI가 내놓은 답에서 마음에 드는 점, 아쉬운 점을 체크한다.

불필요하거나 실행 불가능한 제안이 있다면 표시한다.

Step 4. 질문 개선하기

아래 네 가지 요소를 반영해 질문을 구체화한다.

1. 목표 – 무엇을 위해, 왜 필요한지 명시

2. 조건 – 예산, 시간, 대상, 환경 등의 제한 사항 기입

3. 맥락 – 나 또는 조직의 상황과 배경 설명

4. 기대 결과 – 답변의 형식과 포함해야 할 정보 지정

예시 개선 질문:

“서울에서 부모님과 함께 갈 수 있는 주말 소풍 장소를 추천해 주세요. 대중교통으로 1시간 반 이내, 예산 1인당 2만 원 이하, 한적하고 쉬운 산책로가 있는 곳으로 5곳만 알려주세요. 각 장소의 특징, 추천 이유, 예상 경비를 표로 정리해 주세요.”

Step 5. 결과 비교

Step 2의 답변과 Step 4의 답변을 비교한다.

얼마나 더 구체적이고 실행 가능한 내용이 나왔는지, 중복이나 불필요한 제안이 줄었는지 확인한다.

Step 6. 반복 훈련

한 번 더 질문을 다듬어 본다.

조건을 바꾸거나, 맥락을 추가하거나, 기대 결과 형식을 변경해 본다.

이렇게 하면 AI가 ‘생각하는 방향’이 어떻게 변하는지 직접 확인할 수 있다.

Tip:

질문은 ‘길이’보다 ‘정확도’가 중요하다.

AI에게 묻는 건 마치 퍼즐 조각을 맞추는 것과 같아서, 내가 원하는 그림을 정확히 묘사할수록 맞는 조각을 더 빨리 찾을 수 있다.

5. 샘플 완성 대화 예시 - 생활 사례 버전

� 상황 설정

목표: 주말에 부모님과 함께 갈 수 있는 소풍 장소 찾기

조건: 대중교통 1시간 반 이내, 예산 1인당 2만 원 이하, 한적한 산책로

맥락: 부모님 모두 70대, 무리한 이동이나 장시간 걷기 어려움

기대 결과: 5곳 추천 + 특징, 추천 이유, 예상 경비를 표로 제공

Step 1. 첫 질문

사용자:
서울에서 주말 소풍 갈 만한 곳 추천해 줘.

AI 답변 예시:

남산공원

한강시민공원

북한산 둘레길

경복궁

청계천

Step 2. 결과 분석

문제점: 너무 일반적이고, 부모님 연령·이동 편의·예산 조건이 반영되지 않음

개선점: 조건과 상황 설명, 결과 형식을 추가해야 함

Step 3. 개선 질문

사용자:
서울에서 부모님(70대)과 함께 갈 수 있는 주말 소풍 장소를 추천해 주세요.

조건은 다음과 같습니다.

대중교통으로 1시간 반 이내 이동 가능

예산은 1인당 2만 원 이하

한적하고 쉬운 산책로가 있는 곳
5곳만 추천하고, 각 장소의 특징, 추천 이유, 예상 경비를 표로 정리해 주세요.

AI 답변 예시:

장소 특징 추천 이유 예상 경비(1인)

북서울 꿈의 숲 대규모 도심공원, 완만한 산책로 사람 적고 자연 경관 좋음 5,000원(교통비)

서울숲 평지 위주 산책로, 꽃과 나무 접근성 좋고 휴식 공간 많음 5,000원(교통비)

어린이대공원 무료 입장, 평탄한 산책길 다양한 식물과 동물 관람 가능 5,000원(교통비)

하늘공원 얕은 오르막, 억새밭 풍경 가을철 특히 경관이 뛰어남 5,000원(교통비)

남산 둘레길(남측) 평지와 경사 혼합 경사가 완만해 노인도 걷기 가능 5,000원(교통비)

Step 4. 결과 비교

첫 질문: 유명 장소 위주, 부모님 연령·편의 고려 부족

개선 질문: 조건·맥락·결과 형식이 모두 반영되어 현실적인 추천 제공

시간 절약, 불필요한 검색 감소, 실행 가능성 ↑

Step 5. 추가 응용

예산을 더 줄이고 싶은 경우: “교통비 3천 원 이하” 추가

활동을 늘리고 싶은 경우: “근처 맛집 2곳도 추천” 추가

날씨 변수 고려: “비 오는 날에도 가능한 실내 소풍 장소”로 변경

� 이렇게 질문을 개선하는 과정을 반복하면, AI는 단순 검색 엔진이 아니라 ‘맞춤형 조언자’로 변한다.
결국 ‘잘 묻는 질문법’은 AI 시대에 문제해결 속도를 높이는 가장 강력한 기술이 된다.

6. 샘플 완성 대화 예시 – 조직 사례 버전

� 상황 설정

목표: 신규 제품 아이디어 회의에서 활용할 콘셉트 5개 도출

조건: 타깃은 20~30대 직장인, 예산은 3개월 내 출시 가능 수준, 경쟁사 대비 차별 포인트 포함

맥락: 최근 매출 하락으로 새로운 시장 진입 필요, 사내 마케팅·디자인팀과 협업 예정

기대 결과: 5개의 콘셉트를 표로 제시하고, 각 콘셉트의 차별성·핵심 기능·예상 개발 기간 포함

Step 1. 첫 질문

사용자:
20~30대 직장인을 위한 신규 제품 아이디어를 추천해 줘.

AI 답변 예시:

스마트 워터병

휴대용 공기청정기

무선 충전 보조배터리

미니 커피머신

온라인 운동 코칭 앱

Step 2. 결과 분석

문제점: 흔하고 이미 시장에 많은 제품, 실행 기간·예산·차별화 요소 반영 없음

개선점: 타깃, 조건, 배경을 구체적으로 제시하고 결과 형식을 표로 요구

Step 3. 개선 질문

사용자:
20~30대 직장인을 위한 신규 제품 아이디어를 제안해 주세요.

조건은 다음과 같습니다.

3개월 이내 출시 가능

개발 예산 5천만 원 이하

경쟁사 제품과 비교해 차별 포인트 포함

사무실·재택근무 환경에서 모두 사용할 수 있는 제품
5개 콘셉트를 표로 제시하고, 각 콘셉트별 차별성·핵심 기능·예상 개발 기간을 포함해 주세요.

AI 답변 예시:

콘셉트명 차별성 핵심 기능 예상 개발 기간

스마트 온도 보온 머그 자동 온도 유지, 모바일 앱 연동 온도 조절·알람·음료량 기록 2개월

무소음 미니 공기청정기 초소형·저소음·USB 전원 개인 데스크 맞춤 공기 정화 2.5개월

휴대용 허리 스트레칭 기기 인체공학 설계, 공간 제약 無 온열·진동·스트레칭 가이드 3개월

업무 집중력 타이머 AI 집중 데이터 분석 작업/휴식 패턴 분석·추천 1.5개월

다기능 책상 오거나이저 무선충전+조명+정리함 통합 전원·조명·저장 기능 일체화 2개월

Step 4. 결과 비교

첫 질문: 아이디어 다양성은 있으나, 차별성·기간·예산 고려 부족

개선 질문: 실현 가능성과 시장성 모두 반영된 구체적 콘셉트 제공

결과가 실행 계획 단계로 바로 연결 가능

Step 5. 응용 확장

출시 기간을 ‘6개월’로 변경하고 더 복잡한 기능 포함

타깃을 ‘프리랜서·크리에이터’로 바꾸어 재질문

경쟁사 3곳의 제품 목록을 AI에 먼저 주고, ‘차별화된 제안’만 뽑도록 요청

� 회의나 프로젝트에서 이렇게 AI 질문을 설계하면, 아이디어 브레인스토밍이 ‘단순 나열’이 아니라 바로 ‘실행 계획 수준’으로 발전한다.
질문을 다듬는 과정이 곧 기획안의 초안이 된다.

7. 회의 실습 시트 – AI에게 잘 묻는 질문법 (조직 사례)

� 1. 기본 정보

회의명: 신규 제품 아이디어 발굴 회의

팀명: __________________________

회의 일시: ______년 ___월 ___일

참석자: __________________________

� 2. 회의 목표

20~30대 직장인을 대상으로, 3개월 이내 출시 가능한 차별화된 제품 아이디어 5개를 도출하고 실행 가능성을 검토한다.

� 3. 1차 질문 & AI 답변 기록

[팀 입력란]

초기 질문:

(예시) 20~30대 직장인을 위한 신규 제품 아이디어를 추천해 줘.

AI 답변:

(여기에 AI가 준 첫 번째 결과를 그대로 붙여넣으세요)

� 4. 1차 결과 분석

장점: __________________________________________

한계: __________________________________________

보완할 조건: ____________________________________

✏ 5. 개선된 질문 설계

[팀 입력란]

개선 질문:

(예시) 20~30대 직장인을 위한 신규 제품 아이디어를 제안해 주세요.
조건은 다음과 같습니다.
- 3개월 이내 출시 가능
- 개발 예산 5천만 원 이하
- 경쟁사 제품과 비교해 차별 포인트 포함
- 사무실·재택근무 환경 모두 사용 가능
5개 콘셉트를 표로 제시하고, 각 콘셉트별 차별성·핵심 기능·예상 개발 기간 포함