04/01(화)요구사항 정의 / 데이터 흐름 DXD
AI 서비스 기획 공부
내 생각
AI 공부하는 거 중요하긴 한데
지금 상황에서는 서비스에 대한 경험이 먼저인 것 같다.
교육을 잘 마치는 게 끝이 아니라
더 나아가서 난 어떤 전문가가 될 것인지가 중요하다.
남은 시간을 어떻게 사용할 것인가?
힌트는 그간의 시간에 있지 않나?
PM/서비스 기획에 대한 성장은 부트캠프로 이루어나가고 있으니
개인적으로는 세부적인 스킬링을 해야겠다는 생각이 들었다.
플러스 영어..
물리적으로 해야 할 일도 많고 (예를 들면 복습)
"해야 할 것 같은" 일들도 많으니까
약간 어지럽달까
확실히 UX/UI 부분 들어가니 새로운 내용이 많아서인 것 같기도하다.
근데 경험상 할 일도 많고, 해야 할 것 같은 일도 많을 때는
할 일을 먼저 하는 게 맞더라.
그럼 내가 해야 하는 일은 뭘까?
중요한 일이자 급한 일이 자꾸 밀리는 것 같다.
오늘은 우선 일정맞춰 예약부터하고, 목 휴강 때 선물을 사야겠다.
항상 9 to 6 수업을 듣다 보니
나 혼자 내용을 씹어먹을 수 있는 시간이 부족하다. 알바가 끝났으니까 이제 주말이 그 시간이 되면 될 것 같긴 한데
내가 온전히 쓸 수 있는 시간은 수업 전 한 시간,
저녁먹고 8:30 - 1:00인 것 같다 (제정신 기준)
대략 다섯시간 정도인데 그 중 한시간 영어로 빼면 네 시간이구..
한 시간 이력 위한 자가 정리 시간으로 빼면 세 시간,,
운동 시간 한 시간 빼면 두 시간,,
복습 두시간, 해야 할 것 같다.
그럼 ai 공부, 회사 서치, 파이썬 공부는 주말로 돌려야 한다.
중요도와 급함 정도를 고려하면 그렇다.
근데 맞다.
ai랑 파이썬 공부도 사실은 수업 내용에서 뭔가 파생되어서 내가 공부하는 영역이기에
일단 수업을 씹어 먹는 게 맞다.
아쉽지만 주말에 하자..
나는 매번 어리다..
어리고, 전문적이지 못하다..
나는 언제 전문성을 갖출까?
1. 요구사항 정의
1) 수집
이력서 훑어볼 수 있는 시간을 벌기 위해 자기 소개 시키는 것!
후속 질문은 자기소개에서 나옴.
비전공인 거 제발 언급하지 말기 비전공인 거 언급하기 시작하면 후속질문이 계속 따라다님
내 강점에 대해서 언급을 하기 시작해라
-> 아이스 브레이킹 중요!
기획 모든 과정에서도 항상 중요함.
데이터 분석 도구, 오렌지, POWER BI 같은 도구들이 필요한 이유가
고객 클러스터링을 통해 조금 더 자세한 데이터 인사이트를 얻는데
좋은 도구가 될 수 있기 때문이다.
데이터 분석 기본
PYTHON : 정제 PANDAS, 시각화 MATPLOTLIB, SEABORN
TABLEAU : 노코드
코드로 경험해보는 게 더 좋음
단점 : 무엇이 일어났는지는 보여주지만, 왜 그런지 설명은 못함.
분석된 결과로 인사이트 얻는 게 더 중요함.
EDA - 탐색적 데이터 분석 (인사이트 얻어나가는 전반적 과정)
2) 문서화
문서화되어있지 않으면 프로젝트는 실패한다!!
프로젝트 범위, 목표, 기대치 구체화
범위를 구체화하지 않으면 프로젝트는 자꾸만 커짐.
PM 가장 중요한 역할
프로젝트 팀과 이해관계자 간 공통된 목표와 기대치를 설정하는 거!
데이터 파이프라인 명확히 정의
명확한 키워드로 정리
#JSON 개념
JSON
: JavaScriptObjectNotation = 자바스크립트 객체 표기법
백-프론트 간 통신 프로토콜
var obj = {객체}
{
key: value,
key2: value
}
XML 보다 중복이 적다.
최근에 JSON형태로 결과를 응답해준다.
# XML 개념
: Extention Markup Language = 확장된 태그 언어
<key>value</key>
ex)
<name>홍길동</name> front-end
"AWS S3에 JSON형식으로 올린다.
=> 해석 : JSON 형식으로 된 파일을 구글드라이브 같은 곳에 올려놓는구나
요구사항 명세 - 엑셀로 많이 만듦. (히스토리 관리해야 해서 - 변경 사유 관리 필요)
버전관리를 하게 됨. 아무나 변경할 수 있는 곳에서 진행하면 안됨.
PM의 일방적 요구사항 변경 => 팀원이 떠남
의사소통 프로세스를 만드는 것도 PM의 역할 (커뮤니케이션 채널 관리)
프로젝트 진행 상황 추적 가능 (요구사항 추적 메트릭스)
#문서화 도구
데이터 흐름 및 파이프라인 시각화 : LUCIDCHART, DRAW.IO
데이터 파이프라인 설계 및 문서화 : CONFLUENCE (노션이 대체 가능)
WBS 워터폴
JIRA/TRELLO 애자일
팀원 분 중 한 분이 SI PM 출신이셨는데
왜 자꾸 WBS로 하시려고 했는지 이해함.
우선순위 정하는 기준을 정해두는 게 좋음
가이드라인을 제시해야 함
의견통합이 힘들기 때문
데이터 랩
유행 키워드 알아보기 좋음
데이터 파이프라인 흐름 잡기
수집>전처리>학습>배포
# 배치 개념
대량 데이터 일괄처리 위해 만든 서브 시스템
로드>가공>적재
사용자 요청 OR 스케줄에 의해 동작함.
#라벨링 개념
데이터에 정답을 부여하는 행위
라벨링은 크라우드 소싱으로 많이 이루어짐.
라우드 소싱
소프트웨어의 핵심 가치
1. 돌아가야 한다. (고객이 요구한대로)
2. 잘 돌아가야 한다.
돌아가는 것을 잘 돌아가게 고려하는 거지
처음부터 잘 돌아가도록 하는 것을 고려하지는 않는다.
"은총알은 없다. (한 방에 완벽히 설계할 수는 없다.)"
예측할 수도 없다. 모든 경우의 수를 고려해서는 시스템을 만들 수 없다.
# AI에서 AB 테스트 개념
로드밸런서가 트래픽 나누어줌
A,B 점진적으로 비율 나눠보면서 배포해봄
=> 보고서를 보고 결정함.
A,B테스트를 통해 입증하지 못하면 AI 팀은 살아남지 못함.
수집-> 전처리-> AI 모델 학습-> 예측 및 추론 -> 결과 제공 프로세스 거침
ㄱ. 데이터 흐름 설계
1. 데이터 수집
1) 구조화된 데이터 -> RDBMS(관계형 DB)
2) 비구조화된 데이터 -> NoSQL
3) 실시간 스트리밍 데이터 : IoT 센서 데이터, 실시간 로그 등
#실시간 데이터 = 청크 단위로 쪼개진 데이터 (하나하나 봐서는 알 수 없음, 헤드에 처음과 끝 정보 기록)
2. 데이터 전처리 (70~90%차지할 만큼 오래걸리는 작업)
AI에 넣을 수 있게 데이터를 가공하는 것
3. 모델 학습
1) 지도학습 : 레이블 있는 (예측)
2) 비지도 학습 : 패턴 학습 (이상 탐지)
3) 강화 학습 : 보상 기반 (자율주행)
=> 테스트
4. 예측 및 추론
5. .결과 제공 및 피드백 반영 (후처리 후)
#DFD
: 비즈니스 프로세스, 정보 시스템에서 데이터가 어떻게 흐르는지 ㅍ현
모든 액션이 일어나는 것은 기능
기본 셋팅이 되어있는 것은 비기능으로 보자..
