AI학습방법의 종류_2
메타학습, 전이학습(fine-tuning)
인공지능과 관련된 정보를 찾다보면, 꽤 많은 종류의 학습이 있어 혼란스러울때가 있습니다.
이전 글에서 공유드렸던 지도학습, 비지도학습, 강화학습(+RLFH)에 이어 메타학습과 전이학습에 대해 공유드리겠습니다.
1. 메타학습(Meta Learning)
#인컨텍스트러닝 #퓨샷러닝 #제로샷러닝 #incontextlearning #fewshotlearning #zeroshotlearning
메타학습은 자신이 아는 것과 모르는 것을 즉각적으로 구별할 수 있는 메타인지에서 시작된 개념입니다. 사람의 경우, 2-3살 아가가 단 몇장의 사진만으로 강아지와 고양이를 구분할 수 있지만, 기존 딥러닝의 경우 대량의 데이터를 학습하고 패턴을 찾아가며 알고리즘을 발전시켰습니다. 수많은 데이터를 학습하지 않고도 어떻게 단 몇장의 사진만으로 강아지와 고양의 차이점을 구분할 수 있을까요?
메타학습은 이처럼 적은양의 데이터와 주어진 환경만으로 스스로 학습하고, 학습과정에서 얻은 정보와 알고리즘을 새로운 문제에 적용하여 해결하는 학습방식으로, 'Learning to learn'(학습하는 방법을 배우는 것)이 목적입니다.
메타학습의 하위분야로는 in-context learning(few-shot learning, one-shot learning, zero-shot learning은 모두 in-context learning의 종류입니다.)이 있습니다.
2. 전이학습(Trasnfer-Learning)
#파인튜닝 #특성추출기 #finetuning #featureexractor
사전에 학습이 되어있는 인공지능 모델의 지식을 어떠한 다른 관련된 작업에 적용하는 머신러닝 방법입니다. 이미 엄청난 양의 데이터로 학습된 모델의 지식을 다른 곳에서도 적용할 수 있다면 모델의 학습시간을 단축시키고, 데이터가 제한적이더라도 높은 성능을 달성할 수 있습니다.
전이학습에는 크게 2종류로 나뉩니다.
특성추출기(Feature Extractor)
사전에 학습된 모델의 출력층을 제외한 나머지 부분을 고정시키기고 새로운 작업에 맞는 출력층을 추가하여 학습하는 방법.
미세조정기법(Fine-Tunning)
이미 훈련되어 있는 모델의 특정 작업이나 데이터셋에 맞춰 미세하게 다듬어주는 학습방법. 초거대 언어모델(LLM)과 같이 이미 방대한 파라미터로 구성되어 있는 딥러닝 모델에 사용되며, 자연어처리나 합성곱신경망에서 주로 사용되는 기법으로 머신러닝모델에 아주 중요한 기법.
[참고자료]
1. IBM, what is fine-tuning? https://www.ibm.com/topics/fine-tuning
2. [딥러닝]전이학습과 파인튜닝 https://hi-ai0913.tistory.com/32
3. 위키독스, 인공지능&머신러닝사전 '메타학습' https://wikidocs.net/167326
4. Few-shot learning: basic concept https://www.youtube.com/watch?v=hE7eGew4eeg
