In-Context Vector

20240720

In-Context Vector 라는 개념이 있다.

A 라는 context 의 hidden 특성값 A과 B 라는 context 의 hidden 특성값 B를 가져와서,

특성값A-특성값B 를 하면 A는 남기고 B는 약화되게하는 vector(ICV) 를 얻을 수 있는데,

이를 모델의 hidden state 에 적용하면 context 의 변화를 이끌어 낼 수 있다는 것.

예전에 모두에게 놀라움을 주었던 word2vec 도 떠오르고,

StyleGAN 도 떠오르고,

뭐랄까 유전자 조작같은 것도 떠오른다.

물론 손쉽게 잘 동작할 리는 없지만,

이런 맥락의 steering 방식에 대해 더 연구가 된다면,

LLM의 다음 단계로 꼭 따라오게 될 모델 커스터마이징에 큰 역할을 할 축이 되지 않을까.

next stage of ICV 가 나온다면,

좋은 (next stage of)ICV 를 뽑아내는 것이 노하우가 되어 상품성이 붙고,

판매하게 되는 시대가 오지 않을까 ㅎㅎ 특허도 내고...

sonnet 이 쏘아올려 더 들여다 보게 된 이 영역에 재미난 것이 넘쳐난다.

인간의 마음과 생각이 궁금해서 몇 년 간 뇌과학 책만 읽어댔는데, 뭔가 취향저격.