Anthropic에서 주창하는...
https://www.youtube.com/watch?v=5buNm0pA1mg
몇일전 둘째 아들녀석이 좋은 개념이라고
아빠에게 설명해주는데, 한편으로는 매우 즐거웠습니다. 이제, 현업에 있으니, 더 많은 정보들을 보고 듣는다는 좋은 사례이기 때문이죠.
음.. 그래서, 몇가지 정리정돈 해봤습니다.
먼저, 하네스 엔지니어링(Harness Engineering)이라는 용어는 Anthropic에서 공식화하여 사용된 용어이고, 아직 나온지 얼마 안되는 따끈따끈한 용어입니다. 앤스로픽에서 공식 블로그나 기술 문서들에서 말(Horse)와 이를 제어하는 하네스(Harness, 마구)를 비유하면서 이 개념을 정립했죠.
오픈AI가 이야기한 '에이전트 하네스'에 대한 이야기도 있었고, 결국, 환경(Environment)과 의도(intent), 피드백(Feedback)으로 반복되는 루프 형태를 어떻게 설계하는 것이 가장 중요한 개념의 변화라는 개발자의 역할 변화에 대한 이야기들의 결과라고 할까요?
재미있는 것은 영상 보시면 아시겠지만, AI는 동일한데, 결과물의 차이점에 대해서, 어떻게 실제 개발에서 현업과 연결하고, 컨덱스트 도구의 선택과 세팅, 평가 방법과 반복들을 어떻게 적용하는지에 대해서 이야기를 하고 있습니다.
가장 핵심적인 것은 AI 모델의 선택도 중요하지만, 결론적으로 그 모델이 움직이는 가이드라인과 제어방법, 도구와 결합되는 과정들이 결합되어 에이전트가 제대로 일하는 성패를 결정한다는 것이죠.
뭐.. 이거 그렇다고 완전 새로운 개념도 아닙니다. ㅎㅎ
사실, 아무리 똑똑한 인간도 어떤 조직에 들어가서, 어떤 파이프라인에 따라 일하느냐에 따라서, 그 성과물이나 결과, 일의 분량들이 달라지는 것은 누구나 알고 있는 것이죠.
다만. 이게 인간들의 조직구성이나 형태는 오랜세월 진행되었는데, AI는 이제 시작이라는 점이죠.
요즘은.. 이 하네스 엔지니어링을 '에이전트 최적화 설계'라고 쉽게 이야기하는 분들도 있습니다.
뭐, 복잡할 것 없고, 몇가지만 지키면 됩니다.
방향을 명확하게, 실행의 권한, 확실한 제약사항과 보안규칙 설정
근데, 사실.. 이렇게 해야, 인간들도 업무는 제대로 합니다. ㅎㅎ 이거 잘 못하면, 조직이 제대로 동작하지 못하는 경우는 비일비재 하니까요.
다음의 5가지 잘 정의하라고 이야기합니다.
1. 컨텍스트(Context) : 모델이 참조할 목표, 제약사항, 코딩 컨벤션 등
2. 도구(Tool) : MCP, 외부 검색, 실행 방법과 반복방법
3. 루프(Loop) : 어떻게 반복하고, 작업의 완료란 무엇인가에 대한 정확한 명세
4. 검증(Verification) : 결과물에 대해서 어떻게 평가하고, 무엇을 만족하는지에 대해서 정확하게 기술
5. 사람(Humam) : 최중 승인과 방향성을 결정하는 관리자의 역할이 결국.. 품질의 가장 중요한 키라는 점이죠.
그리고, 다음의 3가지를 잘 지켜야 한다고 정리합니다.
첫번쨰. 토큰 문제. ㅎㅎㅎ
무조건 많이 넣지 말고, 한정된 예산과 토큰에 맞춰서 적절한 정보를 정의하고 특히, 아키테쳐 정의와 실행계획등을 잘 넣으라는 것의 컨텍스트 엔지니어링
두번째. 사람의 승인 없이 어디까지?
과연 안전이라는 범위가 어디까지 이고, 어느 곳에서 질문해야 하는지에 대해서 잘 정의해야 한다는 것. 사람의 승인을 거치지 않고, 어디까지 할 수 있는지에 대한 정의
세번쨰. 평가 주도 개선(Eval-Driven Improvement)
정량적인 지표와 결과물을 끊임없이 개선하는 루프를 어떻게 내장하는 것인지에 대한 정의입니다.
.
.
.
결론적으로..
하네스 엔지니어링이라는 것은..
기존부터 그렇게 주창해왔던..
소프트웨어 개발자들이..
소프트웨어 아키텍처가 되는 과정을 의미합니다.
저도 정리해봤지만..
사실..
소프트웨어 아키텍처를 어떻게 잘 정의하고,
이를 통해서 품질과 개발조직 통제를 하고,
파이프라인과 버전, 릴리즈, 예산과 적정범위에 대해서...
잘 통제하는...
그런 역할에 대해서 30년을 이야기해왔더니..
이렇게 정리가 또 되네요.
ㅎㅎ
결론적으로 인간과 AI가 어떻게 잘 구성되어야 하는지에 대해서...
요즘 용어로 잘 정의되었다고
정의해봅니다.