Claud Code, 2월 이후 품질저하..
이게 분명하기는 한데..
매우 흥미로운 글이 하나 올라왔다.
https://news.hada.io/topic?id=28272
이야기의 핵심은... '복잡한 엔지니어링'을 처리하지 못하는 이유를 Thinking 토큰 감축 및 사고 깊이가 기존 대비해서 73%이상 감소한 것으로 추정된다는 보고서를 읽고서 몇가지 생각이 들었다.
첫번째는... 사실, 올해 1월정도에 사용한 클로드 코드의 품질이 가장 좋기는 했다는 것은...은근 느끼고 있었는데, 이 보고서를 보니, 지금 사용하고 있는 코드 수준이나, 버그, 깔끔하게 진행되지 못하는 점들이 확연하게 느껴진다는 점이다.
보고서를 보면, 생각보다 크게 품질이 저하되었다고 수치상 나오고 있는데, 당시 기준으로 세팅된 스킬셋들로는 이 구성이 아마도 그대로 현업(?)에 전파되고 있을 것이라고 생각해본다.
현 시점에서... Claud Code... 나쁘지 않고. Sonnet으로 적당하게 구조를 나누어서 업무를 진행하고, 각각의 스킬셋이 정의된 Agent들을 다루고 있다면, 나름 나쁘지 않게 개발이 가능하다고 생각된다.
사실..
그 이전의 코드 품질이나 깊이가 너무 깊어서...
엄청 놀라기는 했다. ㅇ.ㅇ
정말.. 분석가의 수준까지.. 근접한 Claude Code를 보고 놀랐으니까.. ㅇ.ㅇ
이제 업무나 구조, 형태를 좀더 명확하게 명세화하지 않고, 적당한 파이프라인과 Agent들을 배치하지 않으면 코드 품질이 엄청 나빠진다. 비 개발자들은 Toy수준은 가능하겠지만, 실 서비스 가능한 수준까지는 이제 쉽지 않을 것이다.
이게.. 1월까지는 웬만큼 가능했다는 점은.. 몇가지를 시사한다.
첫번째. 더 높은 품질 수준의 서비스가 등장하고, 더 고가의 토큰 가격을 지불해야 사용할 것으로 보인다. 아마도, 정부나 공공기관, 대기업들이 지불하고 사용하겠지.
두번째. 적당한 Thnking으로 적당한 가격대가 맞춰지고 있는 것으로 생각된다. 실질적으로 Sonnet과 Opus만 비교해봐도, Sonnect으로 버그 잡다가.. 해소 안되고 빙빙 돌때에, 이 부분을 인지해서 Opus에게 좀더 명확한 지점을 던져주면, 빠르게 오류를 수정하는 것을 보면.. 이제, 적당한 서비스 수준과 품질 수준을 찾은것 아닐까 하는 생각을 하게 한다.
세번째. 토큰 가격은 아직은 비싸다고 생각은 안든다. 인간 개발자 팀을 세팅하는 것보다 수십배 빠르게 가동되고 있으니, 더 기대된다.
네번쨰. 1월까지의 Claude Code는 뭐랄까... 인문학적 소양을 좀 갖춘 고급 개발자 느낌이었다면, 요즘은 딱! 소프트웨어 전공하고 나온 그런 이과생의 느낌이다. ㅎㅎ
그리고, 링크된 글을 보면... 사고과정은 사고과저일뿐이라는 의견들도 많다.
언제나 이야기했지만....
일 하는 사람의 수준이나
일 하는 AI의 수준과 깊이를
생각해서..
적절한 업무의 깊이나 속도, 체크 단위등을
제어하는 것은
인간이기 때문에...
인간 개발자의 역량이 더 커졌다는 생각이 든다.
그리고, 실제 그러하니까.
이제... 개발을 아는 사람들이 제어하는 것과, 모르는 사람이 제어하는 것은...
완전 하늘과 땅끝의 차이정도라는...
ps..
뭐... 결국, '돈'문제 아니겠는가? ㅎㅎ