#LLM 아키텍처

가장 비싼 모델만 쓰는 팀이 돈을 태운다

NVIDIA 연구진은 에이전트가 처리하는 작업 대부분에 소형 모델이면 충분하다고 말한다. 모든 호출을 가장 똑똑한 모델로 보내는 설계는 안전해 보이지만, 실제로는 측정을 회피한 과잉 설비 투자에 가깝다. 비용은 단가표가 아니라 호출 경로의 설계에서 결정된다.