#소형 언어모델

가장 비싼 모델만 쓰는 팀이 돈을 태운다

NVIDIA 연구진은 에이전트가 처리하는 작업 대부분에 소형 모델이면 충분하다고 말한다. 모든 호출을 가장 똑똑한 모델로 보내는 설계는 안전해 보이지만, 실제로는 측정을 회피한 과잉 설비 투자에 가깝다. 비용은 단가표가 아니라 호출 경로의 설계에서 결정된다.