Kimi K3와 Fable 라우팅 전략이 93% 정확도를 달성하며, 비용은 최대 50배 절감할 수 있습니다

Fireworks AI는 오픈 소스 모델 Kimi K3와 폐쇄형 모델 Fable 5를 약 1030개의 에이전트 작업(SWE, 최종 운영, 알고리즘, 다국어 인코딩 및 법률 등 시나리오 포함)에서 비교 테스트한 평가 보고서를 발표했습니다. 결과는 두 모델이 SWE 기준에서 정확도가 각각 92.4%와 92.6%로 전체적으로 비슷한 성능을 보였지만, 세부 분야에서는 각기 전문성을 가지고 있음을 보여줍니다: K3는 기호 수학 및 개발 도구 분야에서 우위를 점하고, Fable은 웹 및 데이터 시각화에서 강점을 보입니다; 최종 장기 작업에서는 K3가 Fable이 해결하지 못한 11개의 작업을 독립적으로 해결했습니다.

보고서는 작업 수준 라우팅 전략을 채택하면 두 모델 간에 동적으로 할당하여 93%의 정확도를 달성할 수 있으며, 이는 단일 모델보다 우수하다고 지적했습니다. 또한 K3는 Fireworks 플랫폼에서 상당한 비용 우위를 가지고 있어 장기 에이전트 작업에서 비용이 Fable보다 50배 낮을 수 있습니다. 보고서는 오픈 소스 모델을 기본 옵션으로 설정하고, 라우터를 통해 지속적으로 작업과 모델의 최적 매칭을 학습하여 품질과 비용을 모두 고려할 것을 권장합니다.