news.ycombinator.com via Hacker News

Show HN : Echo orchestre les modèles ouverts et revendique le niveau de Fable à un tiers du coût d'inférence

Résumé

Adam Rida a présenté sur Hacker News le 23 juillet Echo, un système expérimental qui orchestre plusieurs modèles à poids ouverts en décidant combien de compute allouer, quels modèles participent et comment agréger leurs sorties. Sur son benchmark maison de 907 exemples, Echo revendique une performance agrégée proche de Fable d'Anthropic pour environ un tiers du coût d'inférence, tout en surpassant chaque modèle individuel de son pool. Les commentateurs pointent la petite taille du benchmark et une variance importante selon les tâches.