github.com via Hacker News

Wayfinder Router : routage déterministe local/cloud pour LLM en microsecondes, sans appel API supplémentaire — 64 points sur Hacker News

inference open source coding tools open-source-tools llm-routing cost-optimization

Summary

Wayfinder Router (Apache-2.0, 129 étoiles GitHub au 28 juin) analyse la structure d'un prompt — longueur, présence de code, listes, indicateurs linguistiques de difficulté — et lui attribue un score de complexité de 0 à 1 pour décider en quelques microsecondes si la requête est envoyée à un petit modèle local ou à un grand modèle cloud. Toutes les décisions sont hors-ligne et déterministes, sans appel API intermédiaire, via une gateway compatible OpenAI. Compatible avec Groq, Together AI, OpenRouter, DeepSeek, vLLM, LM Studio et llama.cpp. Différent du Workweave Router déjà couvert : Wayfinder cible le routing économique local-vs-cloud pour tout fournisseur.