news.ycombinator.com via Hacker News

Laminar lance flow-1, modèle RL pour auditer les traces d'agents

TL;DR

  • Laminar, YC S24, publie flow-1 et affirme égaler GPT-4o pour détecter les erreurs d'agents, à un coût 23 fois inférieur.
  • Le modèle sort sous licence Apache 2.0 et se self-héberge depuis le dépôt lmnr-ai/lmnr, aux côtés d'une offre cloud managée.
  • Son harnais Signals traite une trace comme un dépôt de code : chaque span (appel LLM, outil) devient un fichier à grep.

Laminar, promotion S24 de Y Combinator, publie flow-1, un modèle entraîné par renforcement pour une tâche unique : lire les traces d'exécution d'agents IA et désigner ce qui a dérapé. Dans son Launch HN, la startup affirme que flow-1 « matches GPT-4o in detection quality while being 23x cheaper ». Le modèle sort sous licence Apache 2.0, self-hostable depuis le dépôt github.com/lmnr-ai/lmnr.

Le harnais autour du modèle s'appelle Signals. Il traite une trace comme un dépôt de code : chaque span, qu'il s'agisse d'un appel LLM ou d'une invocation d'outil, devient un fichier que flow-1 peut grep et relire avant de rendre son verdict dans un schéma JSON défini par l'utilisateur. Les événements similaires sont ensuite clusterisés automatiquement.

Côté entraînement, le co-fondateur Din détaille l'approche dans le fil : « Used GSPO algorithm suited for 'very long prompts' typical of trace analysis », sur « thousands of synthetic investigations » couvrant software, droit et support client. L'enjeu d'ingénierie du reward, selon lui, reste la balance exploration/exploitation.

Ce que flow-1 vise, ce sont les pannes muettes : les « 'implicit' errors where tool calls succeed but return unreliable data », du cache périmé au contenu trompeur. Un commentateur du fil résume la difficulté : distinguer les « tool-provided errors » des « agent misinterpretation ».

Le chiffre « 23× » et la parité avec GPT-4o viennent du vendeur, sans benchmark tiers publié dans le fil, qui pèse 44 points et 22 commentaires. L'annonce s'ajoute à une série récente d'ouvertures open source côté infra IA, dont TorchNeuron chez Amazon la veille.