github.com via Hacker News

Firelex publie Jeff, modèles de décision Jev-compatibles à 0,8B et 2B, 22 ms sur RTX Pro 6000

Open Source Inference ai-business

Résumé

Firelex ouvre Jeff, une famille de petits modèles fine-tunés pour la classification zero-shot avec probabilités calibrées produites en un seul forward pass, de 0,8B à 2B de paramètres. Les latences annoncées sont de 22 ms sur RTX Pro 6000 et 28 ms sur Apple M4 Max, pour 79 à 96 % de précision selon les benchmarks, avec un objectif de déploiement local sans dépendance cloud.