Apple dévoile SupportNet et KeyNet, MIPS 8× plus rapide

Apple ramène la recherche de similarité au cœur des pipelines RAG à une primitive d'analyse convexe. Dans un billet d'Apple Machine Learning Research qui accompagne un papier présenté à ICML 2026, intitulé Amortizing Maximum Inner Product Search with Learned Support Functions, l'équipe entraîne de petits réseaux à approcher la Maximum Inner Product Search (MIPS) quand la distribution des requêtes est connue à l'avance.

Deux architectures sortent du travail. SupportNet apprend directement la support function de chaque cluster via un ICNN (Input Convex Neural Network). Sur Natural Questions partitionné en 128 clusters (environ 2,6 M passages), le petit modèle atteint « 95% routing recall about 1.9× faster than centroid routing (1.74 ms vs 3.36 ms) », écrit Apple.

KeyNet, lui, réécrit la requête en un vecteur plus proche de sa clé cible. Le plus gros modèle, « reaching 99% recall takes up to ~8× less time with the largest model (0.23 ms vs 1.8 ms for the raw query) ». En ne balayant que 0,001 % de la base, KeyNet retrouve la bonne clé dans 89 à 97 % des cas, jusqu'à 96,7 % pour le modèle L, contre 86 % pour la requête brute. À 99 % de recall, le billet annonce jusqu'à ~11× moins de clés scannées (0,009 % vs 0,10 % en brut).

Le post pose lui-même ses conditions. Les gains supposent une distribution de requêtes « known in advance — a common condition in production ML systems », et les auteurs qualifient leur méthode seulement de « reasonably robust to mild distribution shift in the query patterns ». Le coût d'entraînement n'est pas chiffré, et l'évaluation ne quitte pas Natural Questions.

C'est le troisième billet RAG qu'on suit en dix jours, après WikiTrace et Auto-Ontology chez NVIDIA, chacun cherchant à rendre la couche de mémoire des pipelines IA moins coûteuse.