blog.google via Hacker News

Google ouvre HEIR, un compilateur pour l'IA sur données chiffrées

Google Safety Open Source ai-business

TL;DR

  • HEIR est un compilateur open source qui transforme un modèle préentraîné en pipeline d'inférence exécutée directement sur ciphertexts, sans déchiffrement côté serveur.
  • Quatre démonstrations accompagnent la sortie: recommandation deep learning, détection de fraude carte, anomalies réseau Kitsune, et hotword audio.
  • Google s'associe à quatre accélérateurs matériels (Belfort Labs, Niobium, Cornami, Optalysys) et à sept universités dont Georgia Tech, CMU, Purdue et Tsinghua.

Google a publié le 14 août HEIR, un compilateur open source qui prend un modèle d'IA préentraîné et le transforme en une pipeline capable d'inférence directement sur des ciphertexts, sans jamais déchiffrer les données côté serveur. Jeremy Kun, staff software engineer chez Google, décrit l'ambition comme faire de HEIR « a one-click solution to enable non-experts to incorporate encrypted inference into production applications ». C'est le point d'arrivée d'un chantier annoncé en 2023 et transformé depuis en plateforme de recherche partagée.

Quatre démonstrations accompagnent la sortie et couvrent des cas d'usage sensibles. Un Deep Learning Recommendation Model conçu avec Belfort Labs, LG et le chercheur Brandon Reagen (NYU). Une détection de fraude carte bancaire avec Niobium et hardshell.ai. Une implémentation chiffrée de Kitsune pour la détection d'anomalies réseau, également avec Niobium. Et un système de hotword audio avec Belfort Labs, qui permet à un agent vocal de reconnaître son mot d'activation sans jamais entendre le reste de la conversation. Toutes les latences publiées sont mesurées sur CPU mono-thread, ce qui pose déjà la question centrale du billet.

Cette question, c'est l'accélération matérielle. Google liste quatre start-ups partenaires, Belfort Labs, Niobium, Cornami et Optalysys, dont la mission est précisément de rendre le chiffrement homomorphe tolérable en production. Côté recherche, HEIR sert de socle commun à Georgia Tech, Carnegie Mellon, UC Santa Barbara, Illinois Institute of Technology, Purdue, University of Edinburgh et Tsinghua. Ce qui compte davantage que la liste elle-même: le domaine avait jusqu'ici tendance à ré-implémenter les mêmes primitives à chaque papier. C'est aussi l'une des rares sorties open source que nous suivons cette saison à concerner la couche cryptographique plutôt que les poids.

Le billet ne donne aucun chiffre de latence, aucune consommation, aucune comparaison directe avec les bibliothèques FHE existantes. Le lecteur qui veut savoir combien coûte réellement une inférence chiffrée doit se rabattre sur le code publié sur GitHub et sur heir.dev. Le calendrier des puces partenaires reste également flou, tout comme un éventuel support GPU.

Pour les équipes santé et finance qui repoussent depuis des années l'externalisation d'inférence sensible faute de garantie cryptographique lisible, c'est la première fois qu'un outillage sponsorisé par un hyperscaler s'attaque au maillon compilateur. La suite dépend moins de HEIR que du silicium que Belfort Labs, Niobium, Cornami et Optalysys parviendront à livrer.