Comment évaluer un fournisseur d'IA en radiologie

La première question n'est pas « quel est le score ? » mais « qui l'a mesuré ? ». Une performance auto-rapportée sur un jeu de test privé ne vaut pas une évaluation indépendante, publiée et revue par les pairs. L'écart est documenté : sur 100 produits d'IA radiologique marqués CE recensés, 64 n'avaient aucune preuve d'efficacité revue par les pairs (van Leeuwen et al., European Radiology, 2021). Pour structurer l'achat, les recommandations ECLAIR (Omoumi et al., European Radiology, 2021) proposent une grille question par question. Le bon réflexe : exiger une étude indépendante, sur une population proche de la vôtre. En détection de fracture, l'évaluation tête-à-tête de trois solutions commerciales aux urgences situe Milvue en tête sur l'exactitude diagnostique (90,1 % contre 88,8 % et 71,0 %) : à égalité statistique avec le deuxième, nettement devant le troisième. Lire un classement, c'est lire les trois chiffres ensemble, jamais le premier seul (Academic Radiology, 2023).

Les trois, ensemble, jamais une seule. Une IA peut afficher une sensibilité très élevée en multipliant les faux positifs, au prix d'une spécificité dégradée qui noie le radiologue sous les alertes. L'inverse rate des lésions. L'exactitude et le point de fonctionnement réel comptent donc autant que le chiffre mis en avant. Demandez la matrice complète, pas une métrique isolée : c'est précisément ce qu'exige la checklist CLAIM (Mongan, Moy, Kahn, Radiology: Artificial Intelligence, 2020) pour qu'un résultat soit interprétable. Comme deuxième lecture systématique, l'IA Milvue fait passer la sensibilité du radiologue à la fracture de l'adulte de 0,81 à 0,98 (étude lecteurs FDA, aidé contre non aidé) ; et c'est l'exactitude, pas la seule sensibilité, qui la distingue dans les études tête-à-tête publiées.

Non. Réussir un examen de certification est un benchmark ; faire une garde en est un autre. Un résultat n'est validé que dans un workflow réel : branché au RIS/PACS, relu, signé, opposable. La question à poser au fournisseur n'est pas « votre modèle passe-t-il tel test ? » mais « où, combien, depuis quand votre solution tourne-t-elle en routine ? ». À titre de repère, Milvue produit 40 millions d'analyses par an, dans 25 pays, avec 1 M+ examens TechCare Report déjà traités. La preuve qui compte ne se mesure pas sur un jeu de test fermé : elle se mesure en production.

Question concrète et discriminante. Beaucoup d'assistants recopient un chiffre déjà saisi ailleurs (OCR ou extraction de texte) et le réinjectent dans le compte-rendu. C'est utile, mais ce n'est pas une mesure. Demandez si la valeur est calculée à partir de l'image. TechCare Metrics produit la mesure - angle, longueur, indice - à partir du pixel, puis l'écrit dans le rapport. La différence n'est pas cosmétique : une valeur calculée est traçable et reproductible, une valeur recopiée n'est jamais plus fiable que sa source.

Une IA qui n'arrive pas dans le flux de travail n'est jamais utilisée. La diapositive « intégration RIS/PACS » d'un fournisseur cache parfois un connecteur fragile, un export manuel ou un second écran. Les bonnes questions : intégration native ou via une couche tierce ? résultats poussés dans la worklist existante ou consultés à part ? combien de sites en production sur votre PACS précis ? Milvue est intégré nativement au RIS/PACS de 600+ sites ; c'est cette intégration, plus que le modèle seul, qui détermine si le temps annoncé est réellement rendu au radiologue.

Dernier filtre, souvent décisif. Le marquage CE (et sa classe) ne couvre qu'un périmètre d'usage prévu précis : une brique peut être dispositif médical, une autre non. Un assistant de rédaction ou un VLM qui propose un brouillon à relire n'est pas un dispositif médical, et ne doit pas être vendu comme tel. ECLAIR détaille ce volet réglementaire et la question des données. Chez Milvue, la suite diagnostique est un dispositif médical marqué CE (classe IIa) ; TechCare Report, logiciel par abonnement, n'en est pas un ; et l'ancrage européen sur les données s'inscrit dans le RGPD. Une fois ces six filtres passés, le choix se clarifie de lui-même. Au fond, cette grille protège une seule chose : Notre IA ne remplace pas les radiologues. Elle les rend irremplaçables.