Benchmark comparatif SCA
Étude de cas anonymisée · Java 11

Benchmark comparatif SCA

Un outil Java en ligne de commande qui compare les détections de plusieurs scanners de dépendances sur un corpus de test. Les résultats sont normalisés, confrontés à un référentiel qualifié par des humains, puis synthétisés dans un indicateur comparatif.

Déclenchement
Conteneur Docker · paramètres CLI
Outils comparés
Plusieurs scanners SCA internes et tiers
Sorties
Détections normalisées · comparaison · synthèse
Taille
Projet Java de plusieurs milliers de lignes

Étude de cas à visée pédagogique, reconstruite à partir d’une expérience professionnelle. Schémas simplifiés ; noms internes, identifiants, seuils, règles détaillées et données d’exploitation non reproduits.

Vue d’ensemble

Vue simplifiée des composants et des échanges. Les noms internes, les paramètres sensibles et certains détails d’exploitation ont été volontairement généralisés.

Conteneur Docker · Java et environnements d’analyse Jenkins build · registre Entrée CLI valide les paramètres Orchestrateur coordonne le traitement Exécution parcourt le corpus Code à analyser corpus de test Scanners SCA scanners internes et tiers Adaptateurs un par scanner Synthèse résultats qualifiés Vérité terrain index en mémoire Finding format commun Google Sheets vérité terrain résultats publiés PostgreSQL historique détections indicateurs exécute paramètres lancement Accès référentiel charge · réécrit sur le corpus lance (shell) JSON lit le code liste de findings clé métier VP / FP Persistance JDBC
Figure 1. Schéma de principe : des adaptateurs convertissent les sorties des outils en un modèle commun, comparé à des références validées. Les accès aux systèmes externes sont illustrés de manière générique.

Déroulement d’un run

Quatre grandes étapes fonctionnelles, présentées volontairement sans paramètres de commande, noms de tables ni logique de traitement propre au produit.

  1. Démarrer une exécution

    • Lire les paramètres utiles à la sélection du corpus et des scanners.
    • Créer un identifiant de suivi pour relier les étapes et conserver la traçabilité.
    • PostgreSQL
  2. Charger le référentiel

    • Récupérer les données de référence qualifiées par des analystes.
    • Construire un index en mémoire pour rapprocher rapidement les détections comparables.
    • Ne pas produire de comparaison sans données de référence exploitables.
    • Google Sheets
  3. Exécuter et qualifier

    Parcours conceptuel du corpus de test et des scanners sélectionnés.

    1. Sélectionner un corpus d’applications représentatif.
    2. Préparer, si nécessaire, les environnements d’analyse.
    3. Appeler les scanners via des adaptateurs et lire leurs rapports.
    4. Normaliser les détections dans un format commun.
    5. Filtrer, rapprocher et qualifier les résultats (figure 2).
    6. Enregistrer les résultats exploitables avec leur statut.
    • Shell
    • PostgreSQL
  4. Consolider et publier

    • Calculer des indicateurs comparatifs par scanner à partir des détections qualifiées.
    • Conserver l’historique des exécutions et leurs principaux résultats.
    • Publier une synthèse destinée à l’analyse et aux échanges avec l’équipe.
    • Reporter les cas non encore qualifiés vers une étape de revue humaine.
    • PostgreSQL
    • Google Sheets

La boucle humaine. Les détections incertaines sont revues par un analyste. Les décisions enrichissent progressivement le référentiel et améliorent la qualité des comparaisons.

Classer un résultat

Exemple conceptuel de qualification d’un résultat. Les règles et seuils propres au système d’origine ont été omis.

Résultat brut d’un scanner composant · version · vulnérabilité Identifiant non exploitable ? Comparer au référentiel identifiant métier normalisé Entrée marquée « exclue » ? Doublon détecté ? Faux positif connu ? Déjà analysée par un humain ? À qualifier revue humaine Enregistré dans le run détection conservée dans l’historique d’exécution Ignoré résultat non exploitable Nouvelle entrée à qualifier puis on continue Ignoré exclusion manuelle Doublon ignoré même clé, déjà vue Faux positif pénalité dans l’indicateur Vrai positif détection validée non non non non non oui absente oui oui oui oui
Figure 2. Un résultat passe par des contrôles de qualité, d’exclusion et de déduplication. Les cas reconnus sont classés ; les cas inconnus sont proposés à une revue humaine.
Indicateur comparatif fondé sur les détections qualifiées

Le score métier d’origine et ses coefficients ne sont pas reproduits ici. L’objectif était de comparer des outils à partir d’une référence revue par des humains, avec une attention particulière aux faux positifs. Il ne faut pas confondre cet indicateur interne avec la précision statistique (VP / [VP + FP]).

Pile technique

Langage et build

  • Java 11 · CLI, sans framework
  • Maven · jar exécutable assemblé
  • JUnit, JaCoCo, SonarQube · tests des parseurs

Données

  • PostgreSQL · JDBC, requêtes préparées
  • Google Sheets · API de référence et restitution
  • JSON · lecture et normalisation des rapports

Exécution

  • Docker · image multilangage avec les scanners
  • Jenkins · build, push au registre, run
  • utilitaire d’exécution de processus · lancement des processus

Avec le recul

Pistes de refonte possibles pour isoler le cœur métier des systèmes externes, dans l’esprit des ports et adaptateurs.

Lexique

SCA
Software Composition Analysis : détection des vulnérabilités connues dans les dépendances d’une application.
Vérité terrain
Liste de référence des vulnérabilités réellement présentes, validée à la main.
VP / FP
Vrai positif, faux positif.
purl
Package URL, identifiant normalisé d’un paquet, par exemple pkg:maven/exemple@1.0.0.