>>La commande Group-Object est excessivement longue
Certains cmdlet ont effectivement de mauvaises perfs, ensuite il faut tester avec des classes dotNet ou ADO. Voir inverser l'approche et rechercher dans une hashtable en y insérant la collection élément par élément et placer les doublons dans une autre collections.
Quel est le type de la propriété 'Reference' ? String ?
Si c'est le cas tu peux déjà utiliser Select-Object -ExpandProperty Reference, cela réduira le temps d'exécution mais , pas autant que le souhaite.
Dans ton cas tu itères $Collection.count multiplié par $Collection.count PLUS les contrôles du cmdlet ForEach-Object.
Tu cherches à savoir s'il y a des doublons dans la collection ou à savoir s'il y a des doublons et lesquels ?
Si je crée une collection de test 'Item1', 'item2', 'itemN' cela se rapproche de tes données ?
Le .NET en PowerShell, j'adore toutes les possibilités que cela ouvre ; mais ADO... je ne vois pas.
En fait, je n'ai donné qu'une petite partie de mon code... la recherche de doublon était juste un bon exemple pour mon désarroi sur la performance.
J'avais aussi accéléré la recherche en supprimant la référence du tableau à chaque recherche.
La collection ne devant pas avoir de doublon, si un est trouvé il intéressant de récupérer l'information.
En fait, je cherche plus à comprendre le multithread en général qu'une solution à ce problème. Car l'accélération du calcul et des traitements est un besoin assez récurrent pour les données que je traite.
La Collection que je traite est rempli d'Item (objet) ayant des propriétés tel que nom, référence, date, paramètres, source,...
Le truc embêtant d'utiliser -AsJob, c'est que cela implique l'utilisation de Receive-Job mais si c'est le prix pour pouvoir utiliser tous les cœurs (ou vCPU), je prends.
>>mais ADO... je ne vois pas.
Afin d'utiliser une table et SQL. Une piste comme une autre...
Essaie avec une hashtable la recherche de clé est très rapide ou la classe hashset.
>>La Collection que je traite est rempli d'Item (objet) ayant des propriétés tel que nom, référence, date, paramètres, source,...niveau.
Ok, mais ta "clé" utilisée pour la recherche est de type string ?
