ai raw denoise artefact

[olliwa-ifi]

Bonjour,
un artefact de l'algo Raw denoiser (AI)

sans

avec

une grille apparaît

[aurelienpierre]

Sur quel type de capteur et avec quel modèle ? Malheureusement, sur un modèle neuronal, je n'ai aucun moyen de corriger un algorithme puisqu'il n'y a pas d'algorithme. La seule solution est de jouer avec la correction du profil et d'envoyer plus d'images d'entraînement pour que le modèle apprenne à ne plus faire ça.

[olliwa-ifi]

fuji X100F d’après l'exif
capteur APS-C X-Trans CMOS III de 24,3 Mpx
je constate cette grille sur tous les fichiers xtrans dont je dispose (playraw)
c'est très régulier et spécifique du capteur de fuji, n'est-il pas

[aurelienpierre]

Mais ça le fait sur tous les modèles ? J'ai testé en local sur des RAF, mais à des ISO plus hauts, je n'ai jamais vu ce type de défaut. Tu peux essayer le modèle large ?

[olliwa-ifi]

oui, patience, ca va me prendre un peu de temps de tout tester

[olliwa-ifi]

je crois que j'ai trouvé le pb meme s'il faudrait que je poursuive les tests
c'est le calcul gpu qui déconne (i-gpu intel)

je suppose que tu as fait tes tests avec un gpu physique

Comme demandé, quand j'ai lancé le premier calcul 'Large', il n'a pas pu le faire avec le gpu faute de mémoire . Et le résultat était bon.
La trame qui apparaissait fait penser à des erreurs systématiques de calcul

les calculs sont lourds selon l'utilisation ou non du gpu ou selon le modèle utilisé

• GPU : 14,503 secs (1,969 CPU) processed `Raw denoise (AI)' on GPU, blended on GPU [preview]
• Quater : 14,977 secs (97,516 CPU) processed `Raw denoise (AI)' on CPU, blended on CPU [preview]
• Half : 50,634 secs (331,703 CPU) processed `Raw denoise (AI)' on CPU, blended on CPU [preview]
• Large : 226,494 secs (1518,000 CPU) processed `Raw denoise (AI)' on CPU, blended on CPU [preview]

question subsidiaire : pourquoi enchaîne-t-on certaine fois plusieurs calculs les uns derriere les autres?

124,503912 [dev_pixelpipe] took 54,035 secs (7,953 CPU) processed Raw denoise (AI) on CPU with tiling, blended on [preview]
194,073399 [dev_pixelpipe] took 69,555 secs (13,141 CPU) processed Raw denoise (AI) on CPU with tiling, blended on [full]
268,586999 [dev_pixelpipe] took 74,290 secs (11,844 CPU) processed Raw denoise (AI) on CPU with tiling, blended on [preview]

693,893473 [dev_pixelpipe] took 425,275 secs (2289,828 CPU) processed Raw denoise (AI) on CPU with tiling, blended on CPU [full]
1153,367818 [dev_pixelpipe] took 459,257 secs (2581,328 CPU) processed Raw denoise (AI) on CPU with tiling, blended on CPU [preview]

ces calculs tres longs peuvent faire tres mal au démarrage d'ansel :)
501,462850 [dev_pixelpipe] took 497,694 secs (2960,109 CPU) processed Raw denoise (AI) on CPU with tiling, blended on CPU [thumbnail]
8mn avant qu'ansel s'ouvre :)

[aurelienpierre]

La parité entre le résultat CPU, GPU et l'implémentation de référence pyTorch ont été testé sur un corpus d'images, et validés. En effet, je n'ai pas testé sur iGPU Intel mais l'explication la plus probable, c'est que les modèles réduits n'ont pas réussi à apprendre correctement la différence entre le bruit et les détails sur XTrans.

Évidemment que tout cela est lourd en calcul… C'est un modèle de réseau de neurones convolutionnel à 7,6 millions de paramètres pour la version large, 1,9 millions pour le demi modèle. Tout ça est bien évidemment un compromis entre le temps de calcul et la qualité finale.

question subsidiaire : pourquoi enchaîne-t-on certaine fois plusieurs calculs les uns derriere les autres?

On enchaîne s'il y a un arrêt du pipeline, par exemple dû à des paramètres utilisateurs changés en cours de route.

[olliwa-ifi]

lorsque le calcul est fait avec le cpu il est correct

c'est le calcul utilisant le gpu qui est tramé
cpu : ok (modèle quarter est un peu tramé)
gpu : ko

le calcul model half reste raisonnable (48 s) et le résultat très bon
ci dessous affichage 400% calcul CPU model size half à comparer avec la deuxieme image ci-dessus

[aurelienpierre]

Ok je regarderai