Utilisateur:ThomasThibaultGuillaume/Brouillon
Introduction
[modifier | modifier le code]De nombreux descripteurs et méthodes existent et ont chacun une efficacité éprouvée dans des configurations précises. La difficulté est de trouver des descripteurs pouvant être utilisés systématiquement, quelles que soient les conditions d’éclairage. Voilà tout l’intérêt de réaliser du multi espace couleurs. Le traitement des images par des outils utilisant une association de différents descripteurs permet de se libérer des contraintes liées à l’environnement des images et donc d’automatiser leur traitement.
Ce document présente l’état de l’art des approches d’espace multicolore qui ont été utilisés dans les travaux de recherche récents. Dans un premier temps nous détaillerons les trois approches multi espace couleurs étudiées, puis nous comparerons les différents descripteurs correspondants et enfin nous conclurons quant à l’efficacité de ces outils.Les espaces couleurs
[modifier | modifier le code]Pourquoi utiliser les espaces couleurs ?
[modifier | modifier le code]Les différents espaces couleurs
[modifier | modifier le code]Les espaces couleurs primaires (RGB et XYZ)
[modifier | modifier le code]Les espaces couleurs primaires, pour lesquelles les couleurs peuvent être physiquement représentées. L'espace RGB, pour Red, Green, Blue (Rouge, vert, bleu en français), est un espace représentant les couleurs par synthèse additive dues couleurs primaires : rouge, vert et bleu. Il est notamment utilisé dans l'informatique pour sa facilité de mise en place. Pour chacune des couleurs primaires, la valeur s'exprime par un triplet de valeurs dans un intervalle entre 0 et 255. Le blanc s'écrit para exemple : RGB(255, 255, 255).
Il existe aussi les espaces couleurs imaginaires, dont les couleurs primaires n'existent pas physiquement, comme l'espace XYZ. Ce dernier est un espace de couleur défini par la CIE en 1931. Cet espace a été créé pour améliorer l'espace RGB afin de mieux correspondre à la vision humaine.Les espaces Luminance Chrominance
[modifier | modifier le code]Les espaces de couleur luminance-chrominance sont composés d’un composant qui représente une information achromatique (appelée «luminance») et deux composants, qui quantifient une information chromatique (appelée «chrominance»). La luminance représente l'intensité lumineuse subjective et indépendante de la couleur. Elle est représentée par la lettre 'Y' des triplets.
Parmi ces derniers, certains espaces sont utilisés comme espaces couleurs de télévisions. Il séparent le signal achromatique et les signaux chromatiques pour la transmission du signal télévisuel. Les trois espaces suivants en font partie :
- YCbCr est un espace chrominance représentant l'espace couleurs en vidéo. L'avantage de ce standard est la compatibilité entre les récepteurs de télévision noir et blanc et les récepteurs couleurs.
- le modèle YIQ est le modèle utilisé dans un standard de la télévision numérique.
- le modèle YUV est le modèle utilisé dans le système de diffusion télévisuelle PAL.
Il y a aussi des espaces colorimétriques perceptuellement uniformes, qui permettent d'établir une correspondance entre une différence de couleur perçue par un observateur humain et une distance mesurée dans l'espace colorimétrique. Parmi celles-ci, notons deux espaces créés en 1976 pour la caractérisation des surfaces : l'espace L ∗ a ∗ b* et l'espace L ∗ u ∗ v. Ces méthodes ne sont plus linéaires afin de mieux rendre compte des écarts entre les couleurs perçues par la vision humaine et cela permet de mesurer de fins écarts entres les couleurs.
Les espaces colorimétriques perceptuels
[modifier | modifier le code]Les espaces couleurs d'axes indépendants
[modifier | modifier le code]Présentation des approches multi espaces couleurs étudiées
[modifier | modifier le code]a. Méthode de fusion des espaces couleurs
[modifier | modifier le code]b. Méthode de sélection des espaces couleurs
[modifier | modifier le code]Plusieurs approches existent (voir le tableau ci-dessous); en effet, il est très compliqué de choisir le bon espace couleurs car en fonction des conditions d'éclairement et des textures étudiées, les résultats peuvent variées fortement : l'automatisation est donc réellement complexe. Les objectifs sont la classification des pixels d'une image en couleurs et leur segmentation automatique.
Les outils actuellement employés sont des programmes informatiques développés par les chercheurs. Ces derniers réalisent souvent des commutations d'espace couleurs dont le but est qu'ils s'adaptent automatiquement à l'image considérée. Ainsi, des algorithmes employant l'apprentissage automatique et des méthodes itératives sont couramment employés.c. Méthode de sélection d'attributs supervisée pour les textures
[modifier | modifier le code]Les approches utilisant cette méthode fonctionnent ainsi : la couleur de chaque pixel de l'image est transformée dans différents espaces couleurs et les caractéristiques de texture sont calculées à partir des images ainsi transformées. Ensuite, le processus de sélection choisi permet de choisir les caractéristiques de texture de couleur les plus discriminantes afin de réaliser le classement des textures étudiées. Les objectifs restent cependant les mêmes : classification de pixels pour l'analyse de texture.
Les outils principalement utilisés sont les vecteurs de caractéristiques et la méthode des k plus proches voisins.Analyse et comparaison des différentes approches
[modifier | modifier le code]Multi color space approach | Descriptors | Color space Used | Base d'images utilisée | Source base d'images | Résultats obtenus | Références biblio. des méthodes comparées | Source | Référence bibliographique dans notre rapport |
---|---|---|---|---|---|---|---|---|
Color space fusion | Denoeux’s model | RGB, XYZ, HSL, YUV, HSI, L* a* b*, YCbCr | Image database containing 50 microscopic cell images. | ? | recognition rate of 92.45% " | x | Lien | 1 |
Color space fusion | Histograms of oriented gradients | RGB, oRGB, HSV, YCbCr | Caltech 256 Dataset
UIUC Sports Event Dataset MIT Scene Dataset |
Lien |--| Lien |--| Lien | Voir dernière page du pdf dont l'url est dans la colonne ci-contre. | x | Lien | 2 |
Color space fusion | Color LBP Fusion | RGB, rgb, oRGB, HSV, YCbCr | MIT scene database, the KTH - TIPS2-b and the KTH-TIPS materials databases | Lien | "Method Performance
CGLF 99.6 CLF 99.6 oRGB-LBP 99.1 Croisier and Griffin 98.5 Kondra and torre 97.7 Zhang et al. 95.5" |
Lien | 3 | |
Color space fusion | Markov random field (Markovian Bayesian fusion procedure) | RGB, XYZ, HSI, YIQ, TSL, L∗a∗b∗, L∗u∗v∗, I1I2I3, H1H2H3, YCbCr | Berkeley image database | Lien | This easily parallelizable Bayesian fusion model appears as an interesting alternative to complex, computationally demanding, segmentation models existing in the literature for the difficult image segmentation problem | x | Lien | 4 |
Color space fusion | Markov random field | The proposed segmentation procedure performs competitively among the recently reported state-of-the-art segmentation methods. | x | Lien | 5 | |||
Color space fusion | Color Gabor-LBP | "RGB, oRGB, HSV, YIQ, DCS, YCbCr | Caltech 256 dataset, MIT Scene dataset & UIUC Sports Event dataset | Lien | Average of 90% success on MIT scene dataset, 84.3% for UIUC Sports Event dataset and 35.3% of perf. for the caltech 256 dataset | x | Lien | 6 |
Color space fusion | H-descriptor | "RGB, oRGB, HSV, YIQ, DCS, YCbCr, I1I2I3 | Caltech 256 dataset, MIT Scene dataset & UIUC Sports Event dataset | --| Lien | "Average classification performance (Grayscale-H / RGB-H / H-fusion):
> For caltech256 : 24.2 / 28.9 / 33.6 > For UIUC Sports : 77.4 / 82.3 / 86.2 > For MIT Scene : 83.7 / 88.1 / 90.8" |
x | Lien | 7 |
Color Space selection | Switching color space models | RGB, rgb, HSI, YIQ, XYZs, YCbCr, L*a*b*, L*u*v*, I1I2I3 | Pas d'autorisation de l'auteur pour le moment | Lien | "Pas d'autorisation de l'auteur pour le moment | x | Lien | 8 |
Color Space selection | Markov random field | "RGB, HSI, rg, L*a*b*, L*u*v* | Black and white videos | ? | good | x | Lien | 9 |
Color Space selection | Histogram multi thresholding | RGB, rgb, XYZ, xyz, YIQ, YUV, wbrgby, YC1C2, L∗a∗b∗, L∗u∗v∗, I1I2I3 | The "hand" image | Lien | Relevant segmentation results ( based on the analysis of 1D-histograms) | x | Lien | 10 |
Color Space selection | Switching model | RGB, HSV, YCbCr | Face dataset, database of human hands | ? | Therefore based on experiments it can be firmly said that the neural network technique outperformed the Max Connected matrix to accomplish the task of adaptive color space switching for skin segmentation. | x | Lien | 11 |
Color Space selection | Multi Color Space Segmentation | All | Berkeley image database | Lien | Hopeful but could be improved. Clustering schemes as spectral ones could be used to reduce this limitation | x | Lien | 12 |
Color Space selection | Shadow eliminating operator | RGB, HSV, rgb XYZ, YCbCr, L∗a∗b∗,c1c2c3, l1l2l3 | 13 | |||||
Color Space selection | Gaussian low-pass filter | RGB, HSV, HSI, L∗a∗b∗, YCbCr | 14 | |||||
Color Space selection | Color space models based on Mean-Shift | RGB, rgb, XYZ; HSI, YUV, YCbCr, L*a*b*, I1I2I3 | ? | Lien | good performance | x | Lien | 15 |
Color texture | Reduced Size Chromatic Co-occurence Matrices | All | OuTex & VisTex | Lien Lien | Classification rates reached by (for OuTex // for VisTex):
> MCSFS : 1-NN : 96.6% - rank sum : 90.3% // 1-NN : 99.8% - sum rank : 95.1% > SCSS : 1-NN : 92.5% - rank sum : 82.5% // 1-NN : 99.3% - sum rank : 90.5%M |
Lien | 16 | |
Color texture | Gabor Filters | RGB, YUV, HSV, XYZ, LCH, L*a*b*, L*u*v*, YCbCr, YPbPr, YDbDr, JPEG-YCbCR | Dataset of 464 ears acquired at the University of Notre Dame in Fall 2002 | Lien | The new approach in terms of area under the ROC curve(∼98.5%) are much better than those obtained by other 2D local(∼98%) and global (96.3%) ear matchers. In the same way the identification results obtained in terms of rank-1(∼84%) are much better than those of 2D local matchers(∼76%) and global matchers(70%). | x | Lien | 17 |
Color texture | Color pixels classification | RGB, rgb, ISH, XYZ, xyz, YIQ, YUV, AC1C2, I1I2I3, L∗a∗b∗, L∗u∗v∗, L∗abC∗abhoab, L∗uvC∗uvhouv,L∗uvS∗uvhouv | Lien | 18 | ||||
Color texture | Haralick features | All | BarkTex benchmark database | Lien | "The rate of well-classified images obtained by considering the 10-dimensional feature space above determined reaches 85.6% by classifying test images with a k = 7 nearest neighbor classifier. The best classification result obtained with this benchmark database is 87%, with a 15-dimensional.
The best classification result obtained with the Haralick features extracted from co-occurrences matrices computedfrom LBP images coded in the single(R, G, B)space reaches72.7% (for k=7)." |
x | Lien | 19 |
Color texture | Morphological information | RGB, rgb, HSL, L∗a∗b∗, I1I2I3, L∗IV1 | Images prises dans un champs en côte d'or | - | Provides satisfying results but need to be validated on more images | x | Lien | 20 |
Analyse des approches
[modifier | modifier le code]Pour l'approche de fusion d'espaces couleurs, la fusion par LBP des couleurs ( Color LBP fusion) est l'approche qui donnent les meilleurs résultats pour ce type d'approche (plus de 95% d'exactitude). On peut cependant noter que celle-ci n'utilise pas tous les types d'espaces couleurs.
Pour l'approche de sélection d'espaces couleurs, il est difficile d'après les données obtenues de désigner quelle méthode est la meilleure. Il semble cependant que la sélection basée sur des modèles basées sur l'algorithme Mean-Shift offre de bonnes performances.
Pour l'approche de textures couleurs, une méthode se dégage clairement, celle-ci s'appliquant à tous les espaces couleurs et ayant plus de 90% de bons résultats, celle ci n'est autre que la "Reduced Size Chromatic Co-occurence Matrices".Autres classifieurs prometteurs
[modifier | modifier le code]Les classifieurs à base de réseaux de neurones artificiels (Artificial Neural Networks(ANN)) ont déjà beaucoup évolués. Des réseaux de neurones à convolution directement appliqués sur les images de la base étudiée(au lieu de se servir d’un ANN qui prend en entrée des descripteurs extraits manuellement) ont donné de très bons résultats. Ainsi, on voit que des descripteurs nouveaux, liés à des concepts mathématiques novateurs, permettent de surpasser certains des classifieurs étudiés ci-avant.
Rappelons qu'en vision par ordinateur, il n’existe pas une définition unanimement acceptée de la texture. Les définitions mathématiques fondées sur des propriétés statistiques sont soit trop générales (donc imprécises), soit trop restrictives pour s’adapter aux différents types de texture existantes.
Il y a de nombreuses techniques permettant de vérifier la fiabilité des descripteurs utilisés et la pertinence de l’approche de classifications. Cela ajouté à la diversité des bases d'images et des conditions de captures amènent à imaginer que les approches considérées sont bonnes pour une application et que chaque nouvelle approche est créée soit pour palier un manque, soit pour trouver une certaine forme d'automatisation.
Références
[modifier | modifier le code][1] C. Charrier, G. Lebrun, and O. Lezoray. Evidential segmentation of microscopic color images with pixel classification posterior probabilities. Journal of Multimedia, 2(3), 2007.
[2] S. Banerji, A. Sinha, and C. Liu. Haarhog: Improving the hog descriptor for image classification. In Proceedings of the IEEE International Conference on Systems, Man, and Cybernetics, pages 4276–4281, 2013.
[3] S. Banerji, A. Verma, and C. Liu. Novel color LBP descriptors for scene and image texture classification. In Proceedings of the 15th International Conference on Image Processing, Computer Vision, and Pattern Recognition, pages 537–543, 2011.
[4] M. Mignotte. A label field fusion bayesian model and its penalized maximum rand estimator for image segmentation. IEEE Transactions on Image Processing, 19(6):1610– 1624, June 2010.
[5] M. Mignotte. A de-texturing and spatially constrained K-means approach for image segmentation. Pattern Recognition Letters, 32(2):359–367, January 2011.
[6] A. Sinha, S. Banerji, and C. Liu. Novel color Gabor-LBP-PHOG (GLP) descriptors for object and scene image classification. In Proceedings of the Eighth Indian Conference on Computer Vision, Graphics and Image Processing, page 58. ACM, 2012.
[7] S. Banerji, A. Sinha, and C. Liu. New image descriptors based on color, texture, shape, and wavelets for object and scene image classification. Neurocomputing, 117:173–185, October 2013.
[8] H. Stern and B. Efros. Adaptive color space switching for tracking under varying illumination. Image and Vision Computing, 23(3):353–364, March 2005.
[9] C. Benedek and T. Szirányi. Study on color space selection for detecting cast shadows in video surveillance. International Journal of Imaging Systems and Technology, 17(3):190–201, 2007.
[10] L. Busin, N. Vandenbroucke, L. Macaire, and J. G. Postaire. Color space selection for unsupervised color image segmentation by histogram multi-thresholding. In Proceedings of the IEEE International Conference on Image Processing, volume 1, pages 203–206, 2004.
[11] A. Gupta and A. Chaudhary. Robust skin segmentation using color space switching. Pattern Recognition and Image Analysis, 26(1):61–68, January 2016.
[12] N. Vandenbroucke, L. Busin, and L. Macaire. Unsupervised color-image segmentation by multicolor space iterative pixel classification. Journal of Electronic Imaging,24(2):023032–023032, 2015.
[13] Y. Shan, F. Yang, and R. Wang. Color space selection for moving shadow elimination. In Proceedings of the Fourth IEEE International Conference on Image and Graph, pages 496–501, August 2007.
[14] N. Razmjooy, B. S. Mousavi, M. Khalilpour, and H. Hosseini. Automatic selection and fusion of color spaces for image thresholding. Signal, Image and Video Processing, 8(4):603–614, May 2014.
[15] F. Laguzet, M. Gouiffès, L. Lacassagne, and D. Etiemble. Automatic color space switching for robust tracking. In Proceedings of the IEEE International Conference on Signal and Image Processing Applications, pages 295–300, 2011.
[16] A. Porebski, N. Vandenbroucke, and L. Macaire. Supervised texture classification: color space or texture feature selection? Pattern Analysis and Applications, 16(1):1–18, 2013.
[17] L. Nanni and A. Lumini. Fusion of color spaces for ear authentication. Pattern Recognition, 42(9):1906–1913, September 2009.
[18] N. Vandenbroucke, L. Macaire, and J.-G. Postaire. Color pixels classification in an hybrid color space. In Proceedings of the IEEE International Conference on Image Processing, volume 1, pages 176–180, 1998.
[19] A. Porebski, N. Vandenbroucke, and L. Macaire. Haralick feature extraction from LBP images for color texture classification. In Proceedings of IEEE International Conference on Image Processing Theory, Tools and Applications, pages 1–8, 2008.
[20] F. Cointault, D. Guerin, J. P. Guillemin, and B. Chopinet. In field Triticum aestivum ear counting using color texture image analysis. New Zealand Journal of Crop and Horticultural Science, 36(2):117–130, 2008.
[21] C. Charrier, G. Lebrun, and O. Lezoray. Evidential segmentation of microscopic color images with pixel classification posterior probabilities. Journal of Multimedia, 2(3), 2007.
[22] L. Busin, N. Vandenbroucke, and L. Macaire. Color spaces and image segmentation. In Advances in Imaging and Electron Physics, volume 151, pages 65–168. Elsevier, 2009.
[23] N. Vandenbroucke, L. Busin, and L. Macaire. Unsupervised color-image segmentation by multicolor space iterative pixel classification. Journal of Electronic Imaging, 24(2):023032–023032, 2015.
[24] N. Vandenbroucke, L. Macaire, and J. G. Postaire. Color image segmentation by pixel classification in an adapted hybrid color space. Application to soccer image analysis. Computer Vision and Image Understanding, 90(2):190–216, May 2003.
[25] M. Mignotte. A label field fusion bayesian model and its penalized maximum rand estimator for image segmentation. IEEE Transactions on Image Processing, 19(6):1610– 1624, June 2010.
[26] S. Chindaro, K. Sirlantzis, and F. Deravi. Texture classification system using colour space fusion. Electronics Letters, 41(10):589–590, 2005.
[27] S. Chindaro, K. Sirlantzis, and M. C. Fairhurst. ICA-based multi-colour space texture classification system. Electronics Letters, 42(21):1208–1209, 2006.
[28] R. Khan, A. Hanbury, J. Stöttinger, F. A. Khan, A. U. Khattak, and Amjad Ali. Multiple color space channel fusion for skin detection. Multimedia Tools and Applications, 72(2):1709–1730, September 2014.
[29] P. Lambert and T. Carron. Symbolic fusion of luminance-hue-chroma features for region segmentation. Pattern recognition, 32(11):1857–1872, 1999.
[30] Y.-I. Ohta, T. Kanade, and T. Sakai, “Color information for region segmentation, ”Computer graphics and image process-ing, vol. 13, no. 3, pp. 222–241, 1980.