FR3048524A1

FR3048524A1 - REMOTE DISPLAY SYSTEM OF MEDICAL IMAGE

Info

Publication number: FR3048524A1
Application number: FR1670087A
Authority: FR
Inventors: Arnaud Renouf; Boris Lesner
Original assignee: Datexim
Current assignee: Datexim
Priority date: 2016-03-07
Filing date: 2016-03-07
Publication date: 2017-09-08
Also published as: WO2017153642A1

Abstract

Dispositif pour la transmission et l'affichage d'une image médicale à des fins de diagnostic, comprenant un poste client(51) relié, via un réseau de télécommunications, dans un mode à flux continu, à un serveur (52) stockant une image médicale dans un format d'origine, le poste client(51) comprenant un écran(53) et une interface homme-machine(54), dans lequel l'écran affiche une portion de l'image médicale dans un format fidèle au format d'origine et un indicateur visuel (55) de la fidélité de l'affichage au format d'origine.Device for the transmission and display of a medical image for diagnostic purposes, comprising a client station (51) connected, via a telecommunications network, in a continuous flow mode, to a server (52) storing an image in an original format, the client station (51) comprising a screen (53) and a human-machine interface (54), in which the screen displays a portion of the medical image in a format faithful to the origin and a visual indicator (55) of the fidelity of the display in the original format.

Description

Système d'affichage à distance d'une image médicaleRemote display system of a medical image

Le domaine technique de ia présente demande est celui de la diffusion d'images (en particulier médicales, c'est-à-dire représentant des parties du corps humain ou animal) à distance par un procédé dit à flux continu ou en anglais « streaming » : un flux d'images est envoyé depuis un serveur vers un client qui désire visualiser ces images.The technical field of the present application is that of the diffusion of images (in particular medical, that is to say representing parts of the human or animal body) remotely by a so-called streaming process or streaming English ": A stream of images is sent from a server to a client who wants to view these images.

Plus particulièrement, la présente demande concerne la diffusion des images médicale, de façon sécurisée et rapide afin de permettre aux utilisateurs de garder une navigation fluide dans ces images même en présence d'une bande passante limitée pour la diffusion, et d'une zone d'affichage sur un écran de l'utilisateur, dont le nombre de points d'affichage est très inférieur au nombre de points contenus dans l'image.More particularly, the present application relates to the dissemination of medical images, in a secure and fast manner to allow users to keep a smooth navigation in these images even in the presence of a limited bandwidth for broadcasting, and a zone d display on a user's screen, the number of display points of which is much smaller than the number of points contained in the image.

En effet, les images médicales sont généralement de grande taille par rapport aux écrans d'affichage (en stockage et en dimension ou nombre de points à afficher, notamment lorsqu'elles sont en format dit « pyramidal » avec plusieurs niveaux de pyramide, chaque niveau de pyramide correspondant à une résolution donnée correspondant à un niveau de zoom sur l'image, par exemple pour des images issues de scanner de lames microscopiques) ce qui impose de pouvoir se déplacer dans ces images afin de pouvoir en faire une interprétation fiable pour un diagnostic médical.Indeed, the medical images are generally large compared to the display screens (storage and dimension or number of points to display, especially when they are in "pyramid" format with several levels of pyramid, each level pyramid corresponding to a given resolution corresponding to a zoom level on the image, for example for images from microscopic slide scanner) which requires to be able to move in these images in order to make a reliable interpretation for a medical diagnosis.

Plusieurs effets sont attachés à la grande taille en stockage et en dimension des images médicales pour des systèmes de diffusion en streaming de ces images entre un serveur d'image ou de stockage et un client d'affichage distant du serveur.Several effects are attached to the large size in storage and dimension of medical images for streaming systems of these images between an image or storage server and a remote display client of the server.

Un des effets de la dimension importante des images médicales est généralement que le nombre de points d'une image médicale excède le nombre de points d'affichage disponible sur un écran d'un utilisateur. Celui-ci n'accède alors à chaque instant qu'à une vue de l'image correspondant à un choix d'afficher dans l'image un nombre de pixels égal à celui de l'écran et qui correspond ainsi à une zone incluse dans l'image ou sous-image dont le centre est affiché au centre de l'écran. Cette zone est généralement rectangulaire ou de même forme que l'écran.One of the effects of the large size of medical images is generally that the number of points in a medical image exceeds the number of display points available on a user's screen. It then accesses at each moment only a view of the image corresponding to a choice to display in the image a number of pixels equal to that of the screen and which thus corresponds to an area included in the image or sub-image whose center is displayed in the center of the screen. This area is usually rectangular or the same shape as the screen.

Il est alors nécessaire de déplacer la vue dans l'image lorsque l'utilisateur veut changer de vue, ce qu'il peut indiquer par exemple en pointant avec un périphérique de pointage un point différent du centre de l'écran. Le rôle du système de streaming est alors de translater la vue de l'utilisateur de façon fluide, jusqu'à la vue finale dans laquelle le point différent désigné dans l'image est affiché au centre de l'écran.It is then necessary to move the view in the image when the user wants to change his view, which he can indicate for example by pointing with a pointing device a different point of the center of the screen. The role of the streaming system is then to translate the view of the user smoothly, until the final view in which the different point designated in the image is displayed in the center of the screen.

Cependant un autre effet de la grande taille de stockage des images médicales est qu'il n'est pas possible en pratique de disposer de l'ensemble de l'image médicale sur un poste client ou d'affichage distant ce qui imposerait son transfert intégral sur un réseau de télécommunications entre le serveur et le client. Le serveur et le client échangent donc un ensemble de tuiles réalisant par juxtaposition une zone de l'image qui excède la vue instantanée de l'utilisateur. De plus, ces tuiles sont généralement stockées dans une mémoire cache d'affichage ou « cache », à accès rapide. Il est donc possible au poste client qui possède les tuiles de déplacer la vue pour le client de façon fluide, grâce au cache, jusqu'à ce que le changement de vue demandé par le client impose d'afficher une vue non incluse dans la zone pavée dans l'image par l'ensemble des tuiles disponibles dans le cache.However, another effect of the large storage size of the medical images is that it is not practically possible to have the entire medical image on a client station or remote display which would impose its full transfer on a telecommunications network between the server and the client. The server and the client therefore exchange a set of tiles by juxtaposing an area of the image that exceeds the user's instantaneous view. In addition, these tiles are usually stored in a cache cache or "cache", quick access. It is therefore possible for the client station that owns the tiles to move the view for the client smoothly, thanks to the cache, until the change of view requested by the client requires to display a view not included in the area paved in the image by the set of tiles available in the cache.

Il est donc nécessaire de transmettre périodiquement et avec une bonne fluidité des tuiles de l'image au cache du client. Cette caractéristique de fluidité ne peut être obtenue dans l'art antérieur à l'invention que par l'utilisation de techniques de compression irréversibles, appliquées aux tuiles de l'image médicale, pour diminuer leur taille de stockage et accélérer leur transmission sur un réseau de télécommunications, à distance. Ces techniques induisent une perte d'information par rapport au format d'origine correspondant au format des dispositifs d'acquisition que sont les scanners de lames microscopiques qui fournissent les images médicales et elles provoquent une transformation irréversible de l'image d'origine, à laquelle elles ne restent pas fidèles.It is therefore necessary to transmit periodically and with a good fluidity of the tiles of the image to the cache of the customer. This fluidity characteristic can be obtained in the art prior to the invention only by the use of irreversible compression techniques, applied to the tiles of the medical image, to reduce their storage size and accelerate their transmission over a network. telecommunications, remote. These techniques lead to a loss of information compared to the original format corresponding to the format of the acquisition devices that are the microscopic slide scans that provide the medical images and they cause an irreversible transformation of the original image, to which they do not remain faithful.

Toutefois, le fait de transformer un tant soit peu l'image d'origine obtenue en sortie du dispositif d'acquisition pose des problèmes quant à la réglementation car il faut valider que ces transformations (compression, redimensionnement ou « rescale » par exemple) ne font pas changer le diagnostic qui est posé.However, the fact of transforming a little bit the original image obtained at the output of the acquisition device poses problems with the regulation because it must be validated that these transformations (compression, resizing or "rescale" for example) do not do not change the diagnosis that is made.

En conséquence, dans l'art antérieur, soit les images médicales d'origine des microscopes sont affichées fidèlement ou compressées de façon réversible en local, soit elles sont affichées en streaming, à distance, en ayant subi des transformations irréversibles qui ne permettent pas d'assurer l'absence d'influence sur un diagnostic au vu de ces images.Consequently, in the prior art, either the original medical images of the microscopes are faithfully displayed or locally reversibly compressed, or they are displayed in streaming, remotely, having undergone irreversible transformations which do not permit ensure the absence of influence on a diagnosis in view of these images.

La transmission fidèle et rapide en streaming d'images médicales est donc pour l'art antérieur un problème difficile, notamment sur un réseau public comme le réseau internet.The faithful transmission and fast streaming of medical images is therefore for the prior art a difficult problem, especially on a public network such as the Internet.

Dans ce contexte, l'invention concerne un dispositif pour la transmission et l'affichage d'une image médicale à des fins de diagnostic, comprenant un poste client relié, via un réseau de télécommunications, dans un mode à flux continu, à un serveur stockant une image médicale dans un format d'origine , le poste client comprenant un écran et une interface homme-machine, dans lequel l'écran affiche une portion de l'image médicale dans un format fidèle au format d'origine et un indicateur visuel de la fidélité de l'affichage au format d'origine.In this context, the invention relates to a device for the transmission and display of a medical image for diagnostic purposes, comprising a client station connected, via a telecommunications network, in a continuous flow mode, to a server storing a medical image in an original format, the client station comprising a screen and a human-machine interface, in which the screen displays a portion of the medical image in a format faithful to the original format and a visual indicator the fidelity of the display in the original format.

Dans des variantes : - l'indicateur visuel de la fidélité de l'affichage au format d'origine est une pastille de couleur verte affichée sur l'écran. - l'indicateur visuel de la fidélité de l'affichage au format d'origine est une ligne de couleur verte affichée au bord de l'écran. L'invention concerne aussi un procédé pour la transmission et l'affichage sur un poste client, d'une image médicale stockée, dans un format d'origine, sur un serveur d'images relié au poste client via un réseau de télécommunications, dans un mode à flux continu, le poste client comprenant un écran d'affichage et une interface homme-machine, comprenant les étapes suivantes: - indiquer par l'interface homme-machine, une portion de l'image médicale, - transmettre au poste client un premier ensemble de tuiles de l'image médicale recouvrant la portion de l'image médicale, chaque tuile du premier ensemble étant transmise dans un format dégradé par rapport au format d'origine, - afficher à l'écran la portion de l'image médicale dans le format dégradé par rapport au format d'origine, au moyen du premier ensemble de tuiles, - transmettre au poste client un second ensemble de tuiles de l'image médicale recouvrant la portion de l'image médicale, chaque tuile du second ensemble étant transmise dans un format fidèle au format d'origine, - afficher à l'écran la portion de l'image médicale dans le format fidèle au format d'origine, au moyen du second ensemble de tuiles, - indiquer visuellement à l'écran, le format d'affichage de la portion de l'image.In variants: - the visual indicator of the fidelity of the display in the original format is a green pellet displayed on the screen. - the visual indicator of the fidelity of the display in the original format is a green line at the edge of the screen. The invention also relates to a method for the transmission and display on a client station of a stored medical image, in an original format, on an image server connected to the client station via a telecommunications network, in a a continuous flow mode, the client station comprising a display screen and a human-machine interface, comprising the following steps: - indicate by the human-machine interface, a portion of the medical image, - transmit to the client station a first set of tiles of the medical image covering the portion of the medical image, each tile of the first set being transmitted in a format that is degraded with respect to the original format, - displaying on the screen the portion of the image medical device in the format degraded from the original format, by means of the first set of tiles, - transmit to the client station a second set of tiles of the medical image covering the portion of the medical image, each tile of the second mble being transmitted in a format faithful to the original format, - display on the screen the portion of the medical image in the format true to the original format, by means of the second set of tiles, - indicate visually to the screen, the display format of the portion of the image.

Dans des variantes : - l'indication visuelle à l'écran du format d'affichage de la portion d'image est un affichage ou une indication du format dégradé par rapport au format d'origine, antérieurement à l'affichage à l'écran de la portion de l'image médicale, au moyen du second ensemble de tuiles. - l'indication visuelle à l'écran du format d'affichage de la portion d'image est un affichage ou une indication du format fidèle au format d'origine, postérieurement à l'affichage à l'écran de la portion de l'image médicale, au moyen du second ensemble de tuiles. - l'indication visuelle à l'écran du format d'affichage de la portion d'image est un affichage ou une indication du format dégradé par rapport au format d'origine antérieurement à l'affichage à l'écran de la portion de l'image médicale, au moyen du second ensemble de tuiles puis un affichage ou une indication du format fidèle au format d'origine, postérieurement à l'affichage à l'écran de la portion de l'image médicale, au moyen du second ensemble de tuiles. - l'affichage ou l'indication du format dégradé est un affichage à l'écran d'une pastille rouge. - l'affichage ou l'indication du format fidèle est un affichage à l'écran d'une pastille verte. - l'affichage ou l'indication du format dégradé puis du format fidèle est un affichage à l'écran d'une pastille rouge puis d'une pastille verte.In variants: - the visual indication on the screen of the display format of the image portion is a display or an indication of the format that is degraded compared to the original format, prior to the display on the screen of the portion of the medical image, by means of the second set of tiles. - the visual indication on the screen of the display format of the portion of the image is a display or an indication of the format true to the original format, after the display on the screen of the portion of the medical image, using the second set of tiles. the visual indication on the screen of the display format of the portion of the image is a display or an indication of the format that has been degraded with respect to the original format prior to the display on the screen of the portion of the image medical image, by means of the second set of tiles and then a display or an indication of the format faithful to the original format, after the display of the portion of the medical image on the screen, by means of the second set of tiles. roof tiles. the display or the indication of the degraded format is an on-screen display of a red dot. - the display or the indication of the faithful format is an on-screen display of a green dot. - The display or the indication of the degraded format and the faithful format is an on-screen display of a red pellet and a green pellet.

Dans des variantes supplémentaires : - le serveur et le client distant sont reliés par un réseau de télécommunications internet ou intranet. - le format d'origine est un format choisi dans la famille des formats propriétaires tels que SVS, SCN, MRXS, NDPI, BIP ou standards tels que DICOM, JPEG, JPEG 2000, TIFF, BigTIFF. - le format compressé est un format choisi dans la famille des formats comprenant les formats JPEG, JPEG 2000 qui peut être avec ou sans perte d'information. - l'image médicale est tuilée, au sens de constituée d'un ensemble de portions dont la juxtaposition réalise l'image. - l'image médicale est pyramidale, au sens de comprenant plusieurs niveaux représentant un même objet avec différents niveaux de résolution ou de détail. - l'image médicale est non tuilée et non pyramidale mais le serveur émule le tuilage à la volée et le format pyramidal pour le client. L'invention sera mieux comprise en lien, pour les numéros entre parenthèses, avec les figures dont la liste est donnée ci-dessous :In additional variants: - the server and the remote client are connected by an Internet or intranet telecommunications network. - the original format is a format chosen from the family of proprietary formats such as SVS, SCN, MRXS, NDPI, BIP or standards such as DICOM, JPEG, JPEG 2000, TIFF, BigTIFF. the compressed format is a format chosen from the family of formats including JPEG, JPEG 2000 formats which can be with or without loss of information. - The medical image is tiled, in the sense of consisting of a set of portions whose juxtaposition realizes the image. the medical image is pyramidal, in the sense of comprising several levels representing the same object with different levels of resolution or detail. - The medical image is non-tuile and not pyramidal but the server emulates the tiling on the fly and the pyramid format for the client. The invention will be better understood in connection, for the numbers in parentheses, with the figures whose list is given below:

Figure 1: Image tuilée avec zone de visualisationFigure 1: Tiled image with viewing area

Figure 2 : les 8 tuiles de la zone visualiséeFigure 2: The 8 tiles of the visualized area

Figure 3 : tuiles de pré-renduFigure 3: Pre-rendered tiles

Figure 4 : tuiles de « pre-fetch »Figure 4: Pre-fetch tiles

Figure 5 : Un dispositif de l'invention comprenant un écran local affichant une portion d'image médicale dans un format d'origine identique au format de l'image totale détenue par un serveur distant, l'écran affichant aussi un indicateur visuel de la présence du format d'origine de l'image sur l'écran qui est une pastille de couleur verte, affichée en remplacement d'une pastille de couleur rouge affichée à l'écran lorsque le format d'origine n'est pas présenté à l'écran pour l'image mais qu'une version transformée de l'image est fournie. L'invention sera mieux comprise en lien avec la description ci-dessous. L'invention présente des avantages liés à ses caractéristiques détaillées ci-dessous: 1. un procédé de compression adaptative pour que l'utilisateur continue à naviguer de façon fluide dans des images lourdes c'est-à-dire correspondant à des fichiers de grande taille sur disque parce qu'ils contiennent beaucoup d'information, et ce même lorsqu'il se trouve à distance et avec des débits, notamment sur le réseau internet, qui sont limités. 2. un indicateur qui informe l'utilisateur sur la qualité des images visualisées, à savoir si elles correspondent exactement aux images d'origine en sortie du dispositif d'acquisition ou si elles sont une version dégradée, donc avec perte d'information, de celles-ci.Figure 5: A device of the invention comprising a local screen displaying a medical image portion in a format identical to the original format of the total image held by a remote server, the screen also displaying a visual indicator of the presence of the original format of the image on the screen which is a green pellet, displayed in place of a red pellet displayed on the screen when the original format is not presented to the screen screen for the image but a transformed version of the image is provided. The invention will be better understood in connection with the description below. The invention has advantages related to its characteristics detailed below: 1. an adaptive compression method so that the user continues to navigate fluidly in heavy images that is to say corresponding to large files; size on disk because they contain a lot of information, even when it is remote and with speeds, especially on the Internet, which are limited. 2. an indicator that informs the user of the quality of the images viewed, whether they correspond exactly to the original images at the output of the acquisition device or if they are a degraded version, ie with loss of information, of them.

Sur la compression adaptative :On adaptive compression:

Les images diffusées par le serveur de streaming d'images subissent une compression avec perte d'information coté serveur avant leur envoi lorsque l'utilisateur est en mouvement et qu'il ne passe donc que très peu de temps sur la zone visualisée, montrant ainsi que les détails sur cette zone présentent peu d'importance pour lui. La version compressée envoyée à ce moment est donc beaucoup plus légère et le temps de transmission de ces données est par conséquent beaucoup plus court. Coté client, l'image à son arrivée est décompressée et affichée à l'utilisateur.The images broadcast by the image streaming server undergo server-side information loss compression before they are sent when the user is in motion and so spend only a very short time on the displayed area, thus showing that the details about this area are of little importance to him. The compressed version sent at this time is therefore much lighter and the transmission time of these data is consequently much shorter. On the client side, the image on arrival is unpacked and displayed to the user.

Lorsque l'utilisateur reste sur une zone, les images sont alors envoyées dans leur qualité d'origine, ce qui prend plus de temps. En revanche, dans ce cas l'image observée est complètement fidèle à celle obtenue en sortie du dispositif d'acquisition puisque aucune transformation avec perte ne lui est appliquée.When the user stays on an area, the images are sent in their original quality, which takes longer. On the other hand, in this case the image observed is completely faithful to that obtained at the output of the acquisition device since no lossy transformation is applied to it.

Sur l'indicateur de qualité:On the quality indicator:

Savoir que l'image observée est bien la même que celle obtenue en sortie du dispositif présente des avantages au niveau réglementaire car le diagnostic est donc fait sur une image non transformée. Les fabricants de dispositif d'acquisition d'images font apposer un marquage réglementaire sur leur produit (marquage CE ou FDA des dispositifs médicaux par exemple) afin que ceux-ci puissent être utilisés pour faire du diagnostic et donc que leurs images sont de suffisamment bonne qualité pour permettre ce diagnostic. Pour visualiser les images et faire un diagnostic à partir de celles-ci, il est important que l'utilisateur puisse être sûr que l'image visualisée représente bien l'image d'origine.Knowing that the observed image is the same as that obtained at the output of the device has regulatory advantages because the diagnosis is made on a non-transformed image. Manufacturers of image acquisition devices have a regulatory marking on their product (CE marking or FDA medical devices for example) so that they can be used to make the diagnosis and therefore their images are good enough quality to enable this diagnosis. To visualize images and make a diagnosis from them, it is important that the user can be sure that the image displayed represents the original image.

Les dispositifs de visualisation de l'art antérieur sont : soit trop lents car ils n'utilisent pas de compression avec perte d'information pour la transmission des images à distance, rendant ainsi l'expérience utilisateur mauvaise et donc l'utilisation de ce genre de dispositif inadaptée soit ils ne donnent pas d'information claire sur la qualité de l'image visualisée par rapport à celle produite par le dispositif d'acquisition, amenant ainsi la possibilité de faire ce diagnostic sur une image dans sa version compressée avec perte d'information et qui a donc perdu des détails par rapport à l'image d'origine dont la qualité est garantie par les contrôles effectués sur les dispositifs d'acquisition validés pour faire du diagnostic médical. L'indicateur de la présente demande informe avantageusement l'utilisateur sur la qualité des images qui sont observées, à savoir : un état dit de basse qualité ou LQ (en anglais « low quality »), qui prévient que certains morceaux d'image présentés à l'écran sont dans une version compressée avec perte d'information par rapport à i'image d'origine. Cet état peut, notamment, être indiqué à i'utiiisateur par une pastiiie rouge ou une iigne rouge affichée à i'écran en même temps que i'image. un état dit haute quaiité HQ, (en angiais « high quaiity »), qui informe que toutes ies parties d'images affichées à i'écran sont identiques à ia version d'origine obtenue en sortie du dispositif d'acquisition. Cet état peut, notamment, être indiqué à i'utiiisateur par une pastiiie verte ou une iigne verte affichée à i'écran en même temps que i'image et rempiaçant i'indicateur de basse quaiité.The visualization devices of the prior art are: either too slow because they do not use information loss compression for remote image transmission, thus rendering the user experience bad and thus the use of this kind unsuitable device either they do not give clear information on the quality of the image displayed compared to that produced by the acquisition device, thus bringing the possibility of making this diagnosis on an image in its compressed version with loss of information and therefore lost details compared to the original image whose quality is guaranteed by the controls on validated acquisition devices for medical diagnosis. The indicator of the present application advantageously informs the user of the quality of the images that are observed, namely: a so-called low quality state or LQ (in English "low quality"), which prevents certain pieces of image presented on the screen are in a compressed version with loss of information compared to the original image. This state may, in particular, be indicated to the user by a red pastiiie or a red line displayed on the screen at the same time as the image. a so-called high quaiity (HQ) state, which informs that all the image portions displayed on the screen are identical to the original version obtained at the output of the acquisition device. This state may, in particular, be indicated to the user by a green pastiiie or a green line displayed on the screen at the same time as the image and filling the indicator of low quaiité.

Mode de réaiisation détaiiié :Refined mode of realization:

Le mode de réaiisation divuigué reprend un système de cache utiiisé coté ciient qui améliore le temps de réponse du système de visualisation et qui implémente le procédé proposé dans la partie sur l'avantage principal de la solution. L'idée est de limiter le temps nécessaire pour commencer à afficher des tuiles à l'utilisateur afin de masquer le temps de transmission nécessaire pour obtenir l'ensemble des tuiles avec le plus de détail possible. À titre de d'exemple sur la Figure 1 on considère une image tuilée(l) de grande dimension qui correspond à un niveau N donné d'une image pyramidale. Chaque niveau N correspond à un niveau de zoom (une résolution) dans l'image acquise. On considère donc une grande image décomposée en un nombre donné de tuiles et la zone visualisée(2) ou vue de l'image est représentée par un rectangle avec des bords arrondis. La taille de la zone visualisée(2) dépend du dispositif d'affichage utilisée, i.e. des capacités d'affichage en pixels ou points de son écran. Une fois toutes les informations transmises, l'utilisateur visualise donc des tuiles d'une zone tuilée (3) dans leur version Haute Qualité i.e. dans leur version en mode sans perte, compressée ou non (donc fidèle à l'image d'origine).The divuigreed embodiment uses a caching system used above which improves the response time of the visualization system and implements the method proposed in the section on the main advantage of the solution. The idea is to limit the time needed to start displaying tiles to the user in order to hide the transmission time needed to get all the tiles in as much detail as possible. By way of example in FIG. 1, consider a large-sized tiled image (1) that corresponds to a given level N of a pyramidal image. Each N level corresponds to a zoom level (a resolution) in the acquired image. We therefore consider a large decomposed image in a given number of tiles and the visualized area (2) or view of the image is represented by a rectangle with rounded edges. The size of the displayed area (2) depends on the display device used, i.e. display capabilities in pixels or points on its screen. Once all the information transmitted, the user thus visualizes tiles of a tiled zone (3) in their High Quality version ie in their version in lossless mode, compressed or not (thus faithful to the original image) .

Dans la suite, on considère toujours partir de cette zone de 8 tuiles ou zone tuilée (3) qui doivent être affichées le plus rapidement possible à l'utilisateur (Figure 2)In the following, we always consider starting from this zone of 8 tiles or tiled zone (3) which must be displayed as quickly as possible to the user (Figure 2)

Lors de tout déplacement de l'utilisateur (par exemple : translation, zoom in ou zoom avant, zoom out ou zoom arrière, rotation), 4 listes de tuiles à charger sont vidées et remplies par les tuiles correspondantes à la nouvelle zone à visualiser. L'indicateur de qualité passe alors en statut Basse Qualité. Un système de cache permet de garder les N dernières tuiles accédées et avant toute requête de tuile vers le serveur, le système regarde dans ce cache si les tuiles à afficher ou à charger sont disponibles dans le cache afin d'éviter des requêtes inutiles vers le serveur. Ces 4 listes sont remplies et traitées de façon séquentielle, la séquence étant directement interrompue si un nouveau mouvement est réalisé par l'utilisateur : une liste de tuiles dites de pré-rendu qui correspondent au niveau de zoom inférieur dans l'image afin de réduire par 4 le nombre de tuiles à charger et proposer un rendu quasi immédiat de la zone visualisée (Figure 3). Sur la Figure 3, on voit donc que les 8 tuiles nécessaires pour l'affichage en haute qualité de la zone visualisée sont réduites à 2 tuiles qui sont alors demandées en basse qualité (compression avec perte utilisée coté serveur pour réduire le temps de transmission). Elles sont demandées en priorité afin d'afficher dès que possible un premier rendu à l'utilisateur et lui masquer le temps nécessaire à obtenir les tuiles suivantes. une liste de tuiles ou zone tuilée (3) pour la zone visualisée, donc les 8 tuiles (3) de la Figure 2 demandée en version compressée avec perte donc Basse Qualité dans un premier temps afin de les afficher très vite à l'utilisateur. Si une même tuile est disponible dans le cache en version Flaute Qualité c'est celle-ci qui est directement affichée. Nous verrons plus loin qu'une règle est appliquée au niveau cache client pour ne conserver qu'une seule version d'une même tuile. une liste de tuiles ou zone tuilée (3) de la zone visualisée, donc les mêmes que la liste précédente mais cette fois en version compressée sans perte donc Flaute Qualité et fidèle à l'image d'origine. L'indicateur une fois cette liste chargée et affichée passe alors en statut Flaute Qualité indiquant à l'utilisateur qu'il a sous les yeux le même niveau de détail que dans l'image d'origine et qu'il peut donc interpréter la zone visualisée pour faire un diagnostic. une liste de tuiles dite « pre-fetch» (ou pré-procurement) permettant d'anticiper les prochains mouvements de l'utilisateur et d'avoir déjà chargé les tuiles nécessaires dans le cache pour les afficher immédiatement (Figure 4). Cette zone de pré-procurement comprend une zone de tuiles de bord(40) entourant la zone visualisée(3) . Ces tuiles de bord sont mises en priorité dans cette liste et demandées en mode compressé avec perte et ensuite des tuiles de zoom dans une zone centrale(41) intérieure à la zone visualisée (3), elles aussi en mode compressé pour anticiper une demande de zoom in au centre de l'image.During any movement of the user (for example: translation, zoom in or zoom in, zoom out or zoom out, rotation), 4 lists of tiles to load are emptied and filled by the tiles corresponding to the new area to be viewed. The quality indicator then changes to Low Quality status. A cache system keeps the N last tiles accessed and before any tile request to the server, the system looks in this cache if the tiles to display or load are available in the cache to avoid unnecessary queries to the server. server. These 4 lists are filled and processed sequentially, the sequence being directly interrupted if a new movement is made by the user: a list of so-called pre-rendering tiles that correspond to the lower zoom level in the image to reduce by 4 the number of tiles to load and offer an almost immediate rendering of the area displayed (Figure 3). In Figure 3, we see that the 8 tiles needed for high quality display of the visualized area are reduced to 2 tiles which are then requested in low quality (lossy compression used on the server side to reduce the transmission time) . They are requested in priority in order to display as soon as possible a first rendering to the user and to mask to him the time necessary to obtain the following tiles. a list of tiles or tiled area (3) for the area displayed, so the 8 tiles (3) of Figure 2 requested in compressed version with loss so low quality at first in order to display them very quickly to the user. If the same tile is available in the cache version Flaut Quality is it that is directly displayed. We will see later that a rule is applied at the client cache level to keep only one version of the same tile. a list of tiles or tiled area (3) of the area displayed, so the same as the previous list but this time in a compressed version without loss so Flaut Quality and faithful to the original image. Once the list has been loaded and displayed, the indicator will change to Quality Flood status, indicating to the user that he has the same level of detail as in the original image and can therefore interpret the area. visualized to make a diagnosis. a list of tiles called "pre-fetch" (or pre-procurement) to anticipate the next movements of the user and have already loaded the necessary tiles in the cache to display them immediately (Figure 4). This pre-procurement area includes an edge tile area (40) surrounding the visualized area (3). These edge tiles are prioritized in this list and requested in lossy compressed mode and then zoom tiles in a central area (41) within the visualized area (3), also in compressed mode to anticipate a request for zoom in in the center of the image.

Le traitement de ces listes de tuiles revient à vérifier pour les 3 premières (pré-rendu, tuiles de la zone visualisée en mode compressé avec perte puis sans perte) si elles sont disponibles dans le cache client et de les afficher immédiatement le cas échéant. Si elles ne sont pas disponibles une requête est alors effectuée vers le serveur de tuiles afin de les obtenir.The processing of these lists of tiles is to check for the first 3 (pre-rendering, tiles of the area viewed in compressed mode with loss and lossless) if they are available in the client cache and display them immediately if necessary. If they are not available a query is then made to the tile server in order to obtain them.

La dernière liste de « pre-fetch » est utilisée pour charger en cache les tuiles qui seront probablement prochainement requises afin d'anticiper les futurs mouvements de l'utilisateur et de profiter de les charger pendant que l'utilisateur visualise la zone présentée.The last list of "pre-fetch" is used to cache the tiles that will probably be required soon to anticipate the future movements of the user and enjoy loading them while the user views the area presented.

Le cache client est une liste de tuiles chargées prêtes à être affichées. Cette liste est limitée en nombre de tuiles afin de ne pas surcharger la mémoire des postes clients. Nous appliquons aussi certaines règles : si une tuile en Haute Qualité arrive et qu'elle existe également dans le cache dans sa version Basse Qualité, alors elle est remplacée par cette tuile Haute Qualité et sera fournie lors de toute demande d'affichage que ce soit en basse ou haute qualité. lorsque le cache est plein, toute nouvelle tuile à mettre dans le cache, donc demandée en accès, remplace la tuile la plus anciennement accédée au niveau du cache (cache de type « Least Recently Used » - moins récemment utilisé).The client cache is a list of loaded tiles ready to be displayed. This list is limited in number of tiles so as not to overload the memory of the client computers. We also apply some rules: if a High Quality tile arrives and it also exists in the cache in its Low Quality version, then it is replaced by this High Quality tile and will be provided during any display request whether it is in low or high quality. when the cache is full, any new tile to put in the cache, so requested access, replaces the oldest tile accessed at the cache (cache type "Least Recently Used").

Dans l'enseignement de la présente demande, un cache peut être également utilisé coté serveur en suivant l'implémentation proposée pour certains proxy web dite « Greedy Dual Size Frequency Caching Policy ». Ce cache conserve une liste de tuiles qui ont été requêtées en suivant une règle qui dépend de la fréquence d'accès à cette tuile, du coût informatique de la création de cette tuile et de son poids.In the teaching of the present application, a cache can also be used on the server side by following the implementation proposed for some web proxy called "Greedy Dual Size Frequency Caching Policy". This cache maintains a list of tiles that have been requested by following a rule that depends on the frequency of access to that tile, the IT cost of creating that tile, and its weight.

En référence à la figure 5 pour les numéros entre parenthèses, un dispositif selon l'invention est maintenant décrit.With reference to FIG. 5 for the numbers in parentheses, a device according to the invention is now described.

Dans ce dispositif, un poste client (51) est relié à un serveur distant(52) via un réseau de télécommunications, comme un réseau internet. Le serveur dispose d'une image médicale dans un format d'origine issu par exemple d'un scanner de lames microscopiques. Un type d'image est par exemple un ensemble d'images tuilées stockées dans une image pyramidale et qui représentent ensemble à différents grandissements une coupe d'un organe humain ou animal, ou encore de végétaux ou de minéraux. Ce format d'origine est obtenu en sortie du dispositif d'acquisition qui est dans ce cas un scanner de lames et dont les données le constituant sont dépendantes des paramètres d'acquisition utilisés. Il peut donc être avec perte ou sans perte d'information par rapport aux données issues du capteur (format RAW ou brut).In this device, a client station (51) is connected to a remote server (52) via a telecommunications network, such as an Internet network. The server has a medical image in an original format, for example from a microscopic slide scanner. A type of image is for example a set of tiled images stored in a pyramidal image and which together represent at different magnifications a section of a human or animal organ, or plants or minerals. This original format is obtained at the output of the acquisition device which is in this case a blade scanner and whose data constituting it are dependent on the acquisition parameters used. It can therefore be with loss or loss of information compared to data from the sensor (RAW or raw format).

Le serveur(52) est doté d'une puissance de calcul et de stockage le rendant capable, à la volée ou à la demande, d'extraire des portions ou tuiles de l'image et de les encoder sans perte d'information , de façon compressée ou non, ou compressée avec perte d'information, permettant alors une transmission rapide adaptée à une visualisation durant un déplacement de l'image sur le poste client(51). Le poste client est muni d'un écran(53) et d'un clavier (54) muni de flèches de déplacement. L'utilisateur peut ainsi indiquer qu'il souhaite se déplacer dans l'image ou la faire défiler à l'écran.The server (52) is provided with computing and storage power making it capable, on the fly or on demand, of extracting portions or tiles from the image and encoding them without loss of information, compressed or not, or compressed with loss of information, then allowing a fast transmission adapted to a display during a displacement of the image on the client station (51). The client station is provided with a screen (53) and a keyboard (54) provided with movement arrows. The user can indicate that he wants to move in the image or scroll on the screen.

Un programme intégré à un navigateur internet classique, écrit par exemple en Javascript côté client sur le poste client, permet au client de demander au serveur dans l'ordre, une liste de tuiles compressées avec perte ou non, puis la liste de tuiles sans perte, compressées ou non, puis d'afficher une pastille ronde verte (55) sur l'écran (53) du poste client(51). Alternativement à l'affichage de la portion d'image sans perte et du rond vert, il serait aussi possible d'afficher une pastille ronde rouge et soit de la faire disparaître soit de la remplacer par la pastille ronde verte (55) lorsque la portion d'image sans perte par rapport au format d'origine est affichée sur l'écran(53) du poste client (51). Le programme peut ainsi enchaîner en streaming le chargement d'images et finir sur l'affichage de la pastille verte (55).A program integrated into a classic web browser, written for example in client-side JavaScript on the client computer, allows the client to request the server in order, a list of lossy compressed tiles or not, and the list of lossless tiles. , compressed or not, then display a green round pellet (55) on the screen (53) of the client station (51). As an alternative to displaying the lossless image portion and the green circle, it would also be possible to display a red round pellet and either to make it disappear or to replace it with the green round pellet (55) when the portion image without loss from the original format is displayed on the screen (53) of the client station (51). The program can thus stream the loading of images and finish on the display of the green chip (55).

Dans le cas d'un déplacement rapide ou continu, le procédé ci dessus est interrompu puis répété à chaque nouvelle interaction de l'utilisateur amenant à modifier la zone à afficher.In the case of a fast or continuous movement, the above method is interrupted and repeated at each new interaction of the user leading to change the area to be displayed.

On observe que l'indicateur visuel de la présente demande remplit une fonction technique de détection de la fidélité ou de la qualité d'une image médicale transmise et affichée relativement à l'image dans son format d'origine. Cette détection est obtenue en combinant le processus de transmission, par exemple en streaming, de l'image médicale et sa visualisation. L'invention obtient avec un moyen très simple, qui est l'indication, sur l'écran du poste client d'un système de visualisation, par exemple en streaming, de la fidélité d'une zone ou portion d'une image affichée sur le client, à la même zone ou portion de l'image détenue ou stockée par le serveur, plusieurs avantages importants pour l'utilisateur et pour le constructeur d'un système de visualisation en streaming d'images médicales: l'indicateur affiche l'état de la restitution à l'écran de l'image, soit dégradée soit fidèle à l'image d'origine. Il permet d'établir à distance un diagnostic dans des conditions de restitution identiques en pratique à celles obtenues en local; l'indicateur peut informer ergonomiquement l'utilisateur de la fin de la transmission haute qualité O soit par affichage de l'indication « basse qualité » durant la transmission d'une image dégradée et disparition de cet affichage en état « haute qualité » fidèle; O soit par affichage de l'information « haute qualité » en fin de transmission d'une image fidèle, sans affichage de l'indicateur de l'état « basse qualité »; O soit enfin dans le mode préféré pour l'invention, un affichage d'une indication « basse qualité » durant la transmission rapide d'une image dégradée puis l'affichage d'une indication « haute qualité » à la fin de la transmission plus lente d'une image fidèle par rapport à une image d'origine ; l'indicateur de haute qualité sur l'écran permet au système intégrant l'invention d'être un système de transmission d'image qui n'a pas d'effet médical dans l'état haute qualité et qui reste donc un dispositif médical réalisant un simple transport technique d'image et proposant une visualisation sans transformation d'image, ce qui simplifie sa certification (par exemple une auto-certification par opposition à une certification délivrée par un organisme notifié).It is observed that the visual indicator of the present application fulfills a technical function of detecting the fidelity or the quality of a medical image transmitted and displayed relative to the image in its original format. This detection is obtained by combining the process of transmission, for example streaming, of the medical image and its visualization. The invention obtains with a very simple means, which is the indication, on the screen of the client station of a display system, for example in streaming, the fidelity of a zone or portion of an image displayed on the client, at the same zone or portion of the image held or stored by the server, several important advantages for the user and for the constructor of a medical image streaming system: the indicator displays the state of the restitution on the screen of the image, either degraded or faithful to the original image. It makes it possible to establish a diagnosis remotely in conditions of restitution identical in practice to those obtained locally; the indicator can ergonomically inform the user of the end of the high quality transmission O by displaying the "low quality" indication during the transmission of a degraded image and the disappearance of this display in a "high quality" faithful state; O either by displaying "high quality" information at the end of transmission of a faithful image, without displaying the "low quality" status indicator; O is finally in the mode preferred for the invention, a display of a "low quality" indication during the fast transmission of a degraded image then the display of a "high quality" indication at the end of the transmission more slow of an image faithful to an original image; the high quality indicator on the screen allows the system incorporating the invention to be an image transmission system that has no medical effect in the high quality state and therefore remains a medical device realizing a simple technical transport of image and offering a visualization without image transformation, which simplifies its certification (for example a self-certification as opposed to a certification delivered by a notified body).

Ces avantages permettent ainsi, en pratique, l'utilisation d'un système de streaming pour le diagnostic à distance ou l'aide au diagnostic à distance, sur des images médicales, c'est-à-dire sur des images représentant des parties du corps humain ou animal, sans erreur induite par la transmission de l'image, ce qui est essentiel pour des images utilisées à des fins de diagnostic médical.These advantages thus make it possible, in practice, to use a streaming system for remote diagnosis or assistance with remote diagnosis, on medical images, ie on images representing parts of the human or animal body, without error induced by the transmission of the image, which is essential for images used for medical diagnostic purposes.

Au sens de la présente demande, une interface homme-machine peut notamment être un ensemble écran-clavier dont certaines touches permettent d'indiquer un déplacement sur l'écran ou un ensemble écran-périphérique de pointage comme une souris d'ordinateur ou un pavé tactile pour indiquer un déplacement sur l'écran.For the purposes of the present application, a human-machine interface may notably be a screen-keyboard assembly, some of whose keys make it possible to indicate a displacement on the screen or a set-screen-pointing device such as a computer mouse or a keypad touch to indicate a movement on the screen.

Au sens de la présente demande, un serveur distant est un serveur informatique relié à un poste client par un réseau à bande passante limitée ne permettant pas un affichage fluide d'un déplacement dans une image médicale.For the purposes of the present application, a remote server is a computer server connected to a client station by a limited bandwidth network does not allow a fluid display of a displacement in a medical image.

Au sens de la présente demande, on entendra aussi par : « Format » : un encodage de données informatiques associées dans un contexte, à un objet. « Format d'image » : un encodage de données informatiques associées dans un contexte d'affichage, à une image. « Format d'origine » : un format d'image issu d'un périphérique d'acquisition, notamment d'un microscope muni de moyens de numérisation d'une image comme un «scannerde lames microscopiques ». « Format fidèle à un format d'origine » : Format encodant les mêmes données, sans perte d'information par rapport au format d'origine. Les données du format fidèle peuvent être différentes par suite d'une compression sans perte de l'information, ou encore suite à une transformation réversible de l'information correspondant aux données. L'affichage sur un écran dans un format fidèle au format d'origine permet de pouvoir garantir la présence sur l'écran des mêmes données que celles encodées par le format d'origine. Autrement dit, la matrice de pixels affichée à l'écran coté client est la même que si cette même portion de l'image d'origine était affichée directement depuis son format d'origine en utilisant un visualiseur qui fournit une représentation fidèle des pixels contenus dans l'image d'origine. « Format dégradé par rapport à un format d'origine » : Format encodant des données issues d'une transformation irréversible sur l'information contenue dans le format d'origine ou avec perte d'information par rapport au format d'origine. La transmission de l'information du format dégradé est d'autant plus rapide sur un réseau donné que la perte d'information est importante par rapport au format d'origine. L'affichage sur un écran dans un format dégradé ou non-fidèle au format d'origine ne permet pas de garantir dans tous les cas, la présence sur l'écran des mêmes données que celles encodées par le format d'origine. Autrement dit, la matrice de pixels affichée à l'écran coté client n'est donc plus exactement la même qu'en utilisant directement les pixels contenus dans l'image d'origine. « Image tuilée » : Image dans un format donné qui est décomposée en plusieurs morceaux d'image ou tuiles ou portions d'image, dont la juxtaposition permet de reconstituer l'image entière. La visualisation sur un écran d'une zone d'une image restant à l'intérieur d'un ensemble de tuiles d'une image tuilée, permet l'utilisation d'un cache rapide, stockant localement, sur un poste client, les tuiles pour l'affichage à l'écran et permet d'accélérer la fluidité des déplacements de la zone visualisée dans l'image sur l'écran ou de façon équivalente, les déplacements à l'écran dans l'image. « Image pyramidale ou multi-résolutions » : Image dans un format donné qui est décomposée en plusieurs niveaux de résolution, chaque niveau, tuilé ou non, correspondant à une résolution donnée ou un niveau de zoom sur l'image. L'invention est susceptible d'application industrielle dans le domaine des systèmes de partage d'images médicales sur un réseau informatique et une application utile du dispositif de l'invention est le diagnostic à distance sur une image médicale.For the purposes of the present application, the following terms will also be used: "Format": an encoding of associated computer data in a context, to an object. "Image Format": an encoding of associated computer data in a display context, to an image. "Original format": an image format derived from an acquisition device, in particular a microscope provided with means for digitizing an image such as a "microscopic slide scanner". "Format true to original format": Format encoding the same data, without loss of information compared to the original format. The data of the faithful format can be different as a result of a compression without loss of information, or following a reversible transformation of the information corresponding to the data. The display on a screen in a format faithful to the original format makes it possible to guarantee the presence on the screen of the same data as those encoded by the original format. In other words, the pixel matrix displayed on the client-side screen is the same as if this same portion of the original image was displayed directly from its original format using a visualizer that provides a faithful representation of the pixels contained in the original image. "Degraded format compared to an original format": Format encoding data resulting from an irreversible transformation on the information contained in the original format or with loss of information compared to the original format. The transmission of the information of the degraded format is all the more rapid on a given network that the loss of information is important compared to the original format. The display on a screen in a degraded format or not faithful to the original format does not guarantee in any case, the presence on the screen of the same data as those encoded by the original format. In other words, the matrix of pixels displayed on the client-side screen is therefore no longer exactly the same as using the pixels contained in the original image directly. "Tiled Image": Image in a given format that is decomposed into several pieces of image or tiles or image portions, the juxtaposition of which allows the entire image to be reconstructed. The visualization on a screen of a zone of an image remaining inside a set of tiles of a tiled image, allows the use of a fast cache, storing locally, on a client station, the tiles for the display on the screen and makes it possible to accelerate the fluidity of the displacements of the zone visualized in the image on the screen or, in an equivalent way, the displacements on the screen in the image. "Pyramid or multi-resolution image": Image in a given format that is decomposed into several levels of resolution, each level, whether or not tile, corresponding to a given resolution or a zoom level on the image. The invention is susceptible of industrial application in the field of medical image sharing systems on a computer network and a useful application of the device of the invention is the remote diagnosis on a medical image.

Claims

Claims [1] Device for the transmission and display of a medical image for diagnostic purposes, comprising a client station (51) connected via a telecommunications network in a continuous flow mode to a server (52) ) storing a medical image in an original format, the client station (51) comprising a screen (53) and a human-machine interface (54), characterized in that the screen displays a portion of the medical image in a format faithful to the original format and a visual indicator (55) of the fidelity of the display in the original format. [2] Method for the transmission and display on a client station of a stored medical image, in an original format, on an image server connected to the client station via a telecommunications network, in a mode to continuous flow, the client station comprising a display screen and a human-machine interface, comprising the following steps: - indicate by the human-machine interface, a portion of the medical image, - transmit to the client station a first set of tiles of the medical image covering the portion of the medical image, each tile of the first set being transmitted in a format that is degraded with respect to the original format, - displaying on the screen the portion of the medical image in the format degraded from the original format, by means of the first set of tiles, - transmit to the client station a second set of tiles of the medical image covering the portion of the medical image, each tile of the second set being transmitted in a format faithful to the original format, - display on the screen the portion of the medical image in the format faithful to the original format, by means of the second set of tiles, - indicate visually on the screen, the format displaying the portion of the image. [3] The method of claim 2 wherein the visual indication on the screen of the display format of the image portion is a display of the format degraded from the original format, prior to the display at t screen the portion of the medical image, using the second set of tiles. The method of claim 2 wherein the visual indication on the screen of the display format of the image portion is a display of the format true to the original format, after the display on the screen. of the portion of the medical image, by means of the second set of tiles. [5] The method of claim 2 wherein the visual indication on the screen of the display format of the image portion is a display of the format degraded from the original format prior to the display to the display of the portion of the medical image, by means of the second set of tiles, and then a display of the format faithful to the original format, after the display of the portion of the medical image on the screen, by means of the the second set of tiles.