DE102015217265A1

DE102015217265A1 - Stereo camera device for detecting the environment of a motor vehicle, motor vehicle with such a stereo camera device and a method for detecting raindrops or deposits

Info

Publication number: DE102015217265A1
Application number: DE102015217265.1A
Authority: DE
Inventors: Konrad Rothenhäusler
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Conti Temic Microelectronic GmbH
Priority date: 2015-09-10
Filing date: 2015-09-10
Publication date: 2017-03-16
Also published as: WO2017041795A1; DE112016002025A5

Abstract

Es wird eine Stereokameravorrichtung 2 zur Umgebungserfassung eines Kraftfahrzeugs 1 vorgeschlagen, mit einer ersten Kamera 3 und einer zweiten Kamera 4, wobei die erste und die zweite Kamera 3, 4 jeweils ein Bild mit voneinander unterschiedlich großen Erfassungsbereichen α1, α1 erfassen, mit einer Auswerteeinrichtung 5, wobei zur Erkennung von Regentropfen und Ablagerungen R auf einer Scheibe des Kraftfahrzeugs die Auswerteeinrichtung 5 ausgebildet ist, beide Bilder auf vom Scheibenzustand abhängige redundante Signaländerungen auszuwertenA stereo camera device 2 for detecting the surroundings of a motor vehicle 1 is proposed, having a first camera 3 and a second camera 4, wherein the first and the second camera 3, 4 each capture an image with different coverage areas α1, α1, with an evaluation device 5 , wherein for the detection of raindrops and deposits R on a disc of the motor vehicle, the evaluation device 5 is designed to evaluate both images depending on the disc state redundant signal changes

Description

Die Erfindung betrifft eine Stereokameravorrichtung zur Umgebungserfassung eines Kraftfahrzeugs nach dem Oberbegriff des Anspruchs 1. Ferner betrifft die Erfindung ein Kraftfahrzeug mit einer solchen Stereokameravorrichtung sowie ein Verfahren zur Erkennung von Regentropfen oder Ablagerungen.The invention relates to a stereo camera device for environmental detection of a motor vehicle according to the preamble of claim 1. Furthermore, the invention relates to a motor vehicle with such a stereo camera device and a method for detecting raindrops or deposits.

In Kraftfahrzeugen werden zukünftig im vermehrten Umfang Kamerasensoren zur Umfelderkennung wie z. B. für Fahrspurerkennung oder Objekterkennung mit Blick in Fahrtrichtung oder in den Rückfahrtbereich eingesetzt. Ein Kamerasensor zur Umfelderkennung ist beispielsweise auf ein Zielgebiet in der Umgebung des Kraftfahrzeugs fokussiert, also außerhalb der Abmessungen des Kraftfahrzeugs auf die Fahrbahn in einem Bereich von typischerweise einigen Metern vor der Front des Fahrzeugs. Die Kamera ist also gerade nicht auf die Windschutzscheibe fokussiert und kann daher nicht direkt Niederschlagspartikel erkennen, da er diese nicht scharf abbilden kann. In motor vehicles will be camera sensors for environment detection such. B. used for lane detection or object recognition with a view in the direction of travel or in the return area. A camera sensor for environment detection is focused, for example, on a target area in the vicinity of the motor vehicle, so outside the dimensions of the motor vehicle on the road in a range of typically several meters in front of the front of the vehicle. The camera is currently not focused on the windshield and therefore can not detect precipitation particles directly, as it can not image them sharply.

Die Druckschrift DE 10 2012 103 873 A1 offenbart ein Verfahren zur Erkennung von Regen oder Niederschlag auf der Außenseite einer Scheibe mittels einer hinter der Scheibe angeordneten und auf einen Fernbereich vor der Scheibe fokussierten Kamera. Eine Beleuchtungsquelle erzeugt mindestens einen auf die Scheibe gerichteten Lichtstrahl, wobei die Beleuchtungsquelle den mindestens einen Lichtstrahl so auf die Scheibe richtet, dass mindestens ein von der Außenseite der Scheibe reflektierter Strahl auf die Kamera auftrifft. Die Kamera nimmt eine Abbildung des mindestens einen von der Außenseite der Scheibe reflektierten Strahls auf. Die Struktur der Abbildung des mindestens einen reflektierten Strahls wird zur Klassifikation der Art des Regens oder Niederschlags ausgewertet. The publication DE 10 2012 103 873 A1 discloses a method for detecting rain or precipitation on the outside of a disc by means of a camera located behind the disc and focused on a distant area in front of the disc. An illumination source generates at least one light beam directed at the disc, the illumination source directing the at least one light beam onto the disc such that at least one beam reflected from the outside of the disc impinges on the camera. The camera captures an image of the at least one beam reflected from the outside of the disk. The structure of the image of the at least one reflected beam is evaluated to classify the type of rain or precipitation.

Bei Kameravorrichtungen, welche auf einen Bereich außerhalb des Kraftfahrzeugs fokussiert sind und bei denen Regentropfen oder andere Ablagerungen auf der Scheibe anhand partieller Unschärfen im Bild erkannt werden, können Fehlentscheidungen bzgl. eines Wischvorgangs nicht ausgeschlossen werden, da es schwierig ist zu entscheiden, ob Unschärfen im Bild an der beobachteten Szene selbst liegen oder tatsächlich durch Niederschlagspartikel auf der Scheibe verursacht werden.In camera devices which are focused on an area outside the motor vehicle and raindrops or other deposits on the disc are detected by partial blurring in the image, incorrect decisions regarding a wiping process can not be excluded because it is difficult to decide whether blurs in Image on the observed scene itself or actually caused by precipitation particles on the disk.

Der Erfindung liegt die Aufgabe zugrunde, die Erkennung von Regentropfen und Ablagerungen mit einer funktional verbesserten Kameravorrichtung bereitzustellen.The invention has for its object to provide the detection of raindrops and deposits with a functionally improved camera device.

Diese Aufgabe wird durch eine Stereokameravorrichtung mit den Merkmalen des Anspruchs 1, durch ein Kraftfahrzeug mit den Merkmalen des Anspruchs 11 sowie durch ein Verfahren mit den Merkmalen des Anspruchs 12 gelöst. Vorteilhafte oder bevorzugte Ausführungsformen der Erfindung sind in den Unteransprüchen, der nachfolgenden Beschreibung und durch die Figuren dargelegt. This object is achieved by a stereo camera device having the features of claim 1, by a motor vehicle having the features of claim 11 and by a method having the features of claim 12. Advantageous or preferred embodiments of the invention are set forth in the subclaims, the following description and by the figures.

Es wird eine Stereokameravorrichtung zur Umgebungserfassung eines Kraftfahrzeugs vorgeschlagen. Beispielsweise handelt es sich bei der durch die Stereokameravorrichtung erfassten Umgebung um einen vorausliegenden Umgebungsbereich oder um einen Rückfahrtbereich des Kraftfahrzeugs. Vorzugsweise ist die Stereokameravorrichtung in eine Fahrerassistenzvorrichtung integrierbar oder mit dieser verbindbar, wobei die Fahrerassistenzvorrichtung insbesondere zur Objekterkennung wie z. B. zur Spurerkennung, Erkennung weiterer Verkehrsteilnehmer, Verkehrszeichenerkennung usw. aus den von der Stereokameravorrichtung bereitgestellten Bilddaten ausgebildet ist. A stereo camera device for detecting the surroundings of a motor vehicle is proposed. For example, the environment detected by the stereo camera device is a preceding surrounding area or a return area of the motor vehicle. Preferably, the stereo camera device can be integrated in a driver assistance device or connectable to it, wherein the driver assistance device in particular for object recognition such. B. for lane detection, detection of other road users, traffic sign recognition, etc. is formed from the image data provided by the stereo camera device.

Zur Umgebungserfassung umfasst die Stereokameravorrichtung eine erste und eine zweite Kamera. Die erste und die zweite Kamera weisen jeweils eine Optik zur Projektion von Licht sowie mindestens oder genau einen Bildsensor zur Erfassung des von der Optik projizierten Lichts auf. Vorzugsweise sind die erste und/oder die zweite Kamera mit einer Festbrennweite ausgebildet. Bevorzugt sind die erste und die zweite Kamera im Fahrzeuginnenraum hinter einer Scheibe anzuordnende und in oder entgegen der Fahrtrichtung gerichtete Kameras. For environmental sensing, the stereo camera device includes a first and a second camera. The first and the second camera each have an optical system for the projection of light and at least or exactly one image sensor for detecting the light projected by the optics. Preferably, the first and / or the second camera are formed with a fixed focal length. Preferably, the first and the second camera in the vehicle interior behind a disc to be arranged and directed in or against the direction of travel cameras.

Insbesondere sind die Kameras auf ein Zielgebiet in der Umgebung des Kraftfahrzeugs fokussiert. Beispielsweise ist in den Bildern jeweils ein Entfernungsbereich mit einer Entfernung zu den Kameras von mindestens einem halben Meter, insbesondere von mindestens fünf Metern, im Speziellen von mindestens zehn Metern fokussiert. Folglich ist die Windschutzscheibe des Kraftfahrzeugs in einem Unschärfebereich der Kameras, mit anderen Worten von den Kameras nicht fokussiert.In particular, the cameras are focused on a target area in the vicinity of the motor vehicle. For example, a distance range with a distance to the cameras of at least half a meter, in particular of at least five meters, in particular of at least ten meters, is focused in the images. Consequently, the windshield of the motor vehicle is not focused in a blur area of the cameras, in other words by the cameras.

Die erste und die zweite Kamera sind ausgebildet, jeweils ein Bild mit voneinander unterschiedlich großen Erfassungsbereichen vorzugsweise zeitgleich zu erfassen. Somit sind die Erfassungsbereiche der ersten und zweiten Kamera insbesondere mit einem unterschiedlichen Abbildungsmaßstab erfasst. Vorzugsweise geben der Bildsensor und die Optik der jeweiligen Kamera gemeinsam einen horizontalen und vertikalen Bildwinkel vor, wobei der horizontale und vertikale Bildwinkel den Erfassungsbereich aufspannen. Besonders bevorzugt weisen die erste und die zweite Optronik unterschiedlich große horizontale Bildwinkel auf, sodass sich die Erfassungsbereiche insbesondere in horizontaler Richtung unterscheiden. Alternativ oder optional ergänzend weisen die erste und zweite Optronik unterschiedlich große vertikale Bildwinkel auf, sodass sich die Erfassungsbereiche in vertikaler Richtung unterscheiden. Durch die unterschiedlich großen Erfassungsbereiche wird insbesondere derselbe Regentropfen bzw. dieselbe Ablagerung in den Bildern mit einem unterschiedlichen Abbildungsmaßstab erfasst.The first and the second camera are each designed to capture an image with detection areas of different sizes, preferably at the same time. Thus, the detection areas of the first and second camera are detected in particular with a different magnification. Preferably, the image sensor and the optics of the respective camera jointly specify a horizontal and vertical image angle, wherein the horizontal and vertical image angles span the detection area. Particularly preferably, the first and the second optronics have different sized horizontal image angles, so that the detection regions differ, in particular in the horizontal direction. Alternatively or optionally have complementary the first and second optronics have different vertical angles of view so that the detection areas differ in the vertical direction. In particular, the same raindrops or the same deposit in the images with a different magnification is detected by the different sized detection areas.

Beispielsweise sind die erste und die zweite Kamera in einer horizontalen Betrachtungsrichtung neben-, übereinander oder diagonal zueinander angeordnet. Insbesondere sind die erste und die zweite Kamera derart zueinander angeordnet, dass bei Anordnung der Kameras im Fahrzeuginnenraum zumindest abschnittsweise ein selber Teilbereich der Scheibe, im Speziellen ein selber Teilbereich einer außenseitigen Scheibenoberfläche des Kraftfahrzeugs durchdringt wird. Durch die Durchdringung desselben Teilbereichs, mit anderen Worten desselben Scheibenausschnitts der Scheibe werden zumindest bereichsweise dieselben Regentropfen und Ablagerungen erfasst. Besonders bevorzugt sind die erste und die zweite Kamera geneigt, also gewinkelt zueinander angeordnet, sodass die optischen Achsen der Kameras antiparallel zueinander verlaufen und somit derselbe Teilbereich der Scheibe erfassbar ist. Besonders bevorzugt kreuzen sich die optischen Achsen. For example, the first and the second camera are arranged side by side, one above the other or diagonally in a horizontal viewing direction. In particular, the first and the second camera are arranged relative to one another in such a way that, when the cameras are arranged in the vehicle interior, at least partially a self-subregion of the windshield, in particular a self-subregion of an outside windshield surface of the motor vehicle, is penetrated. By penetrating the same portion, in other words the same slice of the disc slice the same raindrops and deposits are detected at least partially. Particularly preferably, the first and the second camera are inclined, so arranged angled to each other, so that the optical axes of the cameras run anti-parallel to each other and thus the same portion of the disc is detected. Particularly preferably, the optical axes intersect.

Durch die Reduzierung des zur Blickrichtung seitlichen Abstands der beiden Kameras erweitert sich der identische Erfassungsbereich der Scheibe. Vor diesem Hintergrund ist bevorzugt, dass die erste und die zweite Kamera seitlich zu deren Blickrichtung, im Kraftfahrzeug angeordnet insbesondere quer zur Fahrzeuglängsrichtung, beispielsweise höchstens 80 mm, insbesondere höchstens 50 mm, im Speziellen höchstens 30 mm voneinander beabstandet sind. By reducing the lateral distance of the two cameras to the viewing direction, the identical detection range of the disc expands. Against this background, it is preferred that the first and the second camera are laterally spaced apart from one another, in particular at right angles to the vehicle longitudinal direction, for example at most 80 mm, in particular at most 50 mm, in particular at most 30 mm.

Die Stereokameravorrichtung umfasst eine Auswerteeinrichtung zur Erkennung von Regentropfen und Ablagerungen auf der Scheibe, somit insbesondere auf demselben von den Kameras durchdringten Teilbereich der Scheibe mittels den insbesondere zeitgleich erfassten Bildern der ersten und zweiten Kamera. Zur Erkennung von Regentropfen oder Ablagerungen auf der Scheibe ist die Auswerteeinrichtung ausgebildet, die von den Kameras erfassten Bilder, insbesondere die zeitgleich erfassten Bilder der ersten und zweiten Kamera auf vom Scheibenzustand abhängige redundante Signaländerungen auszuwerten. Unter den vom Scheibenzustand abhängigen Signaländerungen sind in diesem Zusammenhang für Regentropfen oder Ablagerungen charakteristische Signaländerungen wie z. B. partielle Unschärfen zu verstehen. Mit anderen Worten ist die Auswerteeinrichtung insbesondere ausgebildet, in den Bildern denselben durchdringten Teilbereich der Scheibe auf vergleichbare Bildartefakte bei gegebenem unterschiedlichen Hintergrund, der aus den unterschiedlich großen Erfassungsbereichen resultiert, zu untersuchen. Zur Auswertung der Redundanz der Signaländerungen werden insbesondere vergleichbare Bildinformationen miteinander verglichen, die einen Rückschluss auf Regentropfen und Ablagerungen, im Speziellen einen Rückschluss auf denselben Regentropfen bzw. dieselbe Ablagerung ermöglichen. The stereo camera device comprises an evaluation device for detecting raindrops and deposits on the disc, thus in particular on the same part of the disc penetrated by the cameras by means of the images of the first and second cameras acquired in particular at the same time. In order to detect raindrops or deposits on the pane, the evaluation device is designed to evaluate the images captured by the cameras, in particular the images of the first and second cameras acquired at the same time, on redundant signal changes that depend on the pane state. In the context of the disk state dependent signal changes are in this context for raindrops or deposits characteristic signal changes such. B. to understand partial blurring. In other words, the evaluation device is designed, in particular, to investigate in the images the same penetrated subregion of the disc for comparable image artifacts given a different background, which results from the different sized detection regions. In order to evaluate the redundancy of the signal changes, in particular comparable image information is compared with one another, which makes it possible to draw conclusions about raindrops and deposits, in particular an inference to the same raindrop or the same deposit.

Erfindungsgemäß wird in den Bildern insbesondere derselbe Regentropfen bzw. dieselbe Ablagerung erfasst, wobei dieser Regentropfen bzw. diese Ablagerung aufgrund der unterschiedlich großen Erfassungsbereiche im Bild der ersten Kamera einen anderen Hintergrund aufweist als im Bild der zweiten Kamera. Bei Vorhandensein eines Regentropfens oder einer Ablagerung werden aufgrund des unterschiedlichen Hintergrunds in den Bildern der ersten und zweiten Kamera zwar zwei voneinander unterschiedliche Signale ausgegeben, jedoch sind die Signaländerungen aufgrund desselben Regentropfens bzw. derselben Ablagerung identisch oder zumindest im Rahmen der Messgenauigkeit annähernd identisch. Auf diese Weise kann die Auswertung einer durch die beobachtete Szene verursachten partiellen Unschärfe als ein Regentropfen oder als eine Ablagerung ausgeschlossen werden, sodass insgesamt eine verbesserte Scheibenzustandserkennung generiert ist. Folglich können durch die Auswertung redundanter Signaländerungen in den beiden Bildern Fehlentscheidungen hinsichtlich des Wischvorgangs vermieden oder zumindest reduziert werden. According to the invention, in particular the same raindrop or deposit is detected in the images, this raindrop or this deposit having a different background in the image of the first camera than in the image of the second camera due to the differently sized coverage areas. In the presence of a raindrop or a deposit, two different signals are output due to the different background in the images of the first and second camera, however, the signal changes due to the same raindrop or the same deposit are identical or at least approximately identical within the measurement accuracy. In this way, the evaluation of a partial blurring caused by the observed scene as a raindrop or as a deposit can be excluded, so that overall improved disk state recognition is generated. Consequently, by evaluating redundant signal changes in the two images, incorrect decisions with regard to the wiping process can be avoided or at least reduced.

Bevorzugt handelt es sich bei den vom Scheibenzustand abhängigen redundanten Signaländerungen um mindestens eine Kontrast-, Helligkeits- und/oder Farbänderungen innerhalb eines Bildbereichs kleiner als die Gesamtgröße des jeweiligen Bildes. Optional ergänzend ist vorgesehen, eine Struktur des Regentropfens bzw. der Ablagerung anhand der Kontrast-, Helligkeits- und/oder Farbänderung auszuwerten. Die Auswertung mindestens einer dieser Indikatoren erzielt eine zuverlässige Erkennung von Regentropfen und Ablagerungen. The redundant signal changes that depend on the disk state are preferably at least one contrast, brightness and / or color change within an image area smaller than the total size of the respective image. Optionally, it is additionally provided to evaluate a structure of the raindrop or the deposit on the basis of the contrast, brightness and / or color change. The evaluation of at least one of these indicators achieves reliable detection of raindrops and deposits.

Regentropfen und Ablagerungen führen auf einer nicht fokussierten Scheibe zu einer lokalen Reduktion von Schärfe eines Bildes. Dies lässt sich im Frequenzbereich durch die Dämpfung hoher Frequenzanteile nachweisen. Vor diesem Hintergrund ist bevorzugt, dass es sich bei den redundanten Signaländerungen um mittels einer Fourier-Transformation ermittelte Frequenzänderungen handelt. Durch die zweidimensionale Fourier-Transformation und die Auswertung der Ortsfrequenzen, insbesondere der hochfrequenten Anteile oder die Beschränkung auf Helligkeits- und/oder Farbunterschiede von Pixeln innerhalb des Bildbereichs kleiner als die Gesamtgröße des jeweiligen Bildes sind auch die Einflüsse des Gesamtbildes des Zielgebiets und dessen Kontrastreichtum für die Auswertung deutlich geringer. Raindrops and deposits on a non-focused disc lead to a local reduction of sharpness of an image. This can be demonstrated in the frequency domain by the attenuation of high frequency components. Against this background, it is preferred that the redundant signal changes are frequency changes determined by means of a Fourier transformation. Due to the two-dimensional Fourier transformation and the evaluation of the spatial frequencies, in particular the high-frequency components or the restriction to brightness and / or color differences of pixels within the image area smaller than the total size of the respective image and the Influences of the overall picture of the target area and its contrast richness for the evaluation significantly lower.

Bei einer bevorzugten Ausführungsform umfasst die Stereokameravorrichtung mindestens eine Beleuchtungsquelle zur Erzeugung eines auf die Scheibe gerichteten Lichtstrahls. Insbesondere sind die erste und zweite Kamera derart angeordnet, den vom Regentropfen oder von der Ablagerung reflektierten Lichtstrahl, welcher eine partielle Aufhellung in den Bildern bewirkt, zu erfassen. Insbesondere ist die Auswerteeinrichtung ausgebildet, die partielle Aufhellung in den beiden Bildern als vom Scheibenzustand abhängige redundante Signaländerung auszuwerten. In a preferred embodiment, the stereo camera device comprises at least one illumination source for producing a light beam directed onto the disc. In particular, the first and second cameras are arranged to detect the light beam reflected from the raindrop or from the deposit which causes a partial brightening in the images. In particular, the evaluation device is designed to evaluate the partial brightening in the two images as a disk state-dependent redundant signal change.

Bei einer bevorzugten Weiterbildung ist die Beleuchtungsquelle ausgebildet, einen farbspezifischen, im Speziellen einen einfarbigen Lichtstrahl auszusenden, sodass der am Regentropfen bzw. an der Ablagerung reflektierte Lichtstrahl eine partielle Farbänderung in dem Bild bewirkt. Insbesondere ist die Auswerteeinrichtung ausgebildet, die partielle, farbspezifische Farbänderung des reflektierten Lichtstrahls in den beiden Bildern als vom Scheibenzustand abhängige redundante Signaländerung auszuwerten. Beispielsweise ist die Beleuchtungsquelle eine blaue oder eine rote LED. Durch die Aussendung eines farbspezifischen, mit anderen Worten eines auf ein Farbspektrum begrenzten Lichtstrahls wird sichergestellt, dass ausschließlich der vom Regentropfen oder von der Ablagerung reflektierte Lichtstrahl als redundante Signaländerung in den Bildern ausgewertet wird. In a preferred development, the illumination source is designed to emit a color-specific, in particular a monochrome light beam, so that the light beam reflected at the raindrop or at the deposition causes a partial color change in the image. In particular, the evaluation device is designed to evaluate the partial, color-specific color change of the reflected light beam in the two images as a disk state-dependent redundant signal change. For example, the illumination source is a blue or a red LED. By emitting a color-specific, in other words, a light beam limited to a color spectrum, it is ensured that only the light beam reflected by the raindrop or by the deposit is evaluated as a redundant signal change in the images.

Bei einer bevorzugten Ausgestaltung der Erfindung sind die Bilder der ersten und zweiten Kamera jeweils ein Farbwertbild. Auf diese Weise ist es möglich, die partielle, farbspezifische Farbänderung als redundante Signaländerung auszuwerten. In a preferred embodiment of the invention, the images of the first and second camera are each a color value image. In this way, it is possible to evaluate the partial, color-specific color change as a redundant signal change.

Alternativ kann jedoch ebenso vorgesehen sein, dass die Bilder der ersten und zweiten Kamera jeweils ein Grauwertbild sind. Alternatively, however, it may also be provided that the images of the first and second camera are each a gray level image.

Monochrome Bildsensoren, welche ein Grauwertbild abbilden, zeichnen sich durch ihre hohe Auflösungsgüte aus, sodass einerseits ein verbesserter Kantenkontrast des Regentropfens bzw. der Ablagerung vergleichsweise zu einem Farbwertbild erzielt, andererseits die Erfassung der partiellen Aufhellung ermöglicht ist.Monochrome image sensors, which image a grayscale image, are characterized by their high resolution quality, so that on the one hand an improved edge contrast of the raindrop or the deposition comparatively to a color value image achieved, on the other hand, the detection of partial brightening is possible.

Bei einer weiteren Alternative ist das Bild der ersten Kamera ein Farbwertbild und das Bild der zweiten Kamera ein Grauwertbild. Die Erfassung von einem Farb- und Grauwertbild erzielt den Vorteil, sowohl den Regentropfen bzw. die Ablagerung mit einem hohen Kantenkontrast zu erfassen, andererseits die partielle, farbspezifische Farbänderung den von dem Regentropfen bzw. von der Ablagerung reflektierten Lichtstrahl auswerten zu können. In a further alternative, the image of the first camera is a color value image and the image of the second camera is a gray value image. The acquisition of a color and grayscale image has the advantage of detecting both the raindrop or the deposit with a high edge contrast, on the other hand, to be able to evaluate the partial, color-specific color change of the reflected light beam from the raindrop or from the deposit.

Beispielsweise umfasst die erste Kamera einen horizontalen Bildwinkel von mindestens 100 Grad und/oder einen vertikalen Bildwinkel von mindestens 50 Grad. Somit ist die Optik der ersten Kamera insbesondere als ein Weitwinkelobjektiv ausgebildet. Weiterhin ist bevorzugt, dass die zweite Kamera einen horizontalen Bildwinkel von mindestens 30 Grad und/oder von höchstens 50 Grad umfasst. Somit ist die Optik der zweiten Kamera insbesondere als ein Teleobjektiv ausgebildet. Besonders bevorzugt ist der Erfassungsbereich der ersten Kamera horizontal und/oder vertikal mindestens doppelt, im Speziellen mindestens vierfach größer als der Erfassungsbereich der zweiten Kamera ausgebildet. Ein Vorteil der unterschiedlichen Abbildungsmaßstäbe ist die Vermeidung des gleichen Hintergrunds des Regentropfens oder der Ablagerung in beiden Bildern. By way of example, the first camera comprises a horizontal image angle of at least 100 degrees and / or a vertical image angle of at least 50 degrees. Thus, the optics of the first camera is designed in particular as a wide-angle lens. Furthermore, it is preferred that the second camera comprises a horizontal angle of view of at least 30 degrees and / or of at most 50 degrees. Thus, the optics of the second camera is designed in particular as a telephoto lens. Particularly preferably, the detection range of the first camera is formed horizontally and / or vertically at least twice, in particular at least four times larger than the detection range of the second camera. An advantage of the different imaging scales is the avoidance of the same background of raindrop or deposit in both images.

Ein weiterer Gegenstand der Erfindung betrifft ein Kraftfahrzeug mit einer Stereokameravorrichtung nach der vorhergehenden Beschreibung. Die Stereokameravorrichtung ist hinter einer Scheibe, insbesondere hinter der Windschutzscheibe oder der Heckscheibe im Innenraum des Kraftfahrzeugs angeordnet. Besonders bevorzugt weist das Kraftfahrzeug eine Fahrerassistenzvorrichtung auf, welche mit der Stereokameravorrichtung verbunden ist oder diese umfasst. Die erste und die zweite Kamera sind derart zueinander angeordnet, dass die Erfassungsbereiche zumindest abschnittsweise den gleichen Bereich der Scheibe des Kraftfahrzeugs durchdringen. Mit anderen Worten umfassen die Bilder der Kameras zumindest einen Bildbereich mit demselben durchdringten Scheibenausschnitt.Another object of the invention relates to a motor vehicle with a stereo camera device according to the preceding description. The stereo camera device is arranged behind a pane, in particular behind the windshield or the rear window in the interior of the motor vehicle. Particularly preferably, the motor vehicle has a driver assistance device which is connected to or comprises the stereo camera device. The first and the second camera are arranged relative to one another in such a way that the detection areas penetrate, at least in sections, the same area of the window of the motor vehicle. In other words, the images of the cameras comprise at least one image area with the same penetrated pane detail.

Die Erfindung betrifft ferner ein Verfahren zur Erkennung von Regentropfen oder Ablagerungen auf einer Scheibe, insbesondere auf einer Außenfläche der Scheibe des Kraftfahrzeugs mit einer Stereokameravorrichtung nach der vorhergehenden Beschreibung, wobei die erste und die zweite Kamera jeweils ein Bild erfassen, und wobei die Auswerteeinrichtung beide Bilder auf redundante Signaländerungen auswertet. Insbesondere ist die Auswerteeinrichtung ausgebildet, aus den beiden Bildern jeweils eine Signaländerung auszuwerten und bei Vorhandensein einer Signaländerung in den beiden Bildern diese miteinander zur Feststellung einer Redundanz zu vergleichen. The invention further relates to a method for detecting raindrops or deposits on a pane, in particular on an outer surface of the pane of the motor vehicle with a stereo camera device according to the preceding description, wherein the first and the second camera each capture an image, and wherein the evaluation device both images evaluates to redundant signal changes. In particular, the evaluation device is designed to evaluate a signal change from the two images and, in the presence of a signal change in the two images, to compare these with one another for establishing a redundancy.

Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der Erfindung. Dabei zeigen:Further features, advantages and effects of the invention will become apparent from the following description of preferred embodiments of the invention. Showing:

1 in einer Draufsicht ein Kraftfahrzeug mit einer Stereokameravorrichtung; 1 in a plan view of a motor vehicle with a stereo camera device;

2 schematisch dargestellt die Stereokameravorrichtung aus 1 mit einer ersten und einer zweiten Kamera; 2 schematically illustrated the stereo camera device 1 with a first and a second camera;

3 schematisch dargestellt die horizontalen Bildwinkel der Erfassungsbereiche der ersten und zweiten Kamera der Stereokameravorrichtung aus 1; 3 schematically illustrates the horizontal image angle of the detection areas of the first and second camera of the stereo camera device 1 ;

4a, 4b jeweils ein von der ersten und der zweiten Kamera erfasstes Bild; 4a . 4b one each captured by the first and the second camera image;

5a, 5b jeweils ein von der ersten und zweiten Kamera erfasstes Bild bei Vorhandensein eines Regentropfens. 5a . 5b in each case one captured by the first and second camera image in the presence of a raindrop.

Einander entsprechende Teile sind in allen Figuren mit denselben Bezugszeichen versehen.Corresponding parts are provided in all figures with the same reference numerals.

1 zeigt in einer Draufsicht ein Kraftfahrzeug 1 mit einer Stereokameravorrichtung 2. Die Stereokameravorrichtung 2 umfasst eine erste und eine zweite Kamera 3, 4, welche jeweils zur Aufnahme eines Bildes eines vorausliegenden Umgebungsbereichs des Kraftfahrzeugs 2 ausgebildet sind. Die Bilder dienen zur Objekterkennung wie z. B. zur Verkehrszeichenerkennung in dem vorausliegenden Umgebungsbereich des Kraftfahrzeugs 2. Beispielsweise ist in den Bildern ein Entfernungsbereich mit einer Entfernung zu den Kameras 3, 4 von mindestens einem halben Meter fokussiert. Somit liegt die Windschutzscheibe in einem Unschärfebereich der ersten und zweiten Kamera 3, 4. Die Stereokameravorrichtung 2 umfasst eine Auswerteeinrichtung 5 zur Auswertung von Regen und Ablagerungen auf einer Scheibe, insbesondere auf der Windschutzscheibe 6 des Kraftfahrzeugs 2 aus den von den Kameras 3, 4 erfassten Bildern. 1 shows in a plan view of a motor vehicle 1 with a stereo camera device 2 , The stereo camera device 2 includes a first and a second camera 3 . 4 , each for receiving an image of a preceding surrounding area of the motor vehicle 2 are formed. The images are used for object recognition such. B. for traffic sign recognition in the preceding surrounding area of the motor vehicle 2 , For example, in the images is a distance range with a distance to the cameras 3 . 4 focused by at least half a meter. Thus, the windshield is located in a blur area of the first and second cameras 3 . 4 , The stereo camera device 2 includes an evaluation device 5 for the evaluation of rain and deposits on a pane, in particular on the windshield 6 of the motor vehicle 2 from the cameras 3 . 4 captured images.

In 2 ist der schematische Aufbau der Stereokameravorrichtung 2 mit den zwei Kameras 3, 4 dargestellt. Die Stereokameravorrichtung 2 ist hinter der Windschutzscheibe 6 in einem Innenraum des Kraftfahrzeugs 1 angeordnet. Die erste und die zweite Kamera 2, 3 umfassen jeweils einen Bildsensor 8, welche mit einer Leiterplatte 9 verbunden sind sowie eine Optik 7, welche zur Projektion von Licht auf eine für Licht sensitive Fläche des Bildsensors 8 ausgebildet ist. Die Optik 7 ist z. B. als ein Objektiv mit einer Festbrennweite ausgebildet. Beispielsweise umfasst die Stereokameravorrichtung 2 ein Gehäuse 12, in dem die erste und die zweite Kamera 3, 4 angeordnet sind. Bei diesem Ausführungsbeispiel sind die beiden Kameras 3, 4 in einer horizontalen Betrachtungsrichtung nebeneinander angeordnet und weisen zu den Mittelpunkten der Optiken 7 einen Abstand B von höchstens 80 mm zueinander auf. In 2 is the schematic structure of the stereo camera device 2 with the two cameras 3 . 4 shown. The stereo camera device 2 is behind the windshield 6 in an interior of the motor vehicle 1 arranged. The first and the second camera 2 . 3 each comprise an image sensor 8th , which with a circuit board 9 are connected as well as an appearance 7 , which is for the projection of light onto a photosensitive surface of the image sensor 8th is trained. The optics 7 is z. B. formed as a lens with a fixed focal length. For example, the stereo camera device includes 2 a housing 12 in which the first and the second camera 3 . 4 are arranged. In this embodiment, the two cameras 3 . 4 arranged side by side in a horizontal viewing direction and point to the centers of the optics 7 a distance B of at most 80 mm to each other.

Weiterhin umfasst die Stereokameravorrichtung 2 eine Beleuchtungsquelle 11 zur Erzeugung eines auf die Windschutzscheibe 6 gerichteten Lichtstrahls. Die erste und die zweite Kamera 3, 4 sind derart angeordnet, einen Lichtstrahl, welcher von einem auf der Windschutzscheibe 6 befindlichen Regentropfen oder einer Ablagerung reflektiert wird, zu erfassen. Optional weist die Stereokameravorrichtung 2 eine Streulichtblende 10 auf.Furthermore, the stereo camera device includes 2 a source of illumination 11 to produce one on the windshield 6 directed light beam. The first and the second camera 3 . 4 are arranged such a light beam, which of one on the windshield 6 reflected raindrop or a deposit is reflected. Optionally, the stereo camera device 2 a lens hood 10 on.

Wie in 3 vereinfacht dargestellt, sind die erste und die zweite Kamera 3, 4 derart zueinander geneigt, dass die optischen Achsen A der Kameras 3, 4 antiparallel zueinander verlaufen. Somit werden zwei Bilder aus voneinander abweichenden Richtungen erfasst. Die erste und die zweite Kamera 3, 4 erfassen jeweils ein Bild mit voneinander unterschiedlich großen Erfassungsbereichen α1, α2. Bei diesem Ausführungsbeispiel weisen die erste und die zweite Kamera 3, 4 einen unterschiedlich großen horizontalen Bildwinkel α auf, sodass sich die Erfassungsbereiche in horizontaler Richtung unterscheiden. Alternativ oder optional ergänzend kann vorgesehen sein, dass die erste und die zweite Kamera 3, 4 unterschiedlich große vertikale Bildwinkel aufweisen. As in 3 simplified, are the first and the second camera 3 . 4 inclined to each other such that the optical axes A of the cameras 3 . 4 run anti-parallel to each other. Thus, two images are detected from different directions. The first and the second camera 3 . 4 each capture an image with different coverage areas α1, α2. In this embodiment, the first and the second camera 3 . 4 a different horizontal angle of view α, so that the detection areas differ in the horizontal direction. Alternatively or optionally in addition, it can be provided that the first and the second camera 3 . 4 have different vertical angles of view.

Durch die Neigung der Kameras 3, 4 zueinander überschneiden sich die Erfassungsbereiche, sodass zumindest abschnittsweise ein selber Teilbereich TB der Windschutzscheibe 6 durchdringt wird. Durch die Durchdringung desselben Teilbereichs TB der Windschutzscheibe 6 sind in den Bildern der Kameras 3, 4 dieselben Regentropfen und Ablagerungen R abgebildet. Due to the tilt of the cameras 3 . 4 the detection areas overlap each other, so that at least in sections a self-subregion TB of the windscreen 6 is penetrated. By the penetration of the same portion TB of the windshield 6 are in the pictures of the cameras 3 . 4 the same raindrops and deposits R shown.

Die 4a, 4b zeigen denselben durch die Kameras 3, 4 durchdringten Teilbereich TB der Windschutzscheibe 6, bildhaft durch den abschließenden Rahmen dargestellt. Aufgrund der unterschiedlich großen Erfassungsbereiche der Kameras 3, 4 liegt in den Bildern ein unterschiedlicher Abbildungsmaßstab vor.The 4a . 4b show it through the cameras 3 . 4 penetrated portion TB of the windshield 6 pictorially represented by the final frame. Due to the different coverage areas of the cameras 3 . 4 There is a different reproduction scale in the pictures.

In der 5a ist das von der ersten Kamera 3 erfasste Bild und in der 5b das von der zweiten Kamera 4 erfasste Bild bei Vorhandensein eines Regentropfens oder einer Ablagerung R dargestellt. Aufgrund der Durchdringung desselben Teilbereichs TB der Windschutzscheibe 6 ist die Relativposition des Regentropfens bzw. der Ablagerung R in den Bildern identisch, jedoch ist der hinter dem Regentropfen bzw. der Ablagerung befindliche Hintergrund aufgrund der unterschiedlichen Abbildungsmaßstäbe in den Bildern unterschiedlich. In the 5a that's from the first camera 3 captured picture and in the 5b that from the second camera 4 captured image in the presence of a raindrop or a deposit R shown. Due to the penetration of the same portion TB of the windshield 6 the relative position of the raindrop or deposit R is identical in the images, but the background behind the raindrop or deposit is different due to the different magnifications in the images.

Zur Erkennung des Regentropfens bzw. der Ablagerung R auf der Windschutzscheibe 6 des Kraftfahrzeugs 2 ist die Auswerteeinrichtung 5 ausgebildet, die von der ersten und zweiten Kamera 3, 4 erfassten Bilder auf vom Scheibenzustand abhängige redundante Signaländerungen, somit beispielsweise redundante Signaldifferenzen auszuwerten. Der Regentropfen bzw. die Ablagerung R ist beispielsweise mittels der Auswertung eines lokalen Kontrastunterschieds in den Bildern möglich. To detect the raindrop or the deposit R on the windshield 6 of the motor vehicle 2 is the evaluation device 5 formed by the first and second camera 3 . 4 captured images on disk conditions dependent redundant signal changes, thus, for example, evaluate redundant signal differences. The raindrop or the deposit R is possible for example by means of the evaluation of a local contrast difference in the images.

Aufgrund des unterschiedlichen Hintergrunds resultiert bei Vorhandensein des Regentropfens eine unterschiedliche Signalausgabe in den beiden Bildern. Jedoch liegt durch die Auswertung desselben Regentropfens, welcher beispielsweise durch die Relativposition in den Bildern bestimmt werden kann, eine redundante Signaländerung, insbesondere die redundante Signaldifferenz vor, die z. B. durch die Auswertung von zwei aufeinanderfolgenden Bildern der jeweiligen Kamera ermittelt werden kann. Auf diese Weise wird eine Erkennung von Regen und Ablagerungen mit einer geringen Fehlerkennungsquote bereitgestellt.Due to the different background results in the presence of raindrops a different signal output in the two images. However, by evaluating the same raindrop, which can be determined for example by the relative position in the images, a redundant signal change, in particular the redundant signal difference before, z. B. can be determined by the evaluation of two consecutive images of each camera. In this way, a detection of rain and deposits is provided with a low error detection rate.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Kraftfahrzeug motor vehicle
22: Stereokameravorrichtung Stereo camera device
33: Erste Kamera First camera
44: Zweite Kamera Second camera
55: Auswerteeinrichtung evaluation
66: Windschutzscheibe Windshield
77: Optik optics
88th: Bildsensor image sensor
99: Leiterplatte circuit board
1010: Streulichtblende Lens Hood
1111: Beleuchtungsquelle lighting source
1212: Gehäuse casing
RR: Regentropfen und Ablagerung Raindrop and deposit
BB: Seitliche Beabstandung der Kameras Lateral spacing of the cameras
α1α1: Erfassungsbereich der ersten Kamera Detection area of the first camera
α2α2: Erfassungsbereich der zweiten Kamera Detection area of the second camera
TBTB: Derselbe aufgenommene Teilbereich der Windschutzscheibe The same captured portion of the windshield

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102012103873 A1 [0003]

Claims

Stereo camera device ( 2 ) for the environmental detection of a motor vehicle ( 1 ), with a first camera ( 3 ) and a second camera ( 4 ), the first and the second camera ( 3 . 4 ) each capture an image with detection areas (α1, α1) that differ from one another, with an evaluation device ( 5 ), wherein for the detection of raindrops and deposits (R) on a disc of the motor vehicle, the evaluation device ( 5 ) is designed to evaluate the images captured by the cameras to disk state dependent redundant signal changes.

Stereo camera device ( 2 ) according to claim 1, wherein it is smaller than the total size of the respective image in the dependent of the disk state redundant signal changes by at least one contrast, brightness and / or color change within an image area.

Stereo camera device ( 2 ) according to claim 1 or 2, wherein the redundant signal changes are frequency changes determined by means of a Fourier transformation.

Stereo camera device ( 2 ) according to any one of the preceding claims, wherein the stereo camera device ( 2 ) at least one illumination source ( 11 ) for generating a light beam directed onto the disk, wherein the first and the second camera ( 3 . 4 ) are arranged to detect the light beam reflected from the raindrop or the deposit, and wherein the evaluation device ( 5 ) is designed to evaluate the light beam detected in the images as a redundant signal change.

Stereo camera device ( 2 ) according to one of the preceding claims, wherein the image of the first camera ( 3 ) a color value image and the image of the second camera ( 4 ) is a gray value image.

Stereo camera device ( 2 ) according to one of the preceding claims, wherein in the images a distance range with a distance to the cameras ( 3 . 4 ) is focused by at least half a meter.

Stereo camera device ( 2 ) according to one of the preceding claims, wherein the first and the second camera ( 3 . 4 ) are spaced at most 50 millimeters apart in a transverse direction to the viewing direction.

Stereo camera device ( 2 ) according to one of the preceding claims, wherein the detection range of the first camera ( 3 ) horizontally and / or vertically at least twice, in particular at least four times larger than the detection range of the second camera ( 4 ) is trained.

Stereo camera device ( 2 ) according to one of the preceding claims, wherein the first camera ( 3 ) comprises a horizontal angle of view (α1) of at least 100 degrees and / or a vertical angle of view of at least 50 degrees.

Stereo camera device ( 2 ) according to one of the preceding claims, wherein the second camera ( 4 ) comprises a horizontal viewing angle (α2) of at least 30 degrees and / or at most 50 degrees.

Motor vehicle ( 1 ) with a stereo camera device ( 2 ) according to one of the preceding claims, wherein the first and the second camera ( 3 . 4 ) are arranged to one another such that the detection areas at least in sections the same sub-area (TB) of a disc of the motor vehicle ( 1 penetrate).

Method for detecting raindrops or deposits (R) on a window of a motor vehicle ( 1 ) with a stereo camera device ( 2 ) according to one of the preceding claims 1 to 10, wherein the first and the second camera ( 3 . 4 ) each capture an image, and wherein the evaluation device ( 5 ) evaluates both images for redundant signal changes.