Panoramic Image Processing and Route Navigation Verarbeitung von Panoramabildern und Routennavigation
Promotionskolloquium von
Dipl. Inform. Thomas Röfer
UNIVERSITÄT
BREMEN
FB3 Informatik Universität Bremen
Gliederung Verarbeitung von Panoramabildern (Panama) Bestimmung des Bewegungsflußfeldes Berechnung der Bewegungsparameter
Metrische Selbstlokalisation mit Panama Routennavigation Panoramabildbasierte Routennavigation Repräsentation von Routen
Verhaltensbasierte Routennavigation Grundverhalten Erkennung künstlicher Wegmarken Routenverfolgung Fehlerbehandlung
UNIVERSITÄT
BREMEN
Ausblick
Verarbeitung von Panoramabildern Optisch geführte Navigation bei Bienen
UNIVERSITÄT
BREMEN
(Cartwright und Collett 1983)
Sensor zur Aufnahme von Panoramabildern sphärischer Spiegel horizontale Ebene
1 0.8 0.6 0.4 0.2 0
−2π/3
−π/3
0
π/3
2π/3
π
Richtung UNIVERSITÄT
−π
BREMEN
Intensität
Kamera
1
0
−π
0 Richtung
π
−π
0 Richtung
π
−π
0 Richtung
π
1
0
0
UNIVERSITÄT
1
BREMEN
Intensität Intensität Intensität
Zuordnung von Regionen in Panoramabildern
Grundidee 1. Bild
wähle ein Pixel aus dem 1. Bild
2. Bild
initialisieren
trainieren
adaptiere Positionen im 1. Bild in σ-Nachbarschaft
UNIVERSITÄT
Zuordnung
suche im 2. Bild nach dem ähnlichsten Pixel-Paar
BREMEN
4096x
Position yi
Ähnlichkeit
Rot + 1. Ableitung Grün + 1. Ableitung Blau + 1. Ableitung UNIVERSITÄT
Adaptation
BREMEN
Eindimensionale Merkmalskarte
Ähnlichkeitssuche
y jt
y jt − σ
y jt + σ
?
w Jj w Jj
w
I i
w
wiI UNIVERSITÄT
I i
BREMEN
w
w
w
J j
wiI+1
I i +1
I i +1
Adaptationsschritt
y jt
y jt + σ
Adaptationsschritt
y jt − σ
UNIVERSITÄT
BREMEN
xbest
UNIVERSITÄT
BREMEN
Translatorischer und rotatorischer Bewegungsfluß
Zerlegung des Bewegungsflusses in Rotation und Translation Bewegungsfluß
Rotation
UNIVERSITÄT
BREMEN
translatorischer Fluß
Bestimmung der Translationsrichtung FOE
UNIVERSITÄT
BREMEN
FOC
0.01
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Rauschen als Potenz von ½
1
0.1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Rauschen als Potenz von ½
0.01
0.001
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Rauschen als Potenz von ½
1 0.1 0.01 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Rauschen als Potenz von ½
UNIVERSITÄT
0.1
0.1
BREMEN
ø-Rotationsfehler
1
ø-Richtungsfehler
max. Richtungsfehler
max. Rotationsfehler
Ergebnisse
Metrische Selbstlokalisation mit Panama
?
UNIVERSITÄT
BREMEN
!
Routennavigation Die Taxonomie der Navigation Strategische Navigation Überblickswissen
Karte Taktische Navigation Route
Routenwissen Elementare Navigationstaktiken
Ortsbezeichner
Gangsysteme
Landmarken
Wegmarken
UNIVERSITÄT
Innen- und Außenraum
BREMEN
Grundverhalten
Realisierte Navigationsverfahren Strategische Navigation
Routenkarte
Überblickswissen
Karte Taktische Navigation
Routenwissen
Route Elementare Navigationstaktiken Ortsbezeichner Grundverhalten Innen- und Außenraum
Gangsysteme
Landmarken
Wegmarken
Wegverfolgung
Wegverfolgung
optisch geführte Grundverhalten
distanzgeführte Grundverhalten
Wegmarkenkonstellationen
UNIVERSITÄT
Panoramabilder
Vorgeben von Grundverhalten
BREMEN
Vorgeben von Fahrbefehlen
Der Bremer Autonome Rollstuhl Erster Prototyp • • • •
134 cm x 72 cm Frontantrieb Hecklenkung PC + 5 Microcontroller an Bord
Sensoren
UNIVERSITÄT
BREMEN
• 12 taktile Sensoren • 6 Infrarotsensoren • 8 Ultraschallsensoren mit großem Öffnungswinkel (80°) • 8 Ultraschallsensoren mit kleinem Öffnungswinkel (7°) • 1 Kamera • Odometrie
Panoramabildbasierte Routennavigation Basisgleichung
Peilrichtung δ Zielposition
ω 2
Rotation ω
UNIVERSITÄT
BREMEN
aktuelle Position
= −δ
Repräsentation von Routen als Bildfolgen ω
UNIVERSITÄT
BREMEN
2
≈/ −δ
Autonome Fahrt ε=
ω 2
+δ
UNIVERSITÄT
BREMEN
Wenn der translatorische Fluß groß ist, reduziere ε, ansonsten reduziere ω.
UNIVERSITÄT
BREMEN
Experimente und Ergebnisse
Verhaltensbasierte Routennavigation Sensorische Teilsysteme
Ultraschallsensoren
Navigation
Infrarotsensoren UNIVERSITÄT
taktile Sensoren
Lenkungsdämpfung
BREMEN
Kollisionsdetektion
Lokale Hinderniskarte Kurzzeitgedächtnis • Speichert die lokale Umgebung des Rollstuhls • Größe 4 x 4 m² • Einträge löschen nach 30 Sekunden → vergessen dynamischer Hindernisse
Eingabe • 6 schmale und 2 breite Ultraschallsensoren • 6 Infrarotsensoren
Ausgabe
UNIVERSITÄT
BREMEN
• 4 “virtuelle Sensoren”
Grundverhalten Verhalten • Gangzentrierung • Wandverfolgung links/rechts • Einbiegen in die linke/rechte Tür • Richtungsverfolgung vorwärts/rückwärts • Anhalten
Arbeitsweise
UNIVERSITÄT
BREMEN
• Vorwärts bis Kollision • dann 50 cm zurück • und wieder vorwärts
Künstliche Wegmarken
UNIVERSITÄT
BREMEN
5
Lokale Wegmarkenkarte Kurzzeitgedächtnis • Speichert die Wegmarken in der lokalen Umgebung des Rollstuhls • Radius 5 m
7 2
9
Symbole X • Wegmarke X
UNIVERSITÄT
1
BREMEN
• Kamera auf dem Schwenkkopf
Lehren von Routen Verhalten • Gangzentrierung • Wandverfolgung links • Wandverfolgung rechts • Anhalten
1
5
9
2 7
8
6
3
Wegmarken 2
UNIVERSITÄT
• Wegmarke X • Wegmarkenkonstellation
BREMEN
X
Autonomes Weiterschalten von Verhalten 6
7
1 7
1
1 7
9
7 7
1 1
!
1 7
1
7 ja UNIVERSITÄT
nein
BREMEN
6
Fehler Mögliche Fehler • Keine Wegmarke wird gefunden • Verhalten wird fehlerhaft ausgeführt
2 8
Beenden fehlerhafter Verhalten • Verhalten dauert zu lange • Andere Wegmarken gefunden
2 3
8
6
3
UNIVERSITÄT
6
BREMEN
8
2
Route zurückverfolgen Methode • Keine inversen Verhalten • Speichern der Odometriepositionen 8 während der Verhaltensausführung • Rückgängig machen durch Zurückverfolgen entlang gespeicherter Positionen • mit “Richtungsverfolgung rückwärts”Verhalten
2 6
3
Taktik 3
UNIVERSITÄT
6
BREMEN
• Zurückverfolgen des letzten Segments, Suche nach Wegmarken 8 • Wiederholen des letzten Segments • Zurückverfolgen der letzten 2 Segmente • Wiederholen der letzten 2 Segmente etc.
2
Ausblick Verarbeitung von Panoramabildern • Verwendung eines hochwertigeren Sensors, dadurch eingeschränkte Beleuchtungsunabhängigkeit • Anwendung auf Navigation und Lokalisation im 3D-Raum
Routennavigation
UNIVERSITÄT
BREMEN
• Grundverhalten für den 2. Prototyp • Integration der Grundverhalten in die panoramabildbasierte Routennavigation • Nutzung von Panoramabildern als Wegmarken in der verhaltensbasierten Routennavigation • Integration von 3D-Marken als Wegmarken
