In Mustererkennung 99. W. Fšrster, J. M. Buhmann, A. Faber and P. Faber Hrsg. Berlin, Springer: 301-308.

Bewegung als intrinsische Geometrie von Bildfolgen Erhardt Barth Institut fŸr Signalverarbeitung und Proze§rechentechnik, Medizinische UniversitŠt zu LŸbeck, Seelandstr. 1a, D-23569 LŸbeck. [email protected], www.isip.mu-luebeck.de Zusammenfassung: Bildfolgen werden als HyperflŠchen betrachtet und anhand vom Riemannschen KrŸmmungstensor dieser HyperflŠchen werden neuartige Methoden zur BewegungsschŠtzung gefunden. Insbesondere wird gezeigt, wie mithilfe der KrŸmmungseigenschaften und der intrinsischen Dimension der Bildfolge das Vorliegen einer Translation und somit die Konfidenz der BewegungsschŠtzung beurteilt werden kann. In Anwendungsbeispielen wird schlie§lich anhand synthetischer und natŸrlicher Bildfolgen veranschaulicht, wie falsche Bewegungsvektoren vermieden werden kšnnen, die typischerweise durch Verdeckungen oder Rauschen entstehen. SchlŸsselwšrter: KrŸmmung von Bildfolgen, Riemannscher Tensor, intrinsische Dimension, BewegungsschŠtzung, mehrdimensionale Signalverarbeitung

1

Einleitung

Der Begriff der intrinsischen Dimension unterscheidet zwischen den prinzipiellen Freiheitsgraden und den (lokal) genutzten Freiheitsgraden eines mehrdimensionalen Signals [1-3]. FŸr eine n-dimensionale Funktion f schreiben wir: r r (1) f ( x ) → f ′( x ′) = h ( x ′, x ′ ,..., x ′ ) ⋅ γ ( x ′ ,..., x ′ ) m

1

2

m

n−m

m +1

n

mit der IdentitŠtsfunktion γ ≡ 1. Die intrinsische Dimension m ergibt sich daraus, r da§ die Koordinaten x ′ durch Rotation so gewŠhlt werden, da§ m minimiert wird. So sind z.B. im Falle statischer Bilder konstante Bereiche intrinsisch nulldimensional (i0D), gerade Kanten intrinsisch eindimensional (i 1 D) und Ecken intrinsisch zweidimensional (i2D). Die Fourier-Transformierte obiger Gleichung macht deutlich, da§ es bei der Auswertung der intrinsischen Dimension darum geht, auf welche UnterrŠume die Energie des Signals durch Dirac-δ-Distributionen beschrŠnkt wird: r r (2) F(ν ) → F ′(ν ′) = H (ν ′, ν ′ ,..., ν ′ ) ⋅ δ (ν ′ ,..., ν ′ ) m

1

2

m

n−m

m +1

n

Die Auswertung der intrinsischen Dimension ist mithilfe linearer Systemtheorie nicht mšglich. Ein guter Ausgangspunkt fŸr eine nichtlineare Systemtheorie ist die Differentialgeometrie [1, 4]. Betrachtet man nŠmlich Bilder als FlŠchen, so findet man die zur intrinsischen Dimension analogen FlŠchentypen eben (i0D), parabolisch (i1D) und elliptisch/hyperbolisch (beide gekrŸmmt und i2D). Ein i 2 D-Operator (antwortet nur auf i2D Merkmale) kann dann entweder direkt als differentieller KrŸmmungsoperator entworfen werden, oder aber Ÿber UND-VerknŸpfungen orientierter Bandpa§filter ("wavelets") und passender Kompensation [1, 5]. Von Bedeutung im Hinblick auf eine effiziente Bildcodierung ist, da§ die Form der BildflŠchen von den i2D Bereichen weitgehend bestimmt wird und sich somit Bilder

allein aus den i2D Merkmalen auch gut rekonstruieren lassen [4]. Weiterhin gibt es einen Bezug zu der Statistik der natŸrlichen visuellen Umwelt: i0D Merkmale kommen in natŸrlichen Bildern statistisch am hŠufigsten, i1D Merkmale weitaus seltener und i2D Merkmale am seltensten vor. Somit erlaubt die Auswertung der intrinsischen Dimension eine effizientere Codierung [5]. Die Literatur zum Thema BewegungsschŠtzung ist umfangreich und wird z.B. in [6] zusammengefa§t. Bisherige (differentialgeometrische) AnsŠtze ergaben jedoch nicht die hier vorgestellten Beziehungen zwischen KrŸmmung und Bewegung. Weiterhin wird hier, im Unterschied zur verwandten Tensormethode (vgl. [6, 7]) das Eigenwertproblem vermieden (die Tensormethode untersucht zur Bewegungsdetektion die Eigenwerte eines sog. Struktur-Tensors). Probleme der BewegungsschŠtzung wurden bereits im Kontext der intrinsischen Dimension behandelt und es wurden unterschiedliche i3D-Operatoren zur Detektion von DiskontinuitŠten im optischen Flu§ vorgeschlagen [2, 8]. Differentialgeometrische Methoden, die auf dem orts-zeitlichen Gradienten beruhen, wurden zur robusten Bewegungsdetektion angewandt [9]. Modellbasierte Algorithmen erlauben eine hohe Genauigkeit der BewegungsschŠtzung, sind jedoch relativ aufwendig [10].

2

Die KrŸmmung von Bildfolgen

Ist f(x,y,t) die Helligkeit am Ort (x,y) zum Zeitpunkt t, so beschreibt ( x, y, t, f ( x, y, t ))

(3)

eine HyperflŠche. Die KrŸmmung dieser HyperflŠche wird durch den Riemannschen KrŸmmungstensor R gemessen: in Bereichen, wo die HyperflŠche flach ist, verschwindet der Tensor, d.h. alle Komponenten sind gleich Null, unabhŠngig vom gewŠhlten Koordinatensystem. In 3D hat R sechs unabhŠngige Komponenten, die in kartesischen Koordinaten folgenderma§en durch die Ableitungen erster und zweiter Ordnung von f bestimmt sind: (4) f xx f yy − f xy 2 f yy ftt − f yt 2 f xx ftt − f xt 2 R2121 = R R ; ; = = 3131 3232 1 + f x2 + f y2 + ft 2 1 + f x2 + f y2 + ft 2 1 + f x2 + f y2 + ft 2 R3121 =

fxy ftt − fxt fyt fxx fyt − fxt fxy f f −f f ; R3221 = xy 2yt 2yy xt 2 ; R3231 = 2 2 2 1 + fx + fy + ft 1 + fx + fy + ft 1 + fx2 + fy2 + ft 2

(5)

Die KrŸmmung ist in der Differentialgeometrie ein Ma§ fŸr die Abweichung von der Flachheit und als solches sehr stark von der Dimension abhŠngig. Kurven sind immer flach und es gibt deshalb in 1D kein KrŸmmungsma§ (R verschwindet; die KrŸmmung von Kurven und die mittlere KrŸmmung H sind keine KrŸmmungsma§e im Sinne der Abweichung von der Flachheit). FlŠchen und HyperflŠchen sind dann flach, wenn sie durch eine isometrische Transformation auf eine Ebene oder Hyperebene abzubilden sind (sie sind dann abwickelbar). In 2 D hat R nur eine unabhŠngige Komponente (gleich R2121 mit ft=0) und typische gekrŸmmte Merkmale in Bildern sind Ecken, Linienenden usw. In 2D, aber nur hier, sind R und die Gau§sche KrŸmmung Šquivalent. Was aber sind gekrŸmmte Merkmale in Bildfolgen? Zur Beantwortung dieser Frage mu§ man R als Tensor (Gesamtheit der Komponenten) betrachten und es empfiehlt sich, die obigen sechs Komponenten fŸr

unterschiedliche Bildfolgen zu berechnen und gleichzeitig darzustellen#. In diesem Beitrag wird im folgenden gezeigt werden, wie die KrŸmmungseigenschaften von Bildfolgen mit dem Problem der BewegungsschŠtzung zusammenhŠngen und wie sie die Detektion von Bewegung ermšglichen.

3

KrŸmmung und Bewegung

BewegungsschŠtzung bei Translation Nehmen wir nun an, da§ die Bildfolge durch Translation entsteht, d.h. durch eine gleichfšrmige Bewegung mit Geschwindigkeit ν in Richtung θ (6) f : f ′( x − tv cosθ , y − tv sin θ ) , so ergeben sich folgende Beziehungen zwischen den Komponenten von R:

R3221 R3231 R3232 = = = v cos(θ ); R2121 R3121 R3221

R3232 = v 2 cos(θ )2 ; R2121

(7)

R3121 R3131 R3231 = = = − v sin(θ ); R2121 R3121 R3221

R3131 = v 2 sin(θ )2 ; R2121

(8)

Obige Ergebnisse wurden dadurch erzielt, da§ die Gleichung (6) in die Gleichungen (4) und (5) eingesetzt und diese dann in unterschiedlichen Kombinationen symbolisch vereinfacht wurden. Es ist leicht einzusehen, da§ obige Beziehungen auch fŸr die ZŠhler in (4) und (5) gelten und somit fŸr die Unterdeterminanten der Hessematrix R R von f. Da§ ( R3121 , R3221 ) , d.h. die ganz linken Terme in (7) und (8), den Komponenten 2121 2121 des Geschwindigkeitsvektors entsprechen, ist ein bekanntes Ergebnis [11, 12] welches Ÿblicherweise mithilfe der Annahme eines konstanten šrtlichen Gradienten abgeleitet wird (Gl. (6) impliziert diese Annahme). Gl. (7) und (8) erlauben jedoch vier verschiedene BewegungsschŠtzungen, die nur im Falle reiner Translation gleich sind. Der Mittelwert dieser verschiedenen SchŠtzungen ergibt eine robustere SchŠtzung der Translation (an jenen Bildpunkten, wo kein Aperturproblem auftaucht - s. Tabelle 1) und Differenzen zwischen unterschiedlichen SchŠtzungen sind Indikatoren fŸr das Zutreffen der Gl. (6)- s. Abschnitt 4. Detektion von Translation Festzustellen, ob Gleichung (6) zutrifft, ist oft der schwierigere Teil der BewegungsschŠtzung und hŠngt eng mit dem Problem der intrinsischen Dimension zusammen. Liegt nŠmlich eine Translation vor, so ist die Fourier-Transformierte des Signals auf eine Ebene beschrŠnkt. Anhand von Gleichung (2) wird deutlich, da§ die gleiche EinschrŠnkung fŸr i2D Merkmale gilt. Die unterschiedlichen Probleme bei der Translationsdetektion und deren Bezug zur intrinsischen Dimension und den KrŸmmungen werden in Tabelle 1 zusammengefa§t.

#

Einfache Beispiele dazu finden sich unter www.isip.mu-luebeck.de/~barth/papers/arvo98.html.

Intrinsische Dimension

Bewegung

KrŸmmungen

0

keine

H=0, R=0, K=0

1

nicht eindeutig (šrtlich i1D, Aperturproblem)

H≠0, R=0, K=0

2

eindeutige Translation von Merkmalen, die šrtlich i2D sind (z.B. gleichfšrmig bewegte Ecken)

H≠0, R≠0, K=0 R2121-0

2

diskontinuierliche Bewegung von Merkmalen, die šrtlich i1D sind (z.B. Verdeckung von geraden Kanten)

H≠0, R≠0, K=0, R2121=0

3

diskontinuierliche Bewegung von Merkmalen, die šrtlich i2D sind

H≠0, R≠0, K≠0

Tabelle 1: Beziehungen zwischen intrinsischer Dimension, Bewegungen und KrŸmmungen. Auf die mittlere KrŸmmung H (Mittelwert der HauptkrŸmmungen) und die Gau§sche KrŸmmung K (Produkt der HauptkrŸmmungen) wird hier nicht weiter eingegangen. Eine eindeutige Translation ist somit dadurch charakterisiert, da§ der Riemannsche Tensor von Null verschieden, die Gau§sche KrŸmmung jedoch gleich Null ist (Logik: Riemann ∧ ¬ Gau§), aber auch dadurch, da§ die unterschiedlichen Bewegungsvektoren nach Gleichungen (7) und (8) definiert und gleich sind - s. Abschnitt 4. Anhand von "R≠0" kann erkannt werden, da§ kein Aperturproblem vorliegt und es ist bekannt, da§ ein Konfidenzma§ welches die šrtliche KrŸmmung berŸcksichtigt (z.B. der ZŠhler von R2121) die Genauigkeit der BewegungsschŠtzung deutlich verbessern kann [13]. Anhand der orts-zeitlichen KrŸmmungen lassen sich darŸber hinaus (wie oben skizziert und in Abschnitt 4 angewandt) Konfidenzma§e ableiten, welche DiskontinuitŠten und Verdeckungen vermeiden.

4

Anwendungsbeispiele

Die Ergebnisse, sowie die damit verbundenen Anwendungsmšglichkeiten, sollen nun durch Simulation bestŠtigt und veranschaulicht werden. Dazu wurden zunŠchst drei synthetische Bildfolgen verwendet - s. Bild 1. In der ersten Bildfolge bewegte sich ein Quadrat nach rechts oben (jeweils zwei Pixel rechts, ein Pixel hoch). Die Bildfolge war 64*64*32 Pixel gro§, gezeigt wird in (a) die 32*32 gro§e Mitte des 17ten Bildes (alle Bilder wurden aus PlatzgrŸnden etwas gestaucht). In der zweiten Bildfolge (b) kam Rauschen hinzu (an einer bestimmten Anzahl zufŠllig gewŠhlter Pixel wurde gleichverteiltes Rauschen addiert). In (c) wurde in einer 32*32*32 gro§en Bildfolge ein Quadrat ein- und ausgeschaltet. Gezeigt wird das neunte Bild, in dem das Quadrat gegen den dunklen Hintergrund auftauchte. Gerechnet wurden fŸr alle drei in Bild 1-1 auszugsweise dargestellten Bildfolgen die in Bild 1-(2 bis 7) dargestellten, auf unterschiedliche Weisen ermittelten, Bewegungsvektoren. In allen FŠllen wurden die Bildfolgen zunŠchst tiefpa§gefiltert (Gau§scher Tiefpa§ Ÿber 3D FFT, 6 dB Grenzfrequenz in der HŠlfte des Spektrums). Danach wurden die Ableitungen zweiter

Ordnung durch Differenzenbildungen und dann anhand von Gleichungen (7) und (8) folgende Vektoren berechnet: ( R3221 , -R3121 )/R 2121 , (R3231 , -R3131 )/R 3121 , (R3232 , -

R3232 , Sign[-R3121]

R3231)/R3221, (Sign[R3221]

R3131 )/R2121. Alle Vektoren wurden

Sign[T[fxxfyy-fxy2]]

noch mit multipliziert (T setzt die Werte unter einer Schwelle von 10% des Maximums auf Null) um zu zeigen, da§ ein klassisches Konfidenzma§ die falschen Vektoren nicht vermeidet. Schlie§lich wurde die Bildgrš§e auf 16*16 Pixel reduziert (durch Unterabtastung nach nochmaliger Tiefpa§filterung). Die so ermittelten Vektoren werden in Bild 1-(2 bis 5) fŸr die unterschiedlichen Bildfolgen dargestellt. Bild 1-6 zeigt die Mittelwerte der vier Bewegungsvektoren (2 bis 5). In Bild 1-7 werden die Mittelwerte nur an denjenigen Stellen ermittelt, wo die vier Richtungen der Vektoren (2 bis 5) Ÿbereinstimmen (die Standardabweichungen geringer als drei Grad sind). a 10

15

1

“ein”

b

5

5

5

10

10

15

15

20

20

25

25

20

25

30

30

5

10

15

20

25

c

30

5

30

10

15

20

25

30

5

16

18

16

14

16

14

10

15

20

25

30

14 12

12 12

10

10 10

8

8 8

2

3

6

4

5

2

2

0

0

0

2

4

6

8

10

12

14

16

2

0

2

4

6

8

10

12

14

16

18

0

16

16

16

14

14

14

12

12

12

10

10

10

8

8

8

6

6

6

4

4

2

2

0

2

4

6

8

10

12

14

16

0

4

6

8

10

12

14

16

0

16

14

14

14

12

12

12

10

10

10

8

8

8

6

6

6

4

4

2

2

0

0

2

4

6

8

10

12

14

16

4

6

8

10

12

14

16

18

0

16

14

14

14

12

12

12

10

10

10

8

8

8

6

6

6

4

4

2

2

4

6

8

10

12

14

16

0

4

6

8

10

12

14

16

18

0

16

14

14

14

12

12

12

10

10

10

8

8

8

6

6

4

2

0

2

4

6

8

10

12

14

16

0

12

14

16

0

2

4

6

8

10

12

14

16

0

2

4

6

8

10

12

14

16

0

2

4

6

8

10

12

14

16

0

2

4

6

8

10

12

14

16

0

2

4

6

8

10

12

14

16

4

2

0

10

2

2

16

4

8

4

0

16

6

6

2

2

16

2

4

4

0

16

0

2

2

2

16

0

0

4

0

16

0

6

4 4

0

4

6 6

2

0

2

4

6

8

10

12

14

16

0

16 16

16

14

14

12

12

10

10

8

8

14

12

10

8

7

6 6

6

4 4

4

2 2

0

0

2

4

6

8

10

12

14

16

0

2

0

2

4

6

8

10

12

14

16

0

Bild 1: Selektion von Bewegungsvektoren. a: Rechteck bewegt sich nach rechts oben, b: Bewegung wie in (a) mit zusŠtzlichem Rauschen, c: Einschalten des Rechtecks; 1: einzelne Bilder aus den Eingangssequenzen 2 bis 5: Bewegungsvektoren nach unterschiedlichen Verfahren - s. Text, 6: Mittelwert der Vektoren aus 2 bis 5, 7: Mittelwert der Vektoren die in 2 bis 5 eine Šhnliche Richtung haben - s. Text. Bemerkenswert ist, da§ in (7) die durch das Rauschen in (b) und das Einschalten in (c) falschen Vektoren beseitigt werden.

1 2

3

4

1

2

3

4

Bild 2: NatŸrliche Bildsequenz "Hamburger Taxi" - s. Text. Die Ergebnisse in Bild 2 werden fŸr vier Ausschnitte (20*20 Pixel) des siebenten Bildes der 16 Bilder langen Sequenz in der ursprŸnglichen Auflšsung (256*190 Pixel) gezeigt. Die Sequenz wurde zunŠchst mit einem ROG-Filter (Ratio of Gaussians) gefiltert. Die Ergebnisse dieser Filterung sind im jeweils ersten Bild der vier Zeilen mit Ausschnitten zu sehen. Die zweiten Bilder entsprechen der Zeile zwei

in Bild 1 und das letzte Bild der Zeile sieben (bis auf die Schwelle T und die Unterabtastung, die hier entfallen). Das vorletzte Bild unterscheidet sich vom letzten dadurch, da§ die Schwelle bezŸglich der Standardabweichung der Bewegungsrichtungen nicht 3 sondern 30 Grad betrug. Um ein dichtes Feld zu erhalten, ist nach wie vor eine nachtrŠgliche Regularisierung notwendig, diese mŸ§te aber lediglich interpolieren, da keine falschen Vektoren eingehen. Die (qualitative) Bewegungsskizze oben rechts ergab sich durch eine Tiefpa§filterung und Unterabtastung (Faktor 8) des Flu§feldes, welches in der rechten Spalte auszugsweise gezeigt wird. Die tiefpa§gefilterten Vektoren wurden dann durch morphologische Erosion auf einen Wert pro zusammenhŠngenden Bereich reduziert und werden als Einheitsvektoren gezeigt (die ursprŸngliche LŠnge dieser Vektoren hŠngt von der Geschwindigkeit aber auch von der Dichte der korrekten Vektoren ab). Dadurch, da§ nur korrekte Vektoren integriert werden, wiedergibt die Bewegungsskizze in guter NŠherung die Bewegungsrichtung der Objekte in der Szene.

5

Diskussion

Diese Arbeit setzt zwei wichtige Eigenschaften von Bildfolgen, die KrŸmmung und die intrinsische Dimension, in Bezug zur BewegungsschŠtzung. Zwei Prinzipien der mehrdimensionalen Signalverarbeitung kommen dabei zum Zuge. Einmal verfolgen wir das Prinzip der Codierung von Abweichungen von der Flachheit (KrŸmmung). In der Differentialgeometrie wird dieses durch den Riemannschen Tensor umgesetzt und es wurde hier gezeigt, da§ eine derartige orts-zeitliche Codierung die BewegungsschŠtzung mit beinhaltet. (Die KrŸmmung ist eine intrinsische Eigenschaft von FlŠchen und HyperflŠchen, d.h. eine isometrische Invariante. Dennoch verwenden wir den Ausdruck "intrinsische Geometrie" nicht unbedingt in diesem strengen geometrischen Sinne, sondern eher zur Abgrenzung von der gelŠufigeren, extrinsischen Geometrie des Raumes.) Das zweite Prinzip ist das der hierarchischen Codierung der intrinsischen Dimension. Eine eindeutige Translation ist i2D, aber i2D impliziert nicht notwendigerweise eine Translation. Deshalb ist eine eineindeutige Korrespondenz nur mit "i2D UND NICHT i3D" gegeben. Einfache Methoden der Detektion von Translation wurden vorgestellt. Sie beruhen auf der Auswertung vier unterschiedlicher Bewegungsvektoren und einer Varianzanalyse der Richtungen dieser Vektoren. Die Ergebnisse zeigen, da§ sich damit Fehlantworten vermeiden lassen, die typischerweise durch Verdeckungen und Rauschen auftreten. Geometrische AnsŠtze werden oft kritisiert, weil Differentialoperatoren rauschempfindlich sind und keinen flexiblen Entwurf ermšglichen. Die Differentialgeometrie ist jedoch dazu geeignet, die Rolle der NichtlinearitŠten zu verstehen; fŸr eine Signaltheorie der intrinsischen Dimension ist sie allerdings nicht ausreichend. In diesem Sinne wurden bereits allgemeinere AnsŠtze vorgestellt [1, 2, 4, 5]. Weiterhin wurde bereits gezeigt, da§ alle Komponenten von R mithilfe von 2D SchnittkrŸmmungen berechnet werden kšnnen [3]. Damit wird die 3D KrŸmmung auf zweidimensionale i2D-selektive Operationen abgebildet und der bereits besser entwickelten Theorie der zweidimensionalen i2D-Operatoren zugŠnglich gemacht. Ein weiteres hier verfolgtes Prinzip ist das der Anlehnung an die Sehforschung. Biologische visuelle Systeme haben sich durch die Evolution an natŸrliche Szenen angepa§t und es kann deshalb auch in einem technischen Kontext durchaus nŸtzlich sein, die biologischen Lšsungen zu studieren. Besonders wichtig

fŸr die visuelle Verarbeitung bewegter Reize ist das Areal MT bei den Affen. Mithilfe der hier vorgeschlagenen KrŸmmungsanalyse von Bewegtbildern konnten einige noch unverstandene Eigenschaften von Neuronen in MT erklŠrt werden, sowie Aspekte der Wahrnehmung der globalen Bewegungsrichtung von šrtlichen i1D Merkmalen in Aperturen [14] (die Bewegungsrichtung wird im Zweifelsfalle nicht vom šrtlichen Gradienten bestimmt, sondern von der Bewegung der Endpunkte). Die Hypothese, da§ im visuellen System die Abweichungen von der Flachheit codiert werden, erwies sich somit als nŸtzlich.

6

Danksagung

Die Arbeit ist teilweise am NASA Ames Forschungszentrum in Kalifornien entstanden und wurde von der DFG unter Ba 1176/4-1 gefšrdert. Wir danken den Gutachtern fŸr die hilfreichen und die kritischen Anmerkungen.

7

Literaturverzeichnis

1. Zetzsche, C. and E. Barth, Fundamental limits of linear filters in the visual processing of two-dimensional signals. Vision Research, 1990. 30: p. 1111--1117. 2. Zetzsche, C. and E. Barth, Direct detection of flow discontinuities by 3Dcurvature operators. Pattern Recognition Letters, 1991. 12: p. 771--779. 3. Barth, E., C. Zetzsche, and G. Krieger, Curvature measures in visual information processing. Open Systems and Information Dynamics, 1998. 5: p. 25-39. 4. Barth, E., T. Caelli, and C. Zetzsche, Image encoding, labelling and reconstruction from differential geometry. CVGIP:GRAPHICAL MODELS AND IMAGE PROCESSING, 1993. 55(6): p. 428--446. 5. Zetzsche, C., E. Barth, and B. Wegmann, The importance of intrinsically twodimensional image features in biological vision and picture coding, in Digital images and human vision, A.B. Watson, Ed., 1993, MIT Press: Cambridge, MA. p. 109--138. 6. JŠhne, B., Digitale Bildverarbeitung. 1997, Berlin Heidelberg: Springer. 7. Hau§ecker, H. and B. JŠhne, A tensor approach for precise computation of dense displacement vector fields, in Mustererkennung 97, E. Paulus and F.M. Wahl, Hrsg. 1997, Springer: Berlin. p. 199-208. 8. Zetzsche, C., E. Barth, and J. Berkmann, Spatio-temporal curvature measures for flow field analysis. Geometric Methods in Computer Vision, B. Vemuri Ed., 1991. SPIE 1590: p. 337--350. 9. Liou, S.P. and R.C. Jain, Motion detection in spatio-temporal space. Computer Vision, Graphics, and Image Processing, 1989. 45: p. 227-250. 10. Black, M.J. and A. Jepson, Estimating optical flow in segmented images using variable-order parametric models with local deformations. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1996. 18(10): p. 972-986. 11. Tretiak, O. and L. Pastor. Velocity estimation from image sequences with second order differential operators. in Proc. 7th Int. Conf. Pattern Recognition. 1984. Montreal, Canada: IEEE Computer Society Press. 12. Nagel, H.H., On the estimation of optical flow: relations between different approaches and some new results. Artificial Intelligence, 1987. 33: p. 299-324. 13. Barron, J.L., D.J. Fleet, and S.S. Beauchemin, Performance of optical flow techniques. International J. of Computer Vision, 1994. 12(1): p. 43-77. 14. Barth, E. and A.B. Watson, Nonlinear spatio-temporal model based on the geometry of the visual input. Investigative Ophthalmology and Visual Science, 1998. 39(4): p. S2110.