Wir verstehen hierunter die Aufgabe, die Teilbilder der Fixationen vor und nach einer Sakkade gemeinsam auszuwerten. Die durch die neue Fixation gewonnenen Detailinformationen sollen dem bestehenden Bild zugefügt werden. Auf der Ebene der bloßen Bildverarbeitung wären vor allem also der Bereich der Fovea detailreicher als vorher, jedoch der vorher in der Fovea abgebildete Bereich detailreicher als im aktuellen Retinabild.

Diese Situation wird mathematisch typischerweise mit der Methode des Kalman-Filters (KF) behandelt. Ein KF verarbeitet neben den zu schätzenden Zustandsdaten x(t) die zeitlich nacheinander eingehenden Meßdaten y_t sowie als Hilfsmittel die Kovarianzmatrizen der Unsicherheit über den Zustandsvektor P und den Meßvektor R, vor allem ein Modell der erwarteten inneren Fortentwicklung des Zustands, i.w. durch eine lineare Transformationsmatrix A dargestellt, und die Meßmatrix H.

Die Verarbeitungsschritte sind:

• Eingang der neuen Messung y mit gegebener Kovarianz R,
• Berechnung des erwarteten aktuellen Zustands x‘ = A x aufgrund
  • der sakkadischen Ortsverschiebung und der
  • Bewegungen innerhalb des Bildes,
• Neuberechnung der vergrößerten Zustandskovarianz P‘ des erwarteten Zustands X‘ ,
• Berechnung der Kalman-Matrix K und Anwendung auf die Differenz zwischen Messung und Erwartung y - H x‘ ,
• neuer Zustandsvektor ^x und mit der Kalman-Matrix reduzierte Kovarianz nach der Messung.

Das Problem der Größe der Matrizen P und R ist dadurch reduziert, daß sie als dünn besetzt, evtl. sogar diagonal angenommen werden dürfen.

Bei der Wahl des Zustandsvektors wäre die einfachste Lösung, direkt die Werte der Retina-Orte zu verwenden. Die Meßmatrix H wäre dann die Identität, ebenso die Meßkovarianz R ein konstantes Vielfaches der Id. Gegen diese Wahl spricht, daß auf diese Weise die Detailinformation vor der Sakkade nicht ausreichend gewürdigt wird. Man sollte auf jeden Fall einen langsameren Abfall der Auflösung nach außen vorsehen. Das Problem bei diesem Modell ist die Implementation der Matrix A, da die einer Sakkade entsprechende Translation auf einem ungleichmäßigen Raster ein Resampling des vorherigen Zustandsvektors erfordert. Somit ergibt sich als konsequente Lösung, ein gleichförmig gerastertes Zustandsmodell der physischen Welt zu verwenden. Die unterschiedliche Auflösung wird vollständig in die Kovarianzmatrix verlagert.

Alternativ bietet sich an, als Zustand die (Orts-)Fouriertransformierte zu verwenden. In diesem Modell ist die Translation leicht durch Multiplikation der Phasenlage darzustellen. Allerdings entspricht der Fouriertransformation eine vollbesetzte Matrix, wodurch vor allem die Neuschätzung der Zustandskovarianz erheblich aufwendiger und möglicherweise praktisch unmöglich sein könnte. Es ist auch zu prüfen, welche Komplikationen durch den Umstand entstehen, daß der Zustandsvektor komplexwertig wird, da KF in der Literatur, soweit mir bisher bekannt, auf reellwertige Systeme beschränkt sind. Evtl. reicht es aber aus, im Algorithmus die einfache Matrixtransponierte durch Hermite-transponierte zu ersetzen. Die Kovarianzmatrizen bleiben dann hermitesch und positiv definit.