Ziel ist ein System für die zeichnerische Annotation und Recherche von Rastergrafiken mit einem Multitouch-Tisch auf Basis eines existierenden Datenbestandes (ar:searchbox/mediaTUM). Entstanden sind Frontend-Anwendungen für das Microsoft Surface (Samsung SUR40) und Backend-Komponenten für die Bildanalyse mit Schnittstelle zur Anbindung verschiedener Algorithmen, für die Verarbeitung der Anfragen, für die Kommunikation mit der ar:searchbox und dem Anstoßen der Analysen. Zur Formulierung zeichnerischer Suchanfragen wurde eine stiftbasierte Anwendung (TouchTect) zum Skizzieren eines schematischen Grundrisses auf einem Multitouch-Tisch implementiert. Die Mustererkennung übersetzt die Zeichnung als Anfrage und die Suchergebnisse aus der ar:searchbox können gestengesteuert betrachtet werden.

Für die Suche ist die Identifikation der vorliegenden Dokumente notwendig. Dies wird durch Ableitung semantischer Fingerabdrücke von Gebäuden ermöglicht die zu jedem Dokument in der ar:searchbox mitgespeichert werden. Eine zweite Multitouch-Anwendung (surf:ID) ermöglicht das Erstellen und Manipulieren automatisch generierter Fingerabdrücke. Zur Unterstützung der Erstellung eines Fingerabdruckes wird die Rastergrafik des Grundrisses automatisch analysiert und je nach Bildqualität Räume mit ihren Positionskoordinaten erkannt, sodass der generierte Fingerabdruck nur noch korrigiert oder erweitert werden muss. In Zukunft wird das modulare System um Komponenten erweitert und mit andere Anwendungen wie beispielsweise der Spiele-Engine Quest3D verknüpft.