Beiträge

Master Thesis: Head-coupled Mobile Video See-Through AR

The concept of head-coupled video see-through is based on the metaphor of a virtual window into the reconstructed world. Combined observer and environment tracking is applied to modify the reconstructed scene according to the relative 3D user head position. Off-axis rendering is applied to generate the illusion of depth based on the distance of virtual reconstructed objects. Here, we are only constrained by the human binocular vision system. The scene reconstruction is based on the relative depth of physically perceived objects.

Abstract

The present master’s thesis seeks to develop a better understanding of head-coupled video see-through interfaces in the context of mobile camera-equipped devices. The developed prototype is a proof-of concept of multi-camera see-through devices. Increasing processing power and the wide distribution of mobile camera phones make those devices an interesting research objective. We envisioned a mobile see-through device exploiting the capabilities of devices with two integrated cameras. The presented view-dependent video augmentation system integrates rendered content seamlessly into the physical environment. Thus, our en- visioned see-through device is capable of visualizing exactly the perceptual part of the user’s view that is hidden by the device. The concept of head-coupled video see-through is based on the metaphor of a virtual window into the reconstructed world. Our primary aim was not to enrich the reconstructed content with additional information. Instead, we focused on creating a photorealistic reconstruction of the physical world to demonstrate the feasibility of mobile head-coupled see-through devices. Combined observer and environment tracking is applied to modify the reconstructed scene according to the relative 3D user head posi- tion. Off-axis rendering is applied to generate the illusion of depth based on the distance of virtual reconstructed objects. Here, we are only constrained by the human binocular vision system. The scene reconstruction is based on the relative depth of physically perceived ob- jects, which enables the simulation of cognitive effects such as motion parallax and doll zoom.

Zusammenfassung

Im Rahmen dieser Arbeit wird ein kopfgesteuertes mobiles See-Through System vorgestellt. Das Konzept basiert auf der Annahme, dass es mittels zweier Kameras möglich ist, den durch ein Gerät verdeckten Bereich des Blickfeldes eines Nutzers auf dem Gerät zu visualisieren. Dafür rekonstruieren wir die physikalische Umgebung mit der Kamera auf der Geräterueckseite. Eine weitere Kamera an der Gerätevorderseite erkennt den Benutzer und bestimmt dessen relative 3D Position. Dadurch sind wir in der Lage zu erkennen, welchen Teil des Blickfeldes das Gerät verdeckt. Durch perspektivische Off-Achsen Projektion wird der verdeckte Teil des Blickfeldes auf dem Gerät dargestellt. Unser Ziel ist dabei nicht die Visualisierung zusätzlicher Informationen, sondern die photorealistische Nachbildung der physikalischen Umgebung. Durch das kombinierte Erkennen und Rekonstruieren der Umwelt und des Nutzers können wir die kognitive Wahrnehmung im Zusammenhang mit Video See-Through Augmented Reality Systemen untersuchen.

A by-product of my master's thesis can be found here: remote periscope projection prototype 

This is a project with the Human Computer Interaction Lab at Hasso Plattner Institute: http://www.hpi.uni-potsdam.de/baudisch/projects.html