HOW EXACTLY DO YOU BUILD AN APP WITH AUGMENTED REALITY?

Projects
POST CONTENTS

→ What is augmented reality
→ Insights into user research

Our work with Stadt Zurich and Bitforge building an app to showcase Zurich’s UNESCO World heritage site

German interview below/Deutsches interview unten

Unknown to most Zürcher’s, the city of Zurich is home to an almost secret UNESCO-World Heritage site. Situated by Sechseläutenplatz, historic lake dwellings occupied the city almost 5000 years ago and in 2011 were named a world heritage site. The lake dwellings not only provide insight into life in prehistoric times during the Neolithic and Bronze Age in Alpine Europe but add to Zurich’s rich history.

A decade on and in line with the ten-year anniversary, the city’s archaeologists now want to make the findings accessible to a wider audience through an AR app and exhibition.  However, very little was known about what citizens and tourists would expect from such application and how they would like to experience the 5000-year-old village. That’s where Spark Works came in…..

Accordingly, through explorative and qualitative user research we provided the project team of Stadt Zurich with unexpected and surprising insights about the lake dwellings.

After sharing these insights, this allowed the city to decide on concrete features and the content for the augmented reality app.  But how exactly do you develop an AR app? We sat down with Bitforge, who developed and implemented the pastZurich app to learn more about how exactly they went about bringing these ancient dwellings to life.

We spoke to Raphael Anderegg, AR specialist and software developer at Bitforge about the project.

Let’s start with the basics. What is Augmented Reality?


Augmented reality is the combination of analogue and digital worlds. Information is added to reality with the help of a device (smartphone, AR glasses). This often involves 3D models that fit seamlessly into the "real" world.

This sounds futuristic and it most certainly is! With AR, things can be made visible that normally remain out of fight. Also, unlike more classical formats such as images or videos, you can actually experience these things and physically immerse yourself in them.

The Pile Dwellings are a relatively unknown UNESCO World Heritage site- with limited information how did you visualise what the city was like 5000 years ago?


In this regard, we greatly benefited from the work of the city’s Department of Urban Planning whom have been working with historians for years to investigate the pile dwelling settlement and its origins. In this context, 3D models and video animations of the original settlement were already created and served as a basis for the AR model.

Spark Works carried out user research and then shared the information with you. How did this information help you to develop the app? Did you take new information, you hadn’t previously thought about, into consideration?


The conception of an app is usually the result of many creative ideas and concepts that we generate together as a team. However, we are only human and are naturally going to have a subjective view towards what we believe the target group requires.

It is therefore essential to conduct user research on the appropriate target group as early as possible. In this way, we ensure that our solution fits the target group in the best possible way so that they enjoy our app as much as possible. True to the motto: "Test early and test often!"

At pastZurich, we put a lot of thought into how users could best find the starting point of the app. To do this, we designed several sophisticated navigation patterns and map views that we thought users would require. In the end, however, the research showed that this is not necessary at all and that the users actually can find the start of the AR app most easily with the help of an image.

How did you think citizens and tourists would respond to the «pastZurich» app? Was the outcome what you expected?

The app has been very well received by the media and users so far. Occasionally, there are still uncertainties, especially as many users are using an augmented reality application for the first time. However, as time passes these moments will decrease, especially as more AR/technically advanced apps will continue to be released.

Digitalisation is a “hot” word - why is that the case? Is this perhaps only the beginning of AR? 

Absolutely - there is still a huge untapped potential even despite the fact that many related technologies are developing rapidly. Even the potential idea of how a combination of AR applications with neutral networks can be combined for automated product positioning and improved tracking opens many doors and significantly improved use cases. This is an example of how augmented reality as a technology is not a dead end, but will become an increasingly important part of the foreseeable future as we move towards more mobile and interactive solutions.

What aspects of the project do you find best? What are you most proud about?

The feeling of walking through a 5000 year old village through your smartphone in the palm of your is very cool! It's nice to see how realistic the experience has become and how you can actually immerse yourself in a past world through through your phone screen.  From a technical point of view, I am proud of how we have managed the stability of the tracking: Even with prolonged use and difficult lighting conditions, the AR model remains firmly anchored in place.

Deutsches Interview

Die meisten Anwohner wissen nicht, dass die Stadt Zürich ein fast geheimes UNESCO-Welterbe beherbergt. Vor fast 5000 Jahren schmückten am Sechseläutenplatz historische Pfahlbauten die Stadt und wurden 2011 zum Welterbe ernannt. Die Pfahlbauten geben nicht nur einen Einblick in das prähistorische Leben während der Jungsteinzeit und der Bronzezeit im alpinen Europa, sondern tragen auch zur ereignisreichen Geschichte Zürichs bei. 

Ein Jahrzehnt später und passend zum zehnjährigen Jahrestag wollen die Stadtarchäologen die Funde nun mit einer Augmented-Reality-App und einer Ausstellung einem breiteren Publikum zugänglich machen. Allerdings war nur wenig darüber bekannt, was Einwohner/-innen und Touristen von einer solchen Anwendung erwarten und wie sie das 5000 Jahre alte Dorf erleben möchten. An dieser Stelle kam Spark Works ins Spiel.....

So lieferten wir dem Projektteam der Stadt Zürich durch explorative und qualitative Nutzerforschung unerwartete und überraschende Erkenntnisse über die Pfahlbauten. 

Nach Austausch dieser Erkenntnisse konnte die Stadt konkrete Features und Inhalte für die App festlegen. Doch wie genau entwickelt man eine AR-App? Wir haben uns mit Bitforge, zusammengesetzt, den Entwicklern der pastZurich-App, um zu erfahren, wie man alte Bauwerke zum Leben erweckt.

Wir sprachen mit Raphael Anderegg, AR-Spezialist und Software Developer bei Bitforge über das Projekt.

Lass uns mit den Basics beginnen.Was genau ist Augmented Reality?

Augmented Reality ist die Kombination von analoger und digitaler Welt. Die Realität wird mithilfe eines Devices (Smartphone, AR Glasses) um Informationen ergänzt. Dabei handelt es sich häufig um 3D-Modelle, welche sich nahtlos in die “echte” Welt einfügen.

Das klingt futuristisch und ist es auch :-) Mit AR können Dinge sichtbar gemacht werden, die dem Auge normalerweise verborgen bleiben. Und im Gegensatz zu klassischen Formaten wie Bildern oder Videos kann man diese Dinge tatsächlich erleben und physisch darin eintauchen.

Die «Pfahlbauten um die Alpen» sind ein relative unbekanntes UNESCO Welterbe. Wie visualisieren Sie, wie die Stadt vor 5000 Jahren ausgesehen hat?

In diesem Bereich profitierten wir stark von der Arbeit des Amtes für Städtebau der Stadt Zürich, welche bereits seit Jahren mit Historikern zusammenarbeitet, um die Pfahlbausiedlung zu untersuchen und seine Ursprünge zu erforschen. In diesem Rahmen wurden auch bereits 3D-Modelle und Video-Animationen der ursprünglichen Siedlung erstellt, welche uns als Basis für das AR-Modell diente.

Spark Works hat Ihnen die durch “User Research” gesammelten Informationen weitergeleitet. Wie haben Ihnen diese Infos bei der Entwicklung der App geholfen? Haben Sie vielleicht neue Informationen erhalten, an die Sie vorher nicht gedacht hatten?

Die Konzeption einer App ist in der Regel geprägt von vielen kreativen Ideen und Vorstellungen, die wir als Projekt-Team zusammen generieren. Wir sind alle nur Menschen und haben da und dort einen einen persönlich gefärbten Blick auf ein Projekt, was eine objektive Sicht auf die Zielgruppe und ihre Bedürfnisse erschweren kann.

Aus diesem Grund ist es von essentieller Bedeutung, in der Zielgruppe so früh wie möglich User Research durchzuführen. Damit stellen wir sicher, dass unsere Lösung bestmöglich zur Zielgruppe passt, damit diese so viel Freude wie möglich an unserer App hat. Ganz nach dem Motto: “Test early and test often!”

Bei pastZurich machten wir uns viele Gedanken, wie die User den Start-Punkt der Anwendung am besten finden könnten. Dazu entwarfen wir verschiedene, ausgeklügelte Navigations-Patterns und Map-Views, von denen wir dachten, dass die User sie benötigen. Der Research zeigte am Ende jedoch, dass das gar nicht nötig ist und die User den Start der AR-App mit Hilfe eines Bildes am einfachsten finden.

Wie dachten Sie, würden Bürger und Touristen auf die «pastZurich» App reagieren? War das Ergebnis so, wie Sie es erwartet haben?

Die App wurde von den Medien und den Anwendern bisher sehr gut aufgenommen. Vereinzelt kommt es noch zu Unsicherheiten bezüglich des platzierens des AR-Modelles, da viele User zum ersten mal eine Augmented Reality-Anwendung benutzen. Diese Momente nehmen jedoch mit jeder veröffentlichten App weiter ab.

Did anything surprise you about this project?

To be honest, I was pleasantly surprised at how progressive and risk-taking the Zurich City Planning Department was in this project. Traditionally, this does correspond at all to the image one might have towards a municipal office.  However, this refreshing attitude is one of the reasons why the app came out so well!

Hat Sie etwas bei diesem Projekt überrascht?

Ich war ehrlich gesagt positiv überrascht, wie progressiv und risikofreudig das Amt für Städtebau der Stadt Zürich in diesem Projekt vorging. Dies entspricht im positiven Sinn so gar nicht dem Bild, das man von einem städtischen Amt vielleicht haben könnte. Diese Haltung ist mit ein Grund, wieso die App so gut herauskam!

Digitalisierung ist ein Trendwort – aber warum? Ist das vielleicht erst der Anfang von AR?

Auf jeden Fall. Wir haben bereits heute ein riesiges nocht nicht ausgeschöpftes Potential. Und dies, obwohl sich gerade viele verwandte Technologien rapide am entwickeln sind. Nur schon die Vorstellung, wie sich eine zukünftige Verbindung von AR-Anwendungen mit neuralen Netzwerken zu einer atuomatisierten Positionierung und einem verbesserten Tracking kombinieren lassen, eröffnet wieder neue Welten und extrem verbesserte Use Cases.
Dies ist ein Beispiel dafür, dass Augmented Reality als Technologie keine Sackgasse ist sondern mit der Entwicklung hin zu mehr mobilen, stärker vernetzten Lösungen auf absehbare Zeit ein immer wichtiger werdender Teil unserer Zukunft sind.

Welcher Aspekt des Projektes gefällt Ihnen am besten? Worauf sind Sie am meisten stolz?

Das Gefühl, mit dem Smartphone in der Hand durch das jahrtausende alte Dorf zu spazieren, ist schon sehr cool! Es ist schön zu sehen, wie realistisch das Erlebnis geworden ist und wie man durch den Handy-Screen tatsächlich in eine vergangene Welt eintauchen kann.
Aus technischer Sicht bin ich stolz darauf, wie wir die Stabilität des Trackings hinbekommen haben: Auch bei langer Nutzung und schwierigen Lichtverhältnissen bleibt das AR-Modell fix an Ort und Stelle verankert.

Roshani Anna Amin
Junior Marketeer
After graduating with a degree from the London School of Economics and Political Sciences, Rosh moved to Munich to help build the marketing team for tech unicorn, Snowflake. After discovering her passion for start-ups, she has since made it her mission to work with the “movers and shakers” across various industries helping them to better tell their story and shape their brand. Rosh is driving Spark Works' story and helping more people to engage with our brand with out of the box ideas.
By clicking “accept”, you agree to the storing of cookies on your device to enhance site navigation, analyse site usage, and assist in our marketing efforts. We respect your privacy, here is how.