You are here

Soep eten of roken - een smartphone die ziet wat je doet

Een seintje van je telefoon dat het tijd wordt om een rondje te wandelen, of een waarschuwing dat je de afgelopen 24 uur al 20 sigaretten hebt gerookt. Als het aan Muhammad Shoaib ligt duurt het niet lang meer voor je smartphone precies weet wat je aan het doen bent. door Edda Heinsman

Je smartphone en wearables zoals de smartwatch zitten vol sensoren. Met de juiste app kun je daarmee van alles bijhouden, bijvoorbeeld hoeveel je loopt, fietst of slaapt. Shoaib onderzocht of de smartphone en smartwatch ook geschikt zijn voor het in kaart brengen van nog specifiekere activiteiten. Kun je puur door naar de data te kijken die je telefoon verzamelt, het verschil zien tussen een kopje koffie drinken of roken? En waarom zou je dat eigenlijk willen weten?

Lifestyle-app

'Hoe beter je telefoon je kent, hoe beter hij je op je gedrag kan aanspreken', aldus Shoaib. 'Stel je hebt een kantoorbaan en je zit de hele dag. 's Avonds kijk je Netflix, of zit je - zoals ik - achter je computer. Als je telefoon dan een seintje geeft: je hebt de afgelopen drie maanden niet gesport, motiveert dat om aan de slag te gaan. Soms vergeet ik het ontbijt. Als je telefoon je dan herinnert: goh je hebt de laatste maand niet ontbeten. Dat is toch handig!'

Shoaib is ontzettend enthousiast over de mogelijkheden die zijn onderzoek op lange termijn biedt. 'Ons doel was alledaagse handelingen te herkennen zodat anderen deze input later kunnen gebruiken, bijvoorbeeld voor het ontwikkelen van een lifestyle-app. Wijs mensen op hun levensstijl zodat ze zichzelf kunnen verbeteren, zowel fysiek als psychisch, zodat ze minder last van stress hebben door goed te eten en beter te slapen. Of dit uiteindelijk gaat lukken kan ik niet beloven, maar dat zou ik wel heel graag willen.'

Shoaibs motieven zijn nobel, maar een telefoon die alles van je weet klinkt ook best eng. Wat als verzekeringsmaatschappijen mensen gaan verplichten een smartwatch te dragen om zo hun gedrag in de gaten te houden? 'Privacy is heel belangrijk bij dit soort apps, en het is een interessante vraag, maar daar gaat mijn onderzoek niet over. Ik zie juist voordelen: dat een verzekeringsmaatschappij je een lagere premie biedt als je gebruik maakt van zo'n app die je helpt je te motiveren om gezond te leven.'

Testpersonen

Om de computer te leren hoe mensen bewegen als ze een bepaalde handeling uitvoeren, moest Shoaib eerst data verzamelen. Dit was misschien wel de grootste uitdaging van zijn onderzoek. Tot Shoaibs verrassing stond namelijk niet iedereen te springen om testpersoon te worden. 'Ik bood rokers gratis sigaretten aan en je kreeg gratis soep als je meedeed. In het begin waren mensen nog geïnteresseerd en vonden ze het leuk om mee te doen. Maar na een poosje raakten ze toch verveeld. Ik geef toe: het kostte dan ook uren als je mee wilde doen. Mensen moesten bijvoorbeeld continu de trap op- en aflopen. Voor het roken hebben we twee maanden data verzameld. We hadden elf deelnemers in Enschede en Istanbul. Op die manier hebben we een van de grootst bestaande dataset ter wereld verzameld. De dataset maken we beschikbaar voor andere onderzoekers.'

Overzicht van de plekken van de telefoons op een deelnemer

Shoaib onderzocht welke parameters en dus welke sensoren het beste lieten zien wat iemand aan het doen was. 'Hoe minder sensoren je gebruikt, hoe minder energie het je apparaat kost. We gebruikten uiteindelijk alleen bewegingssensoren, versnellingsmeters en de interne gyroscoop van je telefoon om de draaiing en de hoeksnelheid te meten. Oorspronkelijk keken we ook naar de druksensor, maar die hielp alleen met het herkennen van traplopen. Ook hartslag en bloeddruk bleken niet veel toe te voegen. Positie was een belangrijke bron, anders was het voor je smartwatch lastig om bijvoorbeeld fietsen te herkennen. In sommige gevallen kun je beter smartwatch en smartphone combineren.'

Rookdetector-app

De uiteindelijke app die Shoaib ontwikkelde, laat real-time zien wat iemand aan het doen is. De app werd alleen ingezet tijdens het onderzoek. 'We hebben een prototype van een app gemaakt, één voor op de smartphone en één voor op de smartwatch. Maar we hebben geen product op de markt gebracht. De app herkent verschillende activiteiten als lopen, joggen, fietsen, zitten, staan, traplopen, eten en roken. Maar ook verschillende combinaties, zoals roken op de fiets. Omdat we hem puur voor onderzoeksdoeleinden ontwikkelden, hebben we hem geen naam gegeven. We refereerden er aan als rookdetector of lichamelijke activiteitsdetector. De data staan nog niet online maar zullen onder meer gebruikt worden voor SWELL: een slimme e-coach app.'

Ongezond

Een app die detecteert wat je aan het doen bent met als doel om gedrag op een positieve manier te kunnen beïnvloeden. Is Shoaibs eigen gedrag eigenlijk veranderd door dit onderzoek? De onderzoeker moet een beetje lachen. 'Mijn gedrag is inderdaad veranderd, maar niet alleen positief. Doordat de proefpersonen moesten roken ben ik dat ook gaan doen. Dat was toch niet helemaal de bedoeling. Bovendien was het schrijven van mijn thesis behoorlijk stressvol, waardoor ik minder sportte en ongezond leefde. Gelukkig maak ik dat goed nu ik in Groningen aan de slag ben bij de startup Crowdynews, waar ik elke dag op de fiets naartoe ga. Verder is mijn gedrag niet zo veranderd, maar het doen van onderzoek en vooral het leven in Nederland heeft mij en mijn kijk op de wereld wel heel erg veranderd.'

Shoaib deed zijn bachelor in Pakistan en kwam met een Huygens-beurs naar Nederland. 'Naast het enorme economische verschil zijn er grote culturele verschillen. Nederlanders zijn heel direct. En men is stipt, hier spreek je bijvoorbeeld zaterdag om 14:00 uur af. Als je in Pakistan zegt 'zaterdagmiddag' ben je al heel strikt. Ik heb in het begin Nederlanders geschokt door te laat te komen', lacht hij.

'In Pakistan is het meer hiërarchisch. Je verkondigt je mening niet snel aan iemand die senior is. Hier kun je makkelijk praten met een professor over wat je denkt. Dat helpt wel om je mening te uiten. Ik ben er zelfverzekerder door geworden. En je zit toch 9 uur per dag met je collega's, dan helpt het als je alles durft te zeggen. Daartegenover staat dat men in Pakistan socialer is. Na een uur in de bus zitten met iemand ben je vrienden.

Ik ben er heel trots op dat het gelukt is om de app werkend te krijgen, dat ik artikelen heb gepubliceerd die regelmatig geciteerd worden en dat de datasets gebruikt kunnen worden door andere onderzoekers. Maar het leren kennen van de sociale context was misschien wel mijn grootste uitdaging. De afgelopen 6.5 jaar in Nederland hebben alles veranderd.'

Muhammad Shoaib (1986) haalde zijn bachelor computer systems engineering aan de NWFP University of Engineering and Technology Peshawar (Pakistan). Vervolgens werkte hij twee jaar als netwerk engineer voor Motorola. Via een Huygens-beurs kwam hij in Nederland terecht en behaalde hij een master Parallel and Distributed Computer Systems aan de Vrije University Amsterdam. In 2012 begon hij aan de Universiteit Twente aan zijn promotieonderzoek. 31 mei 2017 promoveerde hij met het proefschrift Sitting is the new smoking – Online complex human activity recognition with smartphones and wearables. Zijn onderzoek werd gefinancierd door Commit, binnen het SWELL project.