Welke lessen kunnen we trekken uit 1,5 jaar CoronaMelder?

Een reflectie op de resultaten van het evaluatieonderzoek - September, 2022

Wereldwijd werden tijdens de coronapandemie contact tracing apps ingezet voor de bestrijding van het coronavirus. Tussen 10 oktober 2020 en 22 april 2022 was de Nederlandse contact tracing app, CoronaMelder, actief. Gedurende deze periode heeft Tilburg University een grootschalig longitudinaal evaluatieonderzoek uitgevoerd in een representatief panel. De resultaten leveren belangrijke lessen voor de introductie van vernieuwende (gezondheids-)technologieën in de samenleving. Wat is er goed gegaan en wat kunnen we ervan leren voor toekomstige oplevingen van het coronavirus of andere (infectie)ziekten? Het evaluatieonderzoek leverde ook wetenschappelijk relevante inzichten op. Door de nationale invoering van de CoronaMelder was het een unieke landsbrede case die wetenschappers in staat stelde om te onderzoeken hoe een nieuwe technologie door de samenleving geaccepteerd wordt. Wetenschap in de praktijk dus. Wat zijn de belangrijkste lessen?

Onderzoeksopzet

Wat hield het evaluatieonderzoek in? Dr. ir. Nynke van der Laan van Tilburg University (TiU) leidde in opdracht van het ministerie van Volksgezondheid, Welzijn en Sport het longitudinaal vragenlijstonderzoek van de wetenschappelijke evaluatie van de CoronaMelder. Ook onderzoekers dr. Jan de Wit en Nadine van der Waal, MSc, waren betrokken vanuit TiU. Het doel van dit onderzoek was om de adoptie van de CoronaMelder app en de opvolging van de in de app gegeven adviezen te onderzoeken en te verklaren. In totaal werden er tussen de lancering op 10 oktober 2020 en de deactivatie op 20 april 2022 van de CoronaMelder zes metingen uitgevoerd in het LISS-panel, dat zeer representatief is voor de Nederlandse bevolking. De meetmomenten zijn te vinden in de onderstaande tabel. In elke meting werden persoonlijke, sociale en omgevingsfactoren gemeten.

Meting Periode Tijd sinds introductie
1 19 oktober tot en met 1 november 2020 1,5 week
2 7-20 december 2020 2 maanden
3 18-31 januari 2021 3 maanden
4 15-28 maart 2021 5 maanden
5 4-26 oktober 2021 12 maanden
6 7-29 maart 2022 17 maanden

Passieve technologie

De CoronaMelder is anders dan de meeste andere apps op je telefoon. Met de meeste apps interacteer je dagelijks en je interacties hiermee zijn positief: je krijgt bijvoorbeeld een berichtje van vriend of vriendin via Whatsapp, of een pushbericht met een interessant nieuwtje via je nieuwsapp. Bij de CoronaMelder werkt het anders. Na de installatie werkt de app passief op de achtergrond. Terwijl jij andere dingen doet, houdt de CoronaMelder bij of je in de buurt komt van een ander(e telefoon) met de CoronaMelder. Er is geen dagelijkse interactie nodig. Dit kan een teleurstelling zijn voor degenen die verwachten dat je ‘meer’ met de app kunt doen. Nog een nadeel hiervan is dat het makkelijk te vergeten is dat ie op je telefoon staat geïnstalleerd en het is dus makkelijk te vergeten om hem opnieuw te installeren als je een nieuwe telefoon koopt. Voor mensen die een ‘normale’ actieve app verwachten is het belangrijk om heel duidelijk te communiceren dat het een passieve technologie is, meer een monitor dan een reguliere app. Een andere optie is om de app zo te ontwerpen dat hij meer in lijn is met de andere apps op je telefoon, door extra functies en mogelijkheden tot interactie te bieden die de gebruiker persoonlijke voordelen biedt.

Want dat is iets waar de CoronaMelder in tekort schiet: het gebruiken van de app heeft niet veel voordelen voor de gebruiker en de evaluatie toont dit ook aan. Interacties met de CoronaMelder betekenen eigenlijk alleen slecht nieuws: ofwel je hebt een risicovol contact gehad waarbij je mogelijk bent besmet en je moet je voor een bepaalde periode aan bepaalde restricties moet houden, ofwel je bent zelf besmet en geeft de besmetting door via de CoronaMelder. Direct na de lancering gaf iets minder dan één op de drie aan dat hij/zij verwachtte dat een melding angst zou opwekken, hoewel dit percentage in de latere metingen wel afnam. De mate waarin men persoonlijke voordelen ziet van het gebruiken van de CoronaMelder is dan ook vrij laag en zelfs zeer laag bij degenen die de CoronaMelder niet gebruiken. Een belangrijke tweede les is dus dat de gebruikers meer voordelen van het gebruik moeten zien. Dit zou bewerkstelligd kunnen worden door extra functies toe te voegen. Welke functies persoonlijke voordelen bieden, hangt af van de situatie (zitten we bijvoorbeeld in een lockdown?). Er kan gedacht worden aan bijvoorbeeld relevante informatie over het actuele aantal besmettingen of een radar met hoe druk het op sommige plekken is.

Effectiviteit

Uit technologieacceptatiemodellen, bijvoorbeeld de Unified Theory of Acceptance and Use of Technology (kort: UTAUT) is bekend dat de mate waarin men denkt dat de technologie helpt om de doelen van de gebruiker te bereiken, in het geval van de CoronaMelder dus het bijdragen aan de bestrijding van het coronavirus, een belangrijke stimulans voor gebruik is. Het is dus belangrijk om de bijdrage van de app helder te communiceren. Contact tracing apps zijn een revolutionaire nieuwe technologie. Hoewel ze in ontwikkelingslanden eerder gebruikt werden voor andere infectieziekten, werden ze nooit eerder op nationale (of zelfs wereldwijde) schaal geïmplementeerd. Bluetooth is niet nieuw maar de toepassing voor contact tracing is dat wel. Het probleem bij nieuwe technologieën of toepassingen van bestaande technologieën op nieuwe toepassingen (bluetooth voor contact tracing) is vaak dat het (nog) niet bekend is of deze wel daadwerkelijk effectief zijn. Dat gold ook voor de CoronaMelder. In een regulier ontwikkeltraject is er tijd om een nieuwe technologie of app uitgebreid te testen voordat het geïmplementeerd wordt. Ten tijde van de lancering van de CoronaMelder kon er dus niet nog niet met zekerheid gezegd worden of hij daadwerkelijk een bijdrage zou hebben. Uit de evaluatie bleek dat de verwachte bijdrage sterk samenhing met gebruik: in de laatste meting verwachten bijna acht op de tien gebruikers een bijdrage aan de bestrijding van de CoronaMelder terwijl dit bij de niet gebruikers slechts twee op de tien waren. De verwachte bijdrage nam over de tijd flink af: meer dan de helft van de respondenten dacht direct na de lancering dat de CoronaMelder een bijdrage levert, tegenover minder dan één op de drie net voor de deactivatie. Een verklaring hiervoor ligt in de verwachte randvoorwaarden voor effectiviteit. Over het algemeen had men de inschatting dat een (zeer) hoge adoptie nodig is voor deze bijdrage. De meerderheid van de respondenten (55%) denkt dat een adoptie van 50% of meer nodig is voor de CoronaMelder om effectief te kunnen zijn. Daarentegen denkt de overgrote meerderheid van de respondenten (72.2%) dat het huidig adoptieniveau onder de 50% ligt. Het dalend aantal gebruikers en de overtuiging dat een hoog percentage gebruikers vereist is om effectief te zijn, zou kunnen verklaren waarom de verwachte effectiviteit van de CoronaMelder steeds verder daalt.

Na 9 maanden evaluatie bleek dat het effect van de CoronaMelder met de toenmalige hoeveelheid gebruikers klein maar merkbaar was (Ebbers et al., 2021). Daarnaast lieten simulaties zien dat de bijdrage (iets) groter kon zijn bij een hoger aantal gebruikers. De daling in de verwachtte bijdrage had mogelijk voorkomen kunnen worden indien duidelijker werd gecommuniceerd dat de effectiviteit van de CoronaMelder afhankelijk is van het aantal mensen dat deze app installeert, maar dat er ook al een (kleinere) bijdrage is bij een lagere adoptie. Een belangrijke les is dus om de effectiviteit helder te communiceren. Zo gauw er signalen zijn dat de technologie inderdaad bijdraagt, communiceer dit dan op een heldere en transparante manier.

Privacy

Het is bekend dat zorgen over privacy een belangrijke reden kunnen zijn om een nieuwe technologie niet te gebruiken en dit is een factor die een hogere adoptie van de CoronaMelder zou hebben kunnen belemmerd. In de evaluatie zagen we dat degenen die de CoronaMelder niet gebruikten ongunstiger overtuigingen hadden met betrekking tot privacy dan de gebruikers. Daarnaast waren er mispercepties over de privacy en dataveiligheid: zo dachten ongeveer zes op de tien dat de CoronaMelder de locatiegegevens bijhoudt en iets minder dan de helft dat er ook persoonsgegevens opgeslagen werden. Daartegenover staat wel dat meer dan zes op de tien het idee hebben dat er vertrouwelijk wordt omgegaan met de informatie. Om te begrijpen waar deze overtuigingen vandaan komen moeten we kijken naar de ontwikkeling van de app. Het was slechts een paar weken na de ontdekking van patiënt zero dat er werd aangekondigd dat er een contact tracing app zou worden ingezet. Die app moest er snel komen dus slechts twee weken later was er al een ‘appathon’ waarbij app bouwers hun voorstellen voor een dergelijke app mochten presenteren. De (haastige) procedure en onder andere de beperkte dataveiligheid van de gepresenteerde apps (sommige bleken zelfs gevoelige persoonsinformatie te bevatten) werden bekritiseerd en breed uitgemeten in de media. In reactie daarop besloot het ministerie om de app te gaan ontwikkelen in samenwerking met academici en vooraanstaande ontwikkelaars, waarbij een van de uitgangspunten Privacy by design was. Uiteindelijk is daar een app uit voortgekomen waarbij er zo weinig mogelijk data wordt bijgehouden. Dankzij het gebruik van bluetooth hoeven er geen locatie of persoonsgegevens bijgehouden te worden. De app weet dus niet wie je bent of waar je bent. Ondanks dat de werking van de app duidelijk uitgelegd staat op de website en in de app zelf, zijn de overtuigingen met betrekking tot privacy ongunstig gebleven. Hieruit kan worden geconcludeerd dat een bestaande overtuiging moeilijk te veranderen is. Gezien het belang van deze factor is een belangrijke les dat mispercepties met betrekking tot privacy actief gecorrigeerd moeten worden.

De sociale omgeving

De sociale omgeving is een van de belangrijkste factoren voor het succes van een nieuwe technologie. Uit het observeren van het gedrag van anderen, in dit geval het gebruiken van de CoronaMelder, leidt men af wat gewenst en normaal gedrag is en mensen hebben de neiging gedrag te kopiëren. Daarnaast zagen we in de evaluatie dat de sociale omgeving helpt om de weerstand tegen een nieuwe technologie te laten afnemen (Verpaalen et al., 2022). Bij de CoronaMelder zijn de sociale normen vanaf het begin ongunstig geweest en steeds verder afgenomen. Slechts een zeer klein deel van de mensen dacht dat veel mensen in hun directe omgeving de CoronaMelder gebruikten en een nog kleiner deel dacht dat mensen het op prijs zouden stellen als je de CoronaMelder gebruikt. Deze ongunstige sociale normen kunnen mogelijk verklaard worden doordat het gebruik van de CoronaMelder relatief onzichtbaar is vergeleken met de opvolging van andere adviezen (bijvoorbeeld het gebruiken van een mondkapje), wat ervoor zorgt dat men alleen van het gebruik van anderen te weten komt door erover te praten. Als daar geen aanleiding voor is (bijvoorbeeld aandacht in de media of het ontvangen van een melding) is het niet waarschijnlijk dat men er over praat. En inderdaad, de evaluatie liet ook zien dat de frequentie waarin men de CoronaMelder tegen kwam in de media sterk afnam over de tijd. Na een korte publiekscampagne rondom de lancering is er weinig communicatie over de CoronaMelder geweest. Gezien het belang van gunstige sociale normen is het belangrijk om deze te proberen te verbeteren. Communicatiecampagnes vanuit de overheid kunnen hierin een belangrijke rol spelen.

Tot slot

Een laatste observatie in het evaluatieonderzoek was dat er veel factoren waren die relatief stabiel bleven over de anderhalf jaar dat de CoronaMelder actief was en dat de meeste verschuivingen die er wel waren, relatief klein waren. Dit is te verklaren door het feit dat, zoals hierboven al genoemd, er na de korte publiekscampagne random de lancering weinig aandacht meer voor de CoronaMelder is geweest. Je zou kunnen zeggen dat hier kansen onbenut zijn gelaten. Want door middel van overheidscampagnes hadden bijvoorbeeld de mispercepties over privacy wellicht kunnen worden gecorrigeerd. De bevinding dat de CoronaMelder, in tegenstelling tot sommige andere adviezen/maatregelen (zoals de avondklok), daadwerkelijk een klein maar merkbaar effect had, had aanleiding kunnen zijn om hierover te berichten. Waarom is er nooit een oproep tot gebruik geweest in bijvoorbeeld de persconferenties?

Een belangrijke laatste les die we hieruit kunnen trekken is dat je niet klaar bent als de app klaar is en in de store staat. Een succesvolle implementatie kan bereikt worden als er voortdurent geëvalueerd wordt op basis van de resultaten, de communicatie over de app en het ontwerp van de app aangepast worden.

Wetenschap in de praktijk

Naast de relevante inzichten voor de praktijk draagt het evaluatieonderzoek ook bij aan de wetenschappelijke kennis over de diffusie van nieuwe gezondheidstechnologieën in de maatschappij. In april is de eerste wetenschappelijke publicatie verschenen, in samenwerking met Radboud Universiteit, waarin de rol van angst voor en weerstand tegen nieuwe techniek is onderzocht (Verpaalen et al., 2022). In September is de eerste wetenschappelijke publicatie vanuit het Tilburgse team verschenen waarbij de bijdrage van verschillende theoretische modellen aan het voorspellen van gebruik wordt bekeken (van der Waal et al., 2022). Daarnaast zijn er nog verschillende publicaties in voorbereiding naar de factoren die relevant zijn bij het stoppen met gebruiken en wordt er gekeken naar de rol van complottheorieën. In samenwerking met Erasmus universiteit wordt er gekeken naar de rol van vertrouwen in de overheid en in samenwerking met de Open Universiteit wordt er gekeken of er op basis van de data verschillende groepen gebruikers te onderscheiden zijn.

Bronnen

Ebbers, W., Hooft, L., Van der Laan, L.N., Metting, E. (2021) Evaluation CoronaMelder: an overview after 9 months of the CoronaMelder. https://research.tilburguniversity.edu/en/publications/evaluation-of-the-coronamelder-a-summary-after-9-months

Van der Laan, L.N., Van der Waal, N, & De Wit, J. (2021-2022) Eindrapportage Evaluatie CoronaMelder - Survey LISS panel waves 1-6 (6 rapportages). https://research.tilburguniversity.edu/en/publications/endreport-coronamelder-evaluation-survey-liss-panel-wave-1

Van der Waal, N, de Wit, J., Bol, N., Ebbers, W., Hooft, L., Metting, E., Van der Laan, L.N. (2022) Predictors of contact tracing app adoption: Integrating the UTAUT, HBM and contextual factors. Technology in Society, 71, 102101. https://doi.org/10.1016/j.techsoc.2022.102101

Verpaalen, I.A.M, Holland, R.W., Ritter, S., Van Hooff, M., Ebbers, W., ’t Hooft, L., Metting, E, Van der Laan, L.N. (2022) Resistance to contact tracing applications: The implementation process in a social context. Computers in Human Behavior, 34, 107299. https://doi.org/10.1016/j.chb.2022.107299