Verslag Cross Media Café ‘Uit het lab’ Deel 2 – Datastromen

In het tweede deel van het Cross Media Café Uit het Lab van 4 november 2014 ligt de nadruk meer op wetenschappelijk onderzoek bij het verzamelen en gebruik van data. Wat kan er gedaan worden met die informatie, en hoe verkrijgen we het eigenlijk? Wordt het voorspellen van nieuwe hits ‘a piece of cake’ door sites als Streamwatchr? Wat is precies de kunst van het zoeken en vinden? En krijgen we eindelijk duidelijkheid waarom we Coca Cola lekkerder vinden dan Pepsi.

Beeld en Geluid en de kunst van het zoeken en vinden

Beeld en Geluid heeft een miljoen uur aan beeldmateriaal. Daar komt elk jaar zo’n 40.000 uur bij. En dat neemt alleen maar toe. Hoe vind je in die enorme berg nog iets terug? Projectmedewerker R&D Lotte Belice Baltussen vertelt over de grote ontwikkelingen die Beeld en Geluid al heeft doorgemaakt in het doorzoekbaar maken van hun archief. Ook vertelt ze over nieuwe researchprojecten om het archief te ontsluiten. Zoeken op programma of fragmenttitel blijkt niet voldoende om beeld te vinden. Beeld en Geluid is daarom al jaren bezig om materiaal op een andere manier doorzoekbaar te maken. Bijvoorbeeld door fragmenten te labelen, zodat bij een bepaalde zoekopdracht alle relevante fragmenten in het zoekresultaat naar boven komen. Handmatig labelen is geen optie. Beeld en Geluid zet daarvoor technologie in, zoals spraakanalyse. Via speach of speaker recognition worden tijdgecodeerde transcripts gemaakt. Door Entiteiten Extractie (een project van COMMIT) worden relevante keywords onderscheiden en gelabeld. Een video- en audiofragment kan nu ook aan de hand van de labels worden doorzocht en bekeken. Ook onderzoekt Beeld en Geluid hoe mensen het archief kunnen bekijken, zonder dat ze iets specifiek zoeken. Want vinden wat je zoekt is leuk, maar het zou ook mogelijk moeten zijn om ‘per ongeluk’ iets te vinden wat je eigenlijk niet zocht, maar dat je wel heel waardevol vindt. Zoals dat ook kan gebeuren als je door een bibliotheek loopt.

Beeld en geluid in context aanbieden is één van de ambities van Beeld & Geluid. Zo heeft het instituut een koppeling gemaakt tussen het radioarchief en oude beelden van de beeldbank van het Nationaal Archief. Radio krijgt daardoor een beeldscherm.

En in het kader van het LinkedTV-project ontwikkelde Beeld en Geluid een tweede scherm voor het AVRO-programma Tussen Kunst & Kitsch. LinkedTV heeft de ambitie om televisie en internet naadloos in elkaar te verweven. In het tweede scherm van Tussen Kunst & Kitsch wordt extra informatie aangeboden, gelinkt aan het kunstobject dat op het eerste scherm wordt behandeld. Dat kunnen zijn andere foto’s van hetzelfde voorwerp (link naar het archief van Europeana), andere beeldfragmenten of meer informatie op het internet. Baltussen noemt ook projecten met de RSS-feed van Nu.nl en specifiek voor smart tv.

Lotte Belice Baltussen (Beeld & Geluid) @ Cross Media Café Uit het lab from iMMovator

Streamwatchr luistert naar de wereld

De Universiteit van Amsterdam ontwikkelde een site die zichtbaar maakt waar de wereld naar luistert: Streamwatchr. De site analyseert daarvoor Twitterverkeer: de tweets waarin mensen delen naar welke muziek ze luisteren. De data laten zien wat op dit moment de muziektrends zijn en wat hot & happenings is. Onderzoeker Isaac Sijaranamual vertelt dat via de site kan worden doorgelinkt naar bijv. YouTube. Streamwatcher signaleert ook afwijkend gedrag: the unexpectables (off the beaten track). ‘Dit is de muziek die op het punt staat om hip te worden.’

Streamwatcher kan ook worden gebruikt om hitlijsten te maken. Twitter biedt een gelijksoortige eigen service aan met BillBoard, maar Streamwatcher meet over een kortere tijdsperiode en biedt daardoor volgens Sijaranamual bijna letterlijk realtime inzicht in wat de wereld luistert. Het volgende project is Now Watching: waar kijkt de wereld naar.

Isaac Sijaranamual (Streamwatchr) @ Cross Media Café ‘Uit het lab’ from iMMovator

De Waag empowert Smart Citizen

De Waag Society opereert op het snijvlak van kunst, wetenschap en technologie. De stichting is katalysator in het toepassing van nieuwe technologie en sociale innovatie. De Waag is nauw betrokken bij Amsterdam Smart City, een platform waarin bewoners, bedrijven, gemeente en kenniscentra samenwerken aan stedelijke vraagstukken. De Waag gelooft in empowerment van de bewoners. Frank Kresin, Hoofd onderzoek bij De Waag stelt dat bewoners veel kwesties zelf kunnen oplossen als ze de juiste data en tools in handen hebben. Daarmee kunnen ze een actieve bijdrage leveren aan een betere en schonere stad. Een project in dit kader is de Smart Citizen Kit. Met de Smart Citizen Kit kunnen bewoners zelf de kwaliteit van hun leefomgeving meten. Een sensor, open source hardware, meet de aanwezigheid van verbrandingsgassen (luchtvervuiling), de temperatuur, de relatieve luchtvochtigheid, de lichtintensiteit en het omgevingsgeluid. Op een website zijn alle metingen zichtbaar. Uiteindelijk is afgelopen jaar een experiment uitgevoerd met 100 geëngageerde mensen die een dergelijke sensor in huis hadden. De Waag organiseerde bijeenkomst om deze mensen in contact te brengen met deskundigen. Heeft het experiment ook het gewenste resultaat opgeleverd? Nee, stelt Kresin. Reden was onder meer omdat de sensoren niet goed werkten. En er bleken geen betaalbare goede alternatieven op de markt te zijn. Het experiment levert volgens hem waardevolle informatie op voor vervolgexperimenten. Zo wordt er een vervolgproject gestart, waarin ook sensoren van andere platforms worden toegelaten en de luchtkwaliteit van de stad kan worden vastgesteld. Ook creëert een project als dit volgens Kresin vraag naar goede sensoren. ‘Zo ontstaat een markt en dus aanbod, bijvoorbeeld in de vorm van sensoren in smartphones.’

Frank Kresin (Waag Society) @ Cross Media Café ‘Uit het lab’ from iMMovator

Met Moodbot werken patiënten online aan hun eigen behandeling

De mens is in het algemeen niet zo goed in het doen van wat men zich voorneemt. Maar wie emotionele en psychische problemen heeft, komt nog minder snel in beweging. Moodbot is een game die patiënten helpt doelen te stellen en deze zelf te monitoren. Moodbot helpt patiënten ook met het verwoorden van gevoelens. Iets waar veel patiënten problemen mee hebben: in Moodbot kan het op een visuele manier. Moodbot is ontwikkeld door de Utrechtse GGZ-instelling Altrecht samen met de HKU en is gericht op GGZ-cliënten. Dankzij de game kunnen behandelaars snel de eerste tekenen van terugval of escalaties signaleren.

Jan Willem Faessen van REDMax is businesspartner binnen het Moodbot-project. Hij vertelt dat Moodbot de relatie tussen behandelaar en patiënt verandert. De behandelaar ziet tijdens een sessie op het scherm hoe het de patiënt de afgelopen periode is vergaan. Hij kan daardoor gerichte vragen stellen en krijgt daardoor een meer gidsende rol. De patiënt wordt z’n eigen behandelaar. De app wordt nu gebruikt bij mensen met complexe psychische problemen. Als Moodbot helemaal is uitontwikkeld is het de bedoeling dat de app ook voor de patiënten met minder complexe problematiek wordt gebruikt. Moodbot won in 2012 de iZovator Award 2012 voor het beste innovatieve idee voor de zorgeconomie.

Jan Willem Faessen (Redmax) @ Cross Media Café ‘Uit het lab’ from iMMovator

TNO zoekt natuurlijke interface voor delen emoties

Emoties zeggen veel over de staat waarin iemand verkeert en over z’n verwachte gedrag. Hoe kan deze informatie op een aansprekende en/of nuttige manier worden gebruikt met behulp van mediatechnologie? Samen met bedrijfsleven en instellingen doet TNO onderzoek naar emoties en de toepassing van zogenoemde Cyber Physical Systems, het product van mediatechnologie en neurowetenschap.

Harrie van de Vlag, innovator mediatechnologie bij TNO, vertelt dat TNO onder meer bezig is met SWELL (well being at work & at home). In het project buigen onderzoekers zich over de vraag hoe gevoelens op de werkplek inzichtelijk kunnen worden gemaakt en kunnen resulteren in een advies. Bijvoorbeeld met behulp van een hartslagmeter (hoe snel tikt het hart), door observatie van de gezichtsuitdrukking met een camera, of door registratie van een onrustig werkpatroon (als bijvoorbeeld elke twee minuten de mail wordt gecheckt). Een e-coach zou op basis van deze data de betrokkene advies kunnen geven.

Het tweede voorbeeld is het Quantified Reader-project met Arnold Grünberg. Speciaal voor het project schreef Grünberg een boek. Tijdens het schrijven werden zijn emoties met sensoren gemeten. Toen het boek gereed was, kregen 250 mensen het te lezen. Ook bij hen werden gevoelens met behulp van sensoren gemeten. Mensen kunnen zo zien hoe ze reageren op het boek, hoe anderen reageerden op dezelfde passage en hoe de schrijver zich voelde toen hij het schreef. De schrijver bleek tijdens het schrijven overigens nagenoeg emotieloos.

Het derde voorbeeld is The System, een systeem dat TNO voor de dansindustrie wil ontwikkelen. Via sensoren, bijv. een hartslagmeter, sensoren in een Apple watch e.d.) wil TNO de mood van het publiek zichtbaar maken met kleuren. Dit project is nog in onderzoeksfase.

Harry van de Vlag (TNO) @ Cross Media Café ‘Uit het lab’ from iMMovator

Neurensics: marktonderzoek in de MRI-scanner

Hoe waardeert de consument mijn product of dienst? Neurensics is een marktonderzoek bureau die deze vragen voor bedrijven beantwoordt. Niet door de consument vragen te stellen, maar door hersenactiviteit te meten in de MRI-scanner. Walter Limpens van Neurensics vertelt dat consumentengedrag voor het grootste deel onbewust is. Voorbeeld is de bekende Pepsi-paradox. Bij blind proeven van Pepsi Cola en Coca Cola beoordeelt de meerderheid van de consument Pepsi cola als het lekkerst. Als ze echter van te voren weten welke cola ze drinken, blijkt de voorkeur omgekeerd. Neurensics richt zich daarom op het registreren van de vaak dominante automatische reactie in het brein en het interpreteren van deze signalen. Het blijkt dat een aankoopbeslissing drie gebieden van het brein kan activeren:

• het gebied dat waarneemt dat iets lekker is, bijv. als product bevalt.
• het gebied dat wordt geactiveerd als iets pijn doet, bijv. als de prijs/kwaliteit-verhouding uit balans is.
• Het gebied dat de signalen uit de eerste twee gebieden integreert (de neofrontale cortex).

Op basis van de MRI-scan wordt een een multivoxale patroonanalyse gemaakt. Hiermee kan Neurensics het consumentengedrag voorspellen (neuromarketing).

Walter Limpens (Neurensics) @ Cross Media Café ‘Uit het lab’ from iMMovator