Validatie-set voor CTW toolkit

Dit prototype is bedoeld als uitbreidingsset op de Creatief Talent Werkt (CTW) Toolkit. De CTW Toolkit is een uitgave van de Hogeschool voor de Kunsten Utrecht en is tot stand gekomen met hulp van SIA - Stichting Innovatie Alliantie, met subsidie voor het project Creatief Talent Werkt, in samenwerking met Amsterdamse Hogeschool voor de Kunsten (AHK) - de Reinwardt Academie en ArtEZ University of the Arts. (Contact: Arlette Kerkhof - arlette.kerkhof@hku.nl)

Deze validatie-set bestaat uit 6 hexagon kaarten die elk een vorm van validatie beschrijven die past in het ontwikkeltraject van een serious game in de zorg. De losse kaarten met op de achterkant een beschrijving, geven een overzicht en duiden de verschillende vormen van validatie, de verschillen in opzet en het soort kennis dat een uit een validatie kan komen. In samenhang met de tools uit de CTW toolkit kan de gebruiker met deze uitbreidingsset inzicht krijgen in hoe validatie een plek kan krijgen in de een ontwikkeltraject van een game.

Doel

Het doel van het prototype is enerzijds om stakeholders te laten inzien welke vormen van validatie er zijn. Sommigen daarvan zijn onlosmakelijk verbonden met elk ontwerp- of ontwikkelproces. Anderen kunnen daaraan worden toegevoegd wanneer dit relevant is. Anderzijds geeft het de ontwerpers en ontwikkelaars inzicht en taal voor het communiceren over de validatieprocessen die zij al als onlosmakelijk onderdeel zien van hun werkwijze, en maken we hiermee voor hen ook expliciet welke validatievormen ze nog kunnen toevoegen. Met deze tool worden validatie in al zijn facetten expliciet gemaakt en onderdeel van een gesprek over het proces.

Doelgroep

Afhankelijk van de inzet zijn er twee doelgroepen te onderscheiden:

• 1. stakeholders (vaak in een rol van opdrachtgever in een medisch, of daaraan verwant domein)
  2. ontwikkelaars die games of complexe interactieve producten ontwikkelen voor een medisch of daaraan verwant domein.

Handleiding

De complete CTW toolkit bestaat uit vijf verschillende tools. Elk onderdeel kan als stand-alone tool worden gebruikt voor lessen of workshops. Maar ze kunnen ook gecombineerd worden, en leiden tot nieuwe werkvormen. Deze validatie-set kan gezien worden als 6^e tool in de complete CTW toolkit.

Inventariseer van tevoren welke denkbeelden, vooroordelen en associaties er in een groep bestaan over validatie. Zet deze vooraf in perspectief voor men met de tool aan de slag gaat. Validatie staat nooit op zich. Er is altijd iets dat gevalideerd wordt. De tool zal dus altijd geladen moeten worden met een project en/of een proces. De combinatie met tool 4 van de CTW toolkit is daarvoor zeer geschikt.

Op de voorkant van de kaarten staat steeds een verschillende validatie vorm die van belang kan zijn bij het ontwikkelen van een project. Niet voor elk project is elke vorm van validatie relevant. Op de achterkant staat per validatie kort beschreven:

1. wat het doel is van elke vorm van validatie. Aan de hand hiervan kan een maker besluiten deze validatie onderdeel te maken van het proces.
2. welke methoden er vaak voor deze vorm gebruikte worden. Welke methode het beste past in een project en aan de maker.
3. welke resultaten deze validatie op zou moeten leveren. Dit kunnen inzichten zijn ten behoeve van het proces, maar ook bijvoorbeeld argumenten voor verkoop of implementatie.

De hexagon kaarten kunnen op verschillende manier gebruikt worden:

• Op de achterkant van de validatiekaarten staat voor elke vorm van validatie uitgewerkt welk doel die vorm dient; welke methoden hiervoor vaak gebruikt worden; tot welke resultaten deze leidden. Laat deelnemers in kleine groepjes de achterkant van elke kaart bespreken en inventariseer of iedereen elke kaart begrijpt. Geef zo nodig uitleg waar de begrippen nog niet duidelijk zijn. Laat elk groepje n.a.v. de doelen en de gebruikte methodes inventariseren welke vormen van validatie er al toegepast worden in hun eigen projecten. Welke resultaten horen daar in hun ervaring bij? Communiceren ze daar expliciet over met hun stakeholders?

• In kleine groepjes kiest steeds een deelnemer een project waaraan deze persoon gewerkt heeft. De deelnemer licht het project kort toe en legt met de Creatief werkt toolkit tool 4 het gevolgde proces op tafel. Terwijl de deelnemer de kaarten neerlegt, beschrijft deze hoe die stap inde praktijk ging. De overige deelnemers leggen een validatie kaart aan waar de denken dat deze vorm van validatie in het proces een rol speelde. Als het hele proces er ligt bespreekt de groep alle neergelegde kaarten en ook de validatiekaarten die niet zijn aangelegd. De werkvorm wordt afgesloten met een rondje gluren bij de buren waarbij de hele groep langs alle processen loopt en steeds kort bespreekt welke vormen van validatie een rol speelden in dat proces en tot welke resultaten dat leidde.

Conceptuele validatie
Voor ontwerpers in elk toegepast domein is dit een logische en onlosmakelijk onderdeel van elk ontwerpproces. Het toetsen van je aannames bij experts en de doelgroep voelt vanzelfsprekend. Dit benoemen als een vorm van validatie is dit niet altijd.

Technische Validatie
Ook deze technische validatie voelt ‘normaal’. Deze vorm van validatie is vaak een doorlopend proces dat zich gedurende een langere tijd ontwikkelt, parallel aan het ontwerp en ontwikkelproces van het project. het is dus lastig aan te wijzen waar in het proces dit precies een rol speelt.

Inhoudelijke Validatie
Inhoudelijke validatie is essentieel wanneer het ontwerpteam zelf geen expert is op het onderwerp van het ontwerp. In een medische setting is de dialoog met artsen en verpleegkundigen essentieel. De aangeleverde informatie moet vaak vertaald worden naar het ontwerp en in die vertaling kan veel mis geen. Het is belangrijk dit proces goed te borgen.

Psychometrische validatie
Bij Psychometrische Validatie gaat het om de feedback die in het ontwerp aan de gebruiker wordt gegeven. Daarbij is de eerste vraag: op welke handelingen of (inter)acties krijgt de gebruiker feedback. Daarin wordt bepaald wat belangrijk is, omdat die feedback voor de gebruiker aanleiding is om diens gedrag aan te passen. Daarin stuurt het ontwerp dus het leergedrag van de gebruiker.
dan is de vraag wie in het ontwerp de afzender is van de feedback. In het algemeen onderscheiden we 3 soorten afzenders: het systeem; andere gebruikers; experts.

• System feedback zijn de verantwoordelijkheid van de ontwerper. Deze moet uiteindelijk sturen op de gewenste leeruitkomsten.
• Feedback van andere gebruikers is moeilijker in de hand te houden. Hierbij vraag je je als ontwerper vooral of of de andere gebruikers de juiste informatie hebben om goede feedback te geven, en wat de gebruikers nodig hebben om elkaar die feedback te geven.
• Expertfeedback komt vooral in educatieve contexten voor. Daar is een expert aanwezig in de vorm van een specialist of docent die kan reflecteren op het handelen van de gebruikers.

Effectiviteit validatie
Effectiviteitvalidatie kent vele vormen. De Randomised Controlled Trial (RCT) is misschien wel de bekendste vorm en werd in de academische wereld lang beschouwd als de ‘gulden standaard’. Inmiddels is men tot het inzicht gekomen dat ook deze gulden standaard zijn beperkingen kent. Een RCT is complex, duur en duurt lang. Daarbij levert zo’n trial heel specifieke en robuuste kennis op. Wanneer die kennis relevant of noodzakelijk is, is een RCT het dan ook waard. In veel gevallen is echter net andere kennis nodig om het effect goed aan te tonen. Dan is een RCT alleen nog maar duur en langdurig.

De kern van effectvalidatie is de vraag welke indicatoren duiden op effectiviteit van het ontwerp. Als het gaat om veranderend gedrag volgt daar uit de vraag wie moet dat veranderende gedrag vertonen? Is dat de primaire doelgroep? Of een afgeleide doelgroep? Of beide?
vervolgens is het niet altijd mogelijk om een dergelijke doelgroep makkelijk te bereiken vanwege praktische of ethische bezwaren. In dat geval is het zaak goed na te denken of een doelgroep gerepresenteerd kan worden door een andere groep.

Implementatie validatie
Vooruitlopend op de lancering van een ontwerp is het goed na te denken over de validatie van de implementatie. Dit kan je immers maar een keer goed doen. Door middel van een goede implementatie validatie, vroeg in het proces kun je veel praktische problemen voor zijn.

Impact

De tool is in de ontwikkelfase getoetst door zowel experts op gebeid van academische en medische validatie, als door ontwikkelaars in de creatieve industrie. Beide doelgroepen gaven aan het een inzichtelijke en bruikbare tool te vinden. Die tool gaf henzelf inzicht in de verschillende vormen van validatie en gaf concrete handvatten om hierin keuzes te maken voor het proces. Daarnaast stelde het beide partijen in staat het gesprek hierover op basis van gelijkwaardigheid te voeren terwijl ze tegelijk in staat bleven hun eigen expertise in te brengen in de discussie. De tool is nog niet eerder als zodanig gepubliceerd. Impact is daarom net niet meetbaar of aantoonbaar te maken.