Interviews – Hoeveel?

Een manier om deelnemers te selecteren, die ik vaak gebruik, is het bepalen van rollen. We hebben allemaal meerdere rollen en deze rollen vertellen wat we doen en waar onze verantwoordelijkheden liggen. Tijdens de interviews met gebruikers achterhaal je hoe iemand deze rol uitvoert, wat de aanpak is en waar deze aanpak gelijkenissen heeft met andere manieren van aanpak. Nu zijn we allemaal uniek, echter alleen in details. In de structuur van aanpak zijn drie verschillende manieren vaak het maximum. Tot nu toe ben ik bij mijn projecten niet meer dan twee verschillende structuren van aanpak tegengekomen.

Wanneer je zorgt dat de rollen die gedefinieerd zijn minimaal drie keer worden besproken dan heb je voldoende deelnemers. In de onderstaande matrix zie je dat rol E en F maar twee maal voorkomen. Je kunt nog een interview houden, deelnemers vervangen of bij tijd gebrek er gewoon voor gaan, de gegevens analyseren en later uitbreiden. Dit laatste kan natuurlijk altijd, na vijf of zes interviews kijken wat je hebt verzameld en besluiten of er nog meer interviews gehouden moeten worden. Beter één interview, dan geen!
Deelnemers matrix

Een quote van Karen Holtzblatt, oprichter van Incontext Enterprises en schrijver van Contextual Design (mijn bijbel ;-), over het aantal interviews met gebruikers:
‘…years ago, while testing for usability, people in the industry were not comfortable with test results from small numbers of users. However, after 15 years of collecting data, the industry has found through experience that small numbers add up to a detailed picture of work practice that supports design. And we’re not just looking at usability any more; we’re engaged in market characterization at the level of work practice.’ Uit ‘Data From a Few Leads to Optimum Results‘ in 2001.

Karin van den Driesche – Filterdesign

Grounded Theory

De methode om gebruikersgegevens te verzamelen binnen het UCD proces behoort tot wat men noemt kwalitatief onderzoek. Kenmerken van kwalitatief onderzoek zijn:
– Beleving van de onderzochten; interpretatief.
– Onderzoek in de alledaagse omgeving; naturalistisch.
– Open onderzoeksprocedure.
– Onderzoeker als instrument.
– Werken met teksten (transcript) die uitgebreide en gedetailleerde beschrijvingen omvatten.
– Verklaringen van betrokkenen en vanuit theoretisch en/of maatschappelijke achtergronden.
Bron: ‘Analyseren in kwalitatief onderzoek’ van Hennie Boeije.

De wortels van het UCD proces liggen bij de Grounded Theory , een methode van kwalitatief onderzoek. Meer informatie over de Grounded Theory op Wikipedia, voor de liefhebber 😉

Volgende keer: Hoeveel mensen moeten we interviewen?

Karin van den Driesche – Filterdesign

Interviews – Tips

Beginnen
In het begin ga je de juiste sfeer neerzetten; een informeel en aangenaam gesprek. Op gang komen kan door een introductie vraag.  ‘Kun je uitleggen hoe jouw dagindeling eruit ziet?’ of ‘Kun je iets vertellen over je huidige rol, hoe lang je voor deze organisatie werkt?’ ‘Als startpunt (van dit gesprek) ben ik benieuwd naar jouw rol binnen deze school en hoe lang je al voor deze school werkt?’ Daarna kun je meevaren op het antwoord en gaan focussen op het onderwerp waar je voor gekomen bent.

Checken
– Ervaring in computergebruik:
Deelnemer: ‘Ik ben niet zo’n computerfreak. Niet mee opgegroeid.’
Vraag: Mag ik vragen of je online bankiert?
Deelnemer: ‘Ja, ja. Zo ver ben ik. Jawel. Dat soort dingen wel hoor.’

– Invullen van behoeften:
Deelnemer: ‘Daar gaan toch wel een aantal jaren overheen en dat vind ik jammer. Eigenlijk zou er iets moeten zijn waardoor het je vlugger eigen wordt.’
Vraag: Hoe zou je dat kunnen aanpakken?

Stiltes
– Even kort samenvatten wat net door de deelnemer is verteld, werkt als een soort ‘doorstart’.
– Een voorbeeld vragen.
– Vragen of en welke vervolgactie men onderneemt.

Veel ‘Hoe?’ en’ Waarom?’ vragen gebruiken. Bij een aantal processen is de ‘Wanneer vraag’ ook belangrijk.

Karin van den Driesche – Filterdesign

Interviews: Vraag tussendoor

De insteek van de interviews met gebruikers, is het in beeld brengen van de werkzaamheden. Bij een bestaand product komt deze natuurlijk aan bod tijdens het gesprek maar het interview is geen usability test van het product. Stel dat ik een arts interview dan wil ik alles weten wat hij/zij doet. Van het ophalen van de patiënt tot de vervolgstappen na diagnose. Hoe een arts omgaat met het managen van het houden van spreekuur, nevenactiviteiten, etc. Deze insteek is vaak een hele omslag als het gaat om het betrekken van gebruikers in het ontwerpproces.
Zo ontving ik na twee interviews deze vraag van Sonja, die de rol als observator op zich had genomen. Het is een vraag die ik vaak hoor bij de start van het UCD proces.
——–
Q: Beste Karin,
Ik zat net achter mijn computer en wellicht heb ik wat gemist in het hele ucd verhaal maar toch heb ik een vraag..
– hoe komen we tijdens de interviews erachter dat Proformas gebruikt gaat worden?
Groetjes Sonja
——–
A:Hoi Sonja,
Goede vraag.
De insteek is, kunnen we Proformas zo inrichten dat het aansluit bij de gebruiker en daardoor gebruikt zal gaan worden. Dus in plaats van het huidige product Proformas proberen te ‘verkopen’ brengen we het professionaliseren in beeld, hoe werkt het nu (formeel en informeel), wat is de aanpak, zijn er meerdere aanpakken, wat zijn de patronen die we kunnen ontdekken, wat zijn de pijnpunten, wat zijn de mogelijkheden. We starten bij het begin en brengen het gedrag, de emotie en de filosofieën (gedrag + emotie + filosofie = taak) van de gebruikers in beeld met behulp van bijvoorbeeld een mentaal model. Er zijn meerdere werkmodellen die ieder voor zich leiden naar een oplossing voor ondersteuning van gebruikers door automatisering (ook op de lange termijn).
Wanneer je niet aansluit bij de gebruiker zal een product een lage kans van slagen hebben vandaar dit onderzoek. Andersom werkt het niet, een product proberen te ‘pushen’, bevalt het product niet dan gaat men gewoon naar een ander.
Is dit een antwoord op je vraag?
Groeten van Karin
——–
R: Ik ben weer helemaal gerustgesteld….
Groetjes en tot morgen
Sonja
——–

Tip Indi Young heeft onlangs een boek geschreven over Mentale Modellen.

Karin van den Driesche – Filterdesign

Professionaliseren – Aanpak

Natuurlijk handig als ik iets uitleg over de aanleiding en aanpak van het re-design van Proformas, bij deze:

Aanleiding
– Het huidige Proformas wordt te weinig gebruikt.
– Usability test m.b.v. enquêtes: uit de resultaten blijkt dat er een hoop verbeterd kan worden.
– Eigen inzichten over (on)bruikbaarheid en onlogische indeling.
– Ontevredenheid over de gekozen oplossing qua techniek.
– Het is moeilijk uit te leggen aan gebruikersgroepen wat Proformas is.

Aanpak
– Onderzoek
Bestuderen van aanwezige bronnen (vragenlijsten, evaluatieverslagen van pilots, etc.)
Expert review; in augustus 2006 heeft Filterdesign reeds een expert review uitgevoerd. Er wordt gekeken in hoeverre deze uitgebreid moet worden
Stakeholders meeting voor het ventileren van wensen en eisen.
Interviews met zeven eindgebruikers.
Patroonherkenning en analyse van de interviews m.b.v. werkmodellen.
Personas met doelstellingen; uitbreiding op de bestaande personas RdMC breed.

– Interactie ontwerp
Opbouw van een Mentaal (verwachting) model van de gebruikers.
Vertalen van het mentale model naar een structuur.
Informatie analyse: welke informatie wordt op welk moment getoond.

– Interface ontwerp
Ontwerpen van diverse navigatiesystemen.
Schematische interface wireframes geven aan waar de belangrijkste interactie elementen komen te staan.

– Gebruikstest m.b.v. een papieren prototype en ‘hard-op denken’
– Grafisch ontwerp
– Handleiding

Karin van den Driesche – Filterdesign

Professionaliseren – Start

Afgelopen week hebben we vijf van de zeven interviews plaats gevonden met docenten over professionaliseren, formeel en informeel.
– Docent wis-, natuur- en scheikunde op een college van Vmbo, Havo en Vwo. Iemand met bijna 30 jaar ervaring.
– Begeleider en opleider van leraren in opleiding en een ervaren docente (20 jaar) ook op een college van VMBO, HAVO en VWO.
– Derde jaars PABO studente.
– Beginnend docente op HAVO en VWO.
– Beginnend docente op VMBO.
Normaliter gaan klanten mee met interviews om de kennis in de organisatie te houden en natuurlijk omdat ze heel nieuwsgierig zijn naar ‘hun gebruikers’. Tijdens de interviews zijn er twee rollen, een persoon houdt het interview en een persoon observeert. Het leuke is dat deze manier van interviews doen vaak een eyeopener is voor organisaties. Het beeld wat men had over het gebruik van een bestaande applicatie en over de aanpak van het dagelijks werk wordt behoorlijk bijgesteld. Meteen worden een heleboel vragen beantwoord: ‘zoals we het nu doen sluit het niet aan’, ‘we moeten functie X echt meer aandacht geven’, ‘eigenlijk ondersteunen we ze nu niet bij’…
Tijdens deze UCD projecten hebben de interviews nog een functie behalve gebruikersgegevens verzamelen: training. Dus ben ik op pad geweest met RdMC medewerkers Sonja en Aschwin zodat ze mee konden kijken en ervaring kunnen op doen. Na het interview bespreken we de aanpak van het interview en het verhaal van de deelnemer. Uiteindelijk gaan ze straks zelf een interview afnemen en ben ik observator van de deelnemer en van de interviewer. Een aantal zaken die we besproken hebben n.a.v. de interviews wilde ik jullie niet onthouden:
– Positie, probeer wanneer je aan een tafel zit te voorkomen dat het een ‘sollicitatie’ achtige sfeer wordt. Ga zo zitten dat de deelnemer zich niet ingesloten voelt. Heb het ook over de werkplek, loop even mee bv. als het werk plaatsvindt over meerdere locaties.
– Kijk de deelnemer veel aan (niet staren) en notuleer zo weinig mogelijk (voicerecorder aan!).
– Benoem liever niet dat een persoon de observator is, dit kan leiden tot nervositeit.
– Laat de deelnemer zijn verhaal doen, in de eigen woorden. Zodra je een nieuw onderwerp hoort, schrijft dit snel op (sleutelwoord) zodat je het niet vergeet. Laat de deelnemer uitpraten over het onderwerp, vraag hier op door en switch zodra alles gezegd is over dit onderwerp over naar het onderwerp wat je hebt opgeschreven.
– Laat je vooroordelen thuis, zeker je enthousiasme over de oplossingen die je hebt bedacht anders wordt het een salesgesprek. We willen juist weten hoe iemand werkt, hoe hij zaken aanpakt, hoe hij oplossingen bedenkt, de pijnpunten en de mogelijkheden.
Belangrijk is dat je je aan iedere deelnemer aanpast.

Volgende keer: meer over interviews afnemen en de training van de RdMC’ers.

Karin van den Driesche – Filterdesign

Verdiepingsonderzoek RdMC – Start

Aanpak RdMC Portaal onderzoek van 2007
– Interviews en observatie van zes gebruikers. Keuze van deelnemers is gebaseerd op rollen die zijn gedefinieerd.
– Analyse met behulp van diverse informatie modellen
– Opstellen van persona’s en scenario’s
– Mentaal model vertalen naar een site-structuur
– Ontwerpen van diverse wireframes inclusief navigatiesystemen
– Usability testen met behulp van papieren prototypes
– Grafisch vormgeven
– Handleiding opstellen

Personas RdMC Portaal onderzoek van 2007
Alle deliverables worden opnieuw in gezet (ook de interviews) zodat we met de vervolgonderzoeken een vliegende start kunnen maken.
De personas uit het onderzoek van 2007 wil ik jullie niet onthouden omdat we deze natuurlijk ook gaan inzetten bij de vervolgonderzoeken.

Persona's
Persona

Persona Ontwikkelaar van Lesstof (pdf)
Persona Leraar in Opleiding (pdf)
Persona Begeleider van Leraar in Opleiding (pdf)

Verdiepingsonderzoek (vervolg op Portaal onderzoek van 2007)
Hoofd activiteiten binnen het gebruikersonderzoek zijn:
– Uitbouwen van het bestaande Mentaal Model Docent m.b.v. nieuwe interviews:
Allereerst wordt er een product analyse gedaan door alle producten van RdMC onder het MM te plaatsen. We kunnen dan antwoord krijgen op de volgende vragen: Waar wordt de gebruiker ondersteund, waar missen ze ondersteuning, waar is er een overlap aan informatie/functies en zijn er Mentale Ruimten die we niet gaan ondersteunen als RdMC?
– Informatie analyse
– Flowmodel ontwikkelen
– Meer personas ontwikkelen (indien nodig)

Buiten de interviews voor het Verdiepingsonderzoek zullen ook alle interviews die uitgevoerd worden voor de twee casussen in het Mentaal Model Docent worden gebruikt voor het uitbouwen van het bestaande model.

Karin van den Driesche – Filterdesign

Verdiepingonderzoek RdMC

‘Als ìk de informatie niet makkelijk kan vinden, dan ga ik er vanuit dat de gebruiker het al helemaal niet kan vinden’, werd mij laatst op een borrel verteld door een medewerker van een overheidsorganisatie. Deze gedachtegang hoor ik vaker (hoewel steeds meer bedrijven UCD technieken inzetten om de gebruiker centraal stellen, ‘we zitten teveel vast aan onze eigen termen en indelingen’).

De aanleiding van het RdMC om de UCD aanpak in te voeren, om de gebruikers eerder en meer te betrekken bij de ontwikkeling van producten, werd sterk getriggerd door de inzichten ontstaan door de deliverables uit het RdMC Portaal onderzoek van 2007. Een daarvan is een Mentaal model (pdf), welke het werk beschrijft vanuit het standpunt van de gebruikers in hun eigen woorden. Vaak werd gedacht binnen het RdMC dat vanuit hun expertise over onderwijs men wel wist ‘wat de gebruiker wil’. Echter hun oplossing leiden ertoe dat gebruikers geregeld af haakte (‘het zou ons moeten ondersteunen maar het kost alleen maar tijd’) of geen idee hadden wat het RdMC allemaal te bieden heeft. Informatie waar wel behoeften aan was bleek uit de interviews.

Mentaal model docent fase 1
Mentaal model docent fase 1

Een mentaal model vertelt hoe mensen denken en omgaan met hun taken en doelen. Het representeert de manier waarop gebruikers dingen doen, bv. hoe ze een probleem oplossen of een proces afronden. Zo weten we hoe gebruikers hun aanpak organiseren en of ze zaken op dezelfde manier aanpakken als een ander persoon. De rol van een systeem is de mensen te ontladen door werk te automatiseren.
In de navigatie en structuur voor het nieuwe portaal hebben we het MM als plattegrond gebruikt. Door cross-selecties komen docenten op verschillende manieren bij juiste informatie en krijgen op het juiste moment feedback over de status van ontwikkeling van een geclusterd stuk informatie. De fase van ontwikkeling van producten leiden regelmatig tot frustraties bij gebruikers, ‘geef aan hoe ver je bent dan hoef ik niet eerst daar te gaan kijken voor 4 regels tekst.’

Het re-design heeft meer deliverables opgeleverd:
– Flowmodel
– Personas
– Scenario’s m.b.v. personas (hoe wordt de site gebruikt)
– Systeemstructuur
– Informatie analyse
– Geteste wireframes en navigatiesystemen
– Grafisch ontwerp
– Handleiding

Allemaal worden ze her ingezet bij de projecten die gestart zijn om de UCD principes in te voeren in de organisatie. Het Verdiepingsonderzoek gaat verder met het modelleren van het werkgebied van docenten, zodat straks voor alle medewerkers van het RdMC werkbare deliverables hebben om producten te ontwikkelen die de gebruiker beter gaan ondersteunen.
Volgende keer: meer deliverables en aanpak onderzoek Portaal RdMC en de vorderingen binnen het Verdiepingsonderzoek.

Opbouw van een mentaal model/affinity model
Opbouw van een mentaal model/affinity model

Karin van den Driesche – Filterdesign

UCD?

Een korte intro over User Centered Design:

‘User Centered Design’ is het centraal stellen van de behoeften, wensen en mogelijkheden van de eindgebruikers bij ieder onderdeel van het ontwerpproces. Hierdoor ontstaat in een vroeg stadium een beeld van de gebruikers en kunnen ideeën gecheckt worden.

Interviews en observaties van gebruikers zijn gericht op het bepalen van de gemeenschappelijke patronen tijdens het uitvoeren van werkzaamheden of processen in de off-line wereld en de mentale overeenkomsten van mensen.

Eenmaal verzamelde gebruikersgegevens kunnen gemiddeld 3-5 jaar ingezet worden voor het maken van ontwerpbeslissingen. Wanneer er nieuwe rollen en/of doelstellingen ontstaan geeft het doen van interviews en met zo nodig uitbreiden van de personas opnieuw inzicht.

Voor een overzicht van het UCD proces en technieken download de UCD plattegrond (pdf).

Implementatie UCD proces binnen het Ruud de Moor Centrum (OU)

Begin 2007 heeft Filterdesign voor het Ruud de Moor Centrum een gebruikersonderzoek uitgevoerd om te evalueren hoe hun gebruikers de RdMC producten beleefden. De resultaten hebben het RdMC doen besluiten het UCD proces te integreren in hun bestaande ontwikkelmethode. Dit project heeft de naam gekregen: UCD project!
Met 5 teamleden, Robert, Marc, Hannelore, Kees en mijzelf, zijn we gestart met het opstellen van een aantal activiteiten met als doel om UCD als methode in te voeren binnen de organisatie.

Op deze blog worden de ontwikkelingen en resultaten gepresenteerd van de diverse onderzoek projecten. Deze projecten dienen als casus en training voor alle RdMC medewerkers.
Het gaat om de volgende projecten:
Case 1 Professionaliseren/Re-design van Proformas: dit is een van de producten van RdMC en ondersteunt professionalisering in het onderwijs door formatieve assessment.
Case 2 Kennisbanken: het RdMC heeft meerdere vakspecifieke kennisbanken. De onderzoeksvraag zal zich richten op het ontwikkelen van lesmateriaal.
Case 3 Voorbereiden les. Dit onderzoek gaat verder waar we in 2007 zijn gestopt. De onderzoeksvraag zal zich richten op het ‘voorbereiden van een les’.

In deze blog zullen de projecten door elkaar gaan lopen omdat ze ook daadwerkelijk tegelijkertijd plaatsvinden. Veel plezier!

Karin van den Driesche – Filterdesign

www.ou.nl/rdmc

www.filterdesign.nl/rdmc.html