Testen met gebruikers: Afronden van de test

1. Rond af met de vragen zoals:
- Wat is uw indruk?
- Heeft u zaken gemist?
- Wat vond u verwarrend?
- Wat sprak u het meest aan?
2. Praat het nog even door met de deelnemer.
3. Bedank de deelnemer!
- Een cadeautje of vergoeding voor de moeite

Karin van den Driesche – Filterdesign

Testen met gebruikers: Uitvoeren van de test

1. Begroet de deelnemer en leg uit wat de bedoeling is
- Verzeker de deelnemer van geheimhouding, de test wordt alleen binnen het project gebruikt.
- Benadruk dat het ontwerp wordt getest, niet de ervaring en kunde van de deelnemer.
- Vraag de deelnemer hardop te denken.
- Leg uit dat het juist de bedoeling is dat de deelnemer laat weten wat hij/zij van het gebruik vindt. Daarvoor doe je de test! ‘Het is papier, alles kan nog makkelijk aangepast worden.’
2. Test
- Begin met vragen zoals, wat men ziet en wat men denkt dat het is of hoe het werkt.
- Laat de deelnemer door de applicatie gaan op zijn/haar manier.
- Vraag de (overgebleven) taken uit te voeren.
- Spoor aan tot hardop denken. ‘Wat denkt u nu?’ ‘Wat verwacht u?’
- Bied geen hulp aan
- Wanneer een taak te moeilijk is, vertel hem/haar te stoppen en vraag hen te beschrijven wat er gebeurde.
- Observeer: nee, ‘a-ha’, lachen, etc.
3. Verander het ontwerp terwijl je test
- Wanneer gebruikers het ontwerp niet snappen, schets een alternatief. Dit is je moment.

Karin van den Driesche – Filterdesign

Testen met gebruikers: Aanpak van de test

- Bepaal wie de rol van testleider en wie de rol van observator op zich neemt.
- Maximaal twee personen (testleider en observator) bij een test aanwezig, deelnemers zijn al zenuwachtig genoeg.
- Testleider:  Stelt de deelnemer gerust, verzamelt de artefacten, geeft instructies en moedigt aan tot ‘hardop’ denken.
- Observator: Maakt notities over de omgeving en impressies met betrekking tot de deelnemer.
- Beide rollen kunnen ook door een persoon worden vervuld.
- Test op de werkplek van de deelnemer.
- Maak geluidsopname.
- De test duurt een uur.
- Inleiding, de test zelf en afronden van de test.

Karin van den Driesche – Filterdesign

Testen met gebruikers: Opzetten van de test

1. Vijf of zes deelnemers selecteren
- Persona’s bepalen de test groep
- Deelnemers uit het onderzoek ‘hergebruiken’
- Geen vrienden of familie
- Ken de achtergrond van je deelnemers
2. Een aantal schermen uitgeprint op papier
3. Stel taken op
- In tegenstelling tot de interviews krijgt iedereen met dezelfde rol dezelfde taken om goed te kunnen vergelijken.
- Gebruik de interviews om genoemde doelstellingen om te zetten in taken.
- Het gaat nu om ‘willen’, niet meer ‘ik vind’

Karin van den Driesche – Filterdesign

Kwalitatief vs. kwantitatief onderzoek (2)

Een voorbeeld: onderzoek over gebruik van smartboard tijdens een les

Kwantitatief onderzoek
Vraag: Hoe vaak  gebruiken docenten een  smartboard en in welke frequentie?
Verklaren:  door deze cijfers te checken in relatie tot  type school, leeftijd, achtergrond, sekse, gebied.

Kwalitatief onderzoek
Vraag: Welke variaties zijn er in betekenis en manieren van gebruik?
Verklaren:  door naar gebruikspatronen te kijken:
- Heeft men bestaand lesmateriaal digitaal beschikbaar
- Is gebruik afhankelijk van bepaalde onderwerpen
- Is gebruik afhankelijk van het niveau van de leerlingen (onder- of bovenbouw)
- Ontwikkelt men zelf lesmateriaal
- Is men afhankelijk van inroosteren om een smartboard ter beschikking te hebben
- Gebruikt men smartboard gedeeltelijk of tijdens de gehele les
- Heeft het gebruik van smartboard de werkdruk vermindert/toegenomen

Karin van den Driesche – Filterdesign

Kwalitatief vs. kwantitatief onderzoek

Kwalitatief onderzoek
- Beantwoorden ‘waarom’ vragen en vragen over ‘hoe een probleem op te lossen’.
- Gegevens worden direct verzameld bij de gebruikers.
- Tijdens veldonderzoek worden gebruikers direct geobserveerd. (hoe ze hun werk uitvoeren en producten gebruiken)
- Vragen kunnen gesteld worden n.a.v. het verhaal en de observaties.
- Analyse is meestal niet mathematisch.

Kwantitatief onderzoek
- Beantwoorden ‘hoeveel’ vragen en ‘hoe vaak’ vragen.
- Gegevens worden indirect verzameld met behulp van een instrument zoals een enquête.
- Analyse is mathematisch.

Karin van den Driesche – Filterdesign

UCD proces – DIY User Research van Leisa Reichelt

Via de site van Leisa Reichelt kwam ik deze presentatie DIY User Research tegen. Zoals ze zelf schrijft ‘Usually the answer is ‘it depends’ but that’s  not very useful, so these are some lines in the sand that have proven useful to me when DIY/guerrilla research is required.’ Oftewel ‘How to make stuff people want to use.”

Professionaliseren – Aanpak

Natuurlijk handig als ik iets uitleg over de aanleiding en aanpak van het re-design van Proformas, bij deze:

Aanleiding
- Het huidige Proformas wordt te weinig gebruikt.
- Usability test m.b.v. enquêtes: uit de resultaten blijkt dat er een hoop verbeterd kan worden.
- Eigen inzichten over (on)bruikbaarheid en onlogische indeling.
- Ontevredenheid over de gekozen oplossing qua techniek.
- Het is moeilijk uit te leggen aan gebruikersgroepen wat Proformas is.

Aanpak
- Onderzoek
Bestuderen van aanwezige bronnen (vragenlijsten, evaluatieverslagen van pilots, etc.)
Expert review; in augustus 2006 heeft Filterdesign reeds een expert review uitgevoerd. Er wordt gekeken in hoeverre deze uitgebreid moet worden
Stakeholders meeting voor het ventileren van wensen en eisen.
Interviews met zeven eindgebruikers.
Patroonherkenning en analyse van de interviews m.b.v. werkmodellen.
Personas met doelstellingen; uitbreiding op de bestaande personas RdMC breed.

- Interactie ontwerp
Opbouw van een Mentaal (verwachting) model van de gebruikers.
Vertalen van het mentale model naar een structuur.
Informatie analyse: welke informatie wordt op welk moment getoond.

- Interface ontwerp
Ontwerpen van diverse navigatiesystemen.
Schematische interface wireframes geven aan waar de belangrijkste interactie elementen komen te staan.

- Gebruikstest m.b.v. een papieren prototype en ‘hard-op denken’
- Grafisch ontwerp
- Handleiding

Karin van den Driesche – Filterdesign

Verdiepingsonderzoek RdMC – Start

Aanpak RdMC Portaal onderzoek van 2007
- Interviews en observatie van zes gebruikers. Keuze van deelnemers is gebaseerd op rollen die zijn gedefinieerd.
- Analyse met behulp van diverse informatie modellen
- Opstellen van persona’s en scenario’s
- Mentaal model vertalen naar een site-structuur
- Ontwerpen van diverse wireframes inclusief navigatiesystemen
- Usability testen met behulp van papieren prototypes
- Grafisch vormgeven
- Handleiding opstellen

Personas RdMC Portaal onderzoek van 2007
Alle deliverables worden opnieuw in gezet (ook de interviews) zodat we met de vervolgonderzoeken een vliegende start kunnen maken.
De personas uit het onderzoek van 2007 wil ik jullie niet onthouden omdat we deze natuurlijk ook gaan inzetten bij de vervolgonderzoeken.

Persona

Persona Ontwikkelaar van Lesstof (pdf)
Persona Leraar in Opleiding (pdf)
Persona Begeleider van Leraar in Opleiding (pdf)

Verdiepingsonderzoek (vervolg op Portaal onderzoek van 2007)
Hoofd activiteiten binnen het gebruikersonderzoek zijn:
- Uitbouwen van het bestaande Mentaal Model Docent m.b.v. nieuwe interviews:
Allereerst wordt er een product analyse gedaan door alle producten van RdMC onder het MM te plaatsen. We kunnen dan antwoord krijgen op de volgende vragen: Waar wordt de gebruiker ondersteund, waar missen ze ondersteuning, waar is er een overlap aan informatie/functies en zijn er Mentale Ruimten die we niet gaan ondersteunen als RdMC?
- Informatie analyse
- Flowmodel ontwikkelen
- Meer personas ontwikkelen (indien nodig)

Buiten de interviews voor het Verdiepingsonderzoek zullen ook alle interviews die uitgevoerd worden voor de twee casussen in het Mentaal Model Docent worden gebruikt voor het uitbouwen van het bestaande model.

Karin van den Driesche – Filterdesign

UCD?

Een korte intro over User Centered Design:

‘User Centered Design’ is het centraal stellen van de behoeften, wensen en mogelijkheden van de eindgebruikers bij ieder onderdeel van het ontwerpproces. Hierdoor ontstaat in een vroeg stadium een beeld van de gebruikers en kunnen ideeën gecheckt worden.

Interviews en observaties van gebruikers zijn gericht op het bepalen van de gemeenschappelijke patronen tijdens het uitvoeren van werkzaamheden of processen in de off-line wereld en de mentale overeenkomsten van mensen.

Eenmaal verzamelde gebruikersgegevens kunnen gemiddeld 3-5 jaar ingezet worden voor het maken van ontwerpbeslissingen. Wanneer er nieuwe rollen en/of doelstellingen ontstaan geeft het doen van interviews en met zo nodig uitbreiden van de personas opnieuw inzicht.

Voor een overzicht van het UCD proces en technieken download de UCD plattegrond (pdf).