Met veel vrijheid komt veel verantwoordelijkheid. Deze vrijheid komt tot uiting bij het maken van vragenlijsten met Ervaringwijzer, aangezien hier geen beperkingen of restricties zijn. Maar hoe kan je nu de creativiteit de vrije loop laten en nog steeds een valide en betrouwbaar onderzoek opzetten? Speciaal hiervoor hebben we een aantal regels opgesteld waarmee je rekening kunt houden tijdens het ontwerpen.
Een aantal begrippen:
- Validiteit – de mate waarin wordt gemeten wat je daadwerkelijk wilt weten. kort gezegd: meet je wat je wilt weten? Validiteit is onder te verdelen in twee vormen: interne en externe validiteit. Bij interne validiteit wordt gekeken of het resultaat verband houdt met wat je vraagt en of dit een juist verband is. Kort gezegd: zijn je conclusies juist? Bij externe validiteit wordt gekeken in hoeverre je de resultaten kunt generaliseren voor de doelgroep, situaties en perioden.
- Betrouwbaarheid – kan een onderzoek herhaald worden in een vergelijkbare situatie en leidt deze dan ook tot vergelijkbare resultaten?
Voor je begint aan het opstellen van een vragenlijst is het slim om jezelf de volgende vragen te stellen:
Wat voor informatie wil ik ophalen?
Wat is het doel van mijn onderzoek
Wat wil ik weten?
Wat ga ik met de informatie doen?
Wie vormen de doelgroep?
Dit heeft veel raakvlakken met het opstellen van het Plan van Aanpak voor het opzetten van een project.
Tips voor een valide en betrouwbare vragenlijst
1 Wees specifiek en vermijd interpretatiefouten
Voorbeeld: ‘Zie je de consulent vaak?’ is open voor interpretatie, waardoor de externe validiteit van je onderzoek naar beneden gehaald wordt. Je kunt immers het woordje ‘vaak’ op diverse manieren interpreteren. Dit zorgt ervoor dat de resultaten daardoor lastig te generaliseren zijn. Dit probleem kan ondervangen worden door de vraag te herformuleren:’Hoe vaak zie je hulpverlener per week?’ Het kan dan een meerkeuze vraag zijn met concrete antwoorden: 1, 2 of 3 keer per week.
2 Vermijd moeilijke of multi-interpretabele woorden
Voorbeeld 1: Onafhankelijke cliëntondersteuner is een begrip dat vaak wordt gebruikt in vragenlijsten. Dit is duidelijk voor mensen die werken in de zorg, maar wanneer de vraag gesteld wordt aan de cliënt is het niet altijd duidelijk wat er bedoeld wordt met het begrip. Hulpverlener is daarom een betere omschrijving.
Voorbeeld 2: het woordje ‘zorg’. Dit kan op veel manieren worden geïnterpreteerd. Tevens maken veel respondenten gebruik van meerdere vormen van zorg. Zo is de stelling: ‘ik ben tevreden over de zorg’ te vaag. Het antwoord kan over iedere vorm van zorg gaan, terwijl je een specifieke vorm van zorg wilt toetsen. Hierdoor gaat de externe validiteit van het onderzoek achteruit, omdat de conclusies op basis van resultaten fout zijn. Een mogelijke oplossing om de resultaten specifieker te maken zou zijn:’Ik ben tevreden over de hulp bij huishouden’.
3 Stel altijd één vraag en voorkom dat er twee vragen in één worden gesteld
Voorbeeld: ‘Vindt u de aanpak van de gemeente en het sociaal team prettig?’ Hoewel deze vraag één zin lang is, worden er toch twee gesteld. Namelijk: de aanpak van de gemeente en de aanpak van het Sociaal Team. De oplossing is het opsplitsen in twee losse vragen: ‘Vindt u de aanpak van de gemeente prettig?’ en ‘Vindt u de aanpak van het Sociaal Team prettig?’
4 Gebruik geen dubbele negatie
Voorbeeld 1: ‘Hoe kunnen wij voorkomen dat u geen hulp ontvangt?’ Door de vraag te herformuleren is het duidelijker voor de respondent: ‘Hoe kunnen wij zorgen dat u hulp ontvangt?’ Bij een stelling komt een dubbele negatie regelmatig voor, doordat de vraag een negatief element bevat en een van de antwoorden ook.
Voorbeeld 2: ‘Ik voel me niet goed!’ met de antwoorden: niet mee eens, neutraal en eens. De antwoorden bij een stelling zijn altijd op een vaste schaal. Het is daarom zaak om de vraag aan te passen om een dubbele negatie te voorkomen: ‘Ik voel me goed!’
5 Stel alleen vragen die cliënten kunnen beantwoorden
Voorbeeld: ‘Hoe zou u de wijkverpleging indelen?’ Het antwoord op deze vraag is complex en niet te vatten in een aantal regels. Daarnaast is het denkbaar dat veel respondenten alleen het eigen belang zullen laten meewegen in het antwoord.
6 Stel vragen over zaken die respondenten weten
Voorbeeld: ‘Bent u het eens met het besluit van de directie om de gemeente Utrecht clementie te verlenen?’ De kans dat een respondent hier een goed antwoord op kan geven is nihil.
7 Vermijd suggestieve vragen en stellingen
Voorbeeld: ‘De gemeente zou meer moeten samenwerken met zorgaanbieders in de wijk zodat er meer geld gaat naar jeugdzorg.’ Deze stelling zorgt ervoor dat een respondent in een bepaalde richting wordt gestuurd. Indien een dergelijke vraag wordt gesteld, zal de conclusie bij de resultaten verkeerd zijn en daarom niet intern valide.
8 Wees consistent in de antwoorden
Bij een stelling moet de opbouw van de antwoorden steeds hetzelfde zijn. Voorbeeld: ‘uitstekend, eens, neutraal, oneens, helemaal niet mee eens’, is niet consistent en wordt hierom afgeraden. De reeks ‘Helemaal mee eens, mee eens, neutraal, niet mee eens, helemaal niet mee eens’, bevat een betere en consistente opbouw. Bij antwoorden die concrete aantallen bevatten moet de sprong ook steeds even groot zijn. Voorbeeld: ‘1-2 uur, 3-6 uur, 12 uur’, is verwarrend. ‘1-2 uur, 3-4 uur, 5-6 uur’, zorgt ervoor dat je antwoorden consequent zijn.
