Validatiecriteria Huurdersonderzoek door onderzoeksbureaus Aedes-benchmark 2024

Alle onderzoeken moeten voldoen aan een set van criteria waarmee de onderzoeken en de resultaten ervan gevalideerd kunnen worden voor gebruik in de Aedes-benchmark. De richtlijnen van de MOA/ESOMAR liggen ten grondslag aan deze validatiecriteria. In dit document zijn de validatiecriteria voor onderzoeken uitgevoerd door onderzoeksbureaus opgenomen.

De validatie van de onderzoeken wordt op verzoek van Aedes uitgevoerd door KWH, onder auspiciën van de onafhankelijke Commissie Kwaliteitsverklaringen (CKV).

Vanaf de Aedes-benchmark 2024 gelden er enkele aangescherpte criteria. Voer deze uiterlijk bij de meting over januari 2024 door.

• Er is een aangescherpt criterium rondom het bepalen van de relevante populatie huurders die een woning hebben betrokken. Deze luidt als volgt:
  Tot de populatie huurders die een woning hebben betrokken, rekent de corporatie naast bestaande bouw ook de huurders die in een nieuwbouwwoning zijn komen wonen. Nieuwe huurders met een nieuwbouwwoning mogen eventueel in een afzonderlijk onderzoek worden bevraagd.
• Een aangescherpt criterium rondom antwoordmogelijkheden in de vragenlijst luidt als volgt:
  Een aantal vragen moet voorzien zijn van een antwoordoptie ‘dat weet ik niet’ en/of ‘geen mening’. Dit geldt voor:
  • de deelscorevragen van de processen ‘nieuwe huurder’, ‘huurder met een reparatieverzoek’ en ‘vertrokken huurder’;
  • kwaliteit van de woning;
  • de 4 indicatoren van de Verdieping Leefbaarheid.
  Voor de overige indicatoren is het bieden van antwoordoptie ‘dat weet ik niet’ en/of ‘geen mening’ een nadrukkelijk advies, maar geen verplichting. Bij het bepalen of de benodigde netto respons is behaald, tellen huurders die antwoordopties ‘dat weet ik niet’ en/of ‘geen mening’ hebben gegeven voortaan ook mee in het responspercentage.
• Een aangescherpt criterium rondom de plaats van de deelscorevraag in de vragenlijst luidt als volgt:
  Voor het proces ‘huurder met een reparatieverzoek’ geldt een uitzondering op het criterium dat de deelscorevraag altijd als eerste moet worden gesteld. Het advies is om huurders alleen de vragenlijst te laten invullen als de reparatie daadwerkelijk is uitgevoerd. Daarom mag je bij dit proces voorafgaand aan de deelscorevraag een checkvraag stellen of de reparatie inderdaad is uitgevoerd. Een variant van zo’n checkvraag is te vinden in het document ‘Deelscores en indicatoren Aedes benchmark Huurdersoordeel’. Een alternatieve formulering is toegestaan, zolang de vraag ertoe leidt dat als de reparatie niet is afgerond, de huurder op dat moment niet aan het onderzoek deelneemt. Over deze huurder moet vervolgens een signaal naar de corporatie gaan, zodat hier opvolging aan kan worden gegeven. Een vereiste hierbij is dat zodra de reparatie alsnog is uitgevoerd, de huurder opnieuw wordt uitgenodigd om een vragenlijst in te vullen voor het betreffende reparatieverzoek.

Deskundigheid

1. Het onderzoeksbureau is lid van de Markt Onderzoeks Associatie (MOA), ESOMAR of kan kwaliteitsborging voor marktonderzoek garanderen (ISO 20525).

Onafhankelijkheid

2. Er is geen concernrelatie, noch direct, noch via holdingstructuren of dochterondernemingen, tussen het onderzoeksbureau en de corporatie.
3. Het onderzoeksbureau voert in opdracht van de corporatie geen andere onderzoeken of (advies-) werkzaamheden uit die de onafhankelijkheid van het onderzoek dat ingebracht wordt voor de Aedes-benchmark kunnen aantasten.
4. De medewerkers van de corporatie of partijen betrokken bij de dienstverlening hebben geen rol in het verzamelen van onderzoeksgegevens (voeren bijvoorbeeld zelf telefonisch onderzoek uit, uitvoerder met antwoordkaarten of tablet, etc.)
5. Sinds 2021 wordt er steekproefsgewijs dieper ingezoomd op het onderzoeksproces van corporaties die het onderzoek laten uitvoeren door een onderzoeksbureau. Corporaties en onderzoeksbureaus bij wie dit plaatsvindt, worden daarover vooraf geïnformeerd.

Uitvoering van het huurdersonderzoek

6. Het onderzoek moet uitgevoerd worden op basis van een representatieve steekproef op jaarniveau, uitgaande van 90% betrouwbaarheidsinterval en een foutenmarge van ±5%. De benodigde netto respons (aantal respondenten) is te berekenen via een tool in Excel. Het uitgevoerde huurdersonderzoek heeft derhalve betrekking op en is representatief voor de corporatie als geheel. Het onderzoek is dus niet gebaseerd op slechts 1 of een aantal vestigingen of een beperkt deel van de populatie. Corporaties met 2.500 wooneenheden of minder die het huurdersonderzoek voor het prestatieveld Onderhoud & Verbetering (kwaliteit van de woning) en/of de Verdieping Leefbaarheid (onder een aselecte steekproef) uitvoeren, mogen afwijken van de foutenmarge van 5%. Voor deze corporaties heeft het jaarlijks deelnemen aan dit onderzoek een behoorlijke impact en leidt op termijn tot overbevraging van de huurders. Daartoe is besloten dat deze corporaties (enkel voor het onderzoek onder de aselecte steekproef) een foutenmarge van maximaal 7% mogen hanteren.
   Voor het berekenen van de netto steekproef worden de volgende definities gehanteerd:
   • Populatie: het aantal huurders dat gedurende een onderzoeksperiode een bepaald proces heeft doorlopen of in geval van de aselecte steekproef de gehele huurderspopulatie. Als een corporatie besluit huurders niet meerdere keren per periode uit te nodigen voor een onderzoek mogen deze bij het opgeven van de populatie in mindering worden gebracht. Hetzelfde geldt voor huurders die niet bevraagd kunnen worden (bijvoorbeeld ontruimingen, overlijden, etc.).
   • Bruto steekproef: het aantal huurders dat is uitgenodigd om deel te nemen aan het onderzoek. Bij kleine populaties zal de bruto steekproef veelal gelijk zijn aan de populatie. Als de corporatie ervoor kiest om niet de hele populatie uit te nodigen voor een onderzoek, dan geldt dat de bruto steekproef aselect is getrokken uit het populatiebestand. Dit gebeurt bij voorkeur door het onderzoeksbureaus en anders door een medewerker van de corporatie die niet direct betrokken is bij de dienstverlening aan huurders.
   • Netto steekproef: het aantal huurders dat uiteindelijk deelneemt aan het onderzoek. Deze wordt bepaald op basis van het uiteindelijk aangeleverde databestand. Hierbij wordt gekeken naar de respons op de deelscores. Bij het bepalen of de benodigde netto respons is behaald, tellen huurders die antwoordopties ‘dat weet ik niet’ en/of ‘geen mening’ hebben gegeven ook mee in het responspercentage.

   Bij kleine populaties moeten er relatief veel huurders worden bevraagd om aan de bovenstaande voorwaarden te voldoen. Vanwege de praktische haalbaarheid is voor populaties kleiner dan 700 een netto respons (aantal respondenten) van minimaal 25% van de totale populatie voldoende. De ervaring leert dat het voor het proces ‘Vertrokken huurders’ lastig is om het responspercentage van 25% te behalen. Voor dit proces (en derhalve niet voor de overige processen) geldt in het geval van het niet behalen van het responspercentage van 25% met de gekozen veldwerkmethoden, dat een responspercentage van 20% volstaat. Hierbij geldt de voorwaarde dat de corporatie kan aantonen dat de hele populatie bij het onderzoek is betrokken (populatie is gelijk aan bruto steekproef). Wanneer ook dat niet haalbaar is, is het nodig een tweede (of derde) veldwerkmethode in te zetten.

   Wanneer de corporatie continu onderzoek laat uitvoeren, moeten alle bestanden aan het onderzoeksbureau aangeleverd worden. Is er geen sprake van continu onderzoek, dan geeft de corporatie vooraf aan (bij validatie 1) over welke periode onderzoek wordt uitgevoerd en levert alle betreffende bestanden bij het onderzoeksbureau aan. Het onderzoeksbureau trekt vervolgens de steekproef.

7. De relevante populatie wordt door het onderzoeksbureau per proces bepaald en is gebaseerd op de door de corporatie in september 2023 tot en met juli 2024 verleende diensten aan:
   1. huurders die een woning hebben betrokken
   2. huurders bij wie een reparatie is uitgevoerd
   3. huurders bij wie planmatig onderhoud/renovatie is uitgevoerd
   4. huurders die de woning hebben verlaten

   Tot de populatie huurders die een woning hebben betrokken, rekent de corporatie naast bestaande bouw ook de huurders die in een nieuwbouwwoning zijn komen wonen. Nieuwe huurders met een nieuwbouwwoning mogen eventueel in een afzonderlijk onderzoek worden bevraagd.

   Corporaties die continu meten, leveren alle data aan die gedurende deze periode is opgehaald. Worden de onderzoeken niet continu uitgevoerd of is er een andere geldige reden waarom niet de hele periode kan worden aangeleverd (synchroon willen lopen aan rapportagemomenten, onderzoek voldeed in een bepaalde periode nog niet aan de criteria, etc.), dan geeft de corporatie bij de eerste validatieronde aan over welke periode de onderzoeken worden uitgevoerd. De corporatie levert vervolgens alle data aan van de periode die bij validatie 1 is opgegeven. Hierbij geldt een minimum van 6 aaneengesloten maanden binnen de genoemde periode waarvan minimaal 5 in 2024.

   Naast deze 4 onderzoeksonderdelen is er een vijfde onderzoeksonderdeel, waarin onder andere voor het prestatieveld Onderhoud & Verbetering het oordeel van de huurders over de kwaliteit van de woning wordt uitgevraagd. Met ingang van 2023 is daar nog een zesde onderdeel bijgekomen, namelijk de Verdieping Leefbaarheid. Deze mag samen met of apart van kwaliteit woning worden uitgevraagd. Voor deze 2 onderzoeksonderdelen moet een aselecte steekproef worden getrokken uit het gehele huurdersbestand. De relevante populatie is voor dit onderzoek gedefinieerd als het aantal bewoonde wooneenheden bij aanvang van het onderzoek. Het advies is om jaarlijks te meten, maar de corporatie kan ervoor kiezen om kwaliteit van de woning en de Verdieping Leefbaarheid om het jaar te (laten) onderzoeken. Levert de corporatie een van deze onderdelen dit jaar niet aan, dan worden automatisch de scores van het afgelopen jaar meegenomen in de benchmark. 

8. Bij het prestatieveld Onderhoud & Verbetering speelt type en bouwjaar van de woning een rol bij het duiden van de resultaten. Daarom moeten de resultaten die worden aangeleverd, verrijkt zijn met type en bouwjaar van de woning (conform de indeling van dVi). Deze indeling vind je onderaan dit document.
9. Wanneer bepaalde delen van de bovenstaande processen niet worden gemeten (bijvoorbeeld reparaties uitgevoerd door derden) moet de corporatie of het onderzoeksbureau dit melden bij de aanvraag voor de validatie. In dat geval wordt beoordeeld of de representativiteit van het huurdersonderzoek in het geding is.
10. De steekproef is door het onderzoeksbureau at random getrokken uit het totale huurdersbestand of het totale bestand van huurders dat een bepaalde dienstverlening (nieuwe woning, uitvoeren reparaties, planmatig onderhoud, huur opzeggen) heeft ontvangen.
11. De onderzoeken hebben betrekking op diensten die door de corporatie in september 2023 tot en met juli 2024 geleverd zijn.
12. Bij het onderzoek is een onderbouwing van de periode(n) en de wijze van steekproeftrekking noodzakelijk voor beoordeling van de representativiteit.
13. Huurders worden maximaal 3 maanden na een dienst bevraagd. Dit betekent dat bij een aaneengesloten periode van 6 maanden, huurders op 2 momenten moeten worden bevraagd. Dit geldt uiteraard niet voor de 2 onderzoeksonderdelen (kwaliteit van de woning en Verdieping Leefbaarheid) die onder een aselecte steekproef worden gemeten.
14. Bij online onderzoek maakt het onderzoeksbureau gebruik van een veilige verbinding (bijvoorbeeld SSL) tussen de huurder en de server waarbij gevoelige informatie die via het web wordt verzonden, wordt gecodeerd.
15. Het onderzoek mag worden uitgevoerd via (een combinatie van) telefonische, schriftelijke en digitale vragenlijsten. Kwalitatieve meetmethodes (zoals groepsdiscussies) zijn door het subjectieve karakter van de verkregen respons niet toelaatbaar.
16. Als bij de verzameling van de respons gebruik is gemaakt van incentives (respondenten-vergoedingen, verlotingen) of andere respons bevorderende maatregelen, dan wordt dit nadrukkelijk vermeld. Als deze maatregelen van invloed kunnen worden geacht op de representativiteit of validiteit van het onderzoek, kan dit een reden vormen de resultaten niet te accepteren.
17. Het onderzoeksbureau is bereid en in staat de oorspronkelijke vragenlijsten te overleggen.
18. Het onderzoeksbureau is bereid en in staat toegang te geven tot de oorspronkelijke steekproefbestanden en verzamelde data.

Kwaliteit vragenlijsten huurdersonderzoek

19. Het onderzoek wordt anoniem uitgevoerd. Dat wil zeggen dat de huurder anoniem kan reageren op de enquête tenzij de huurder aan het einde van de vragenlijst zelf de anonimiteit opheft.
20. Meedoen aan het onderzoek duurt niet langer dan gemiddeld 15 minuten.
21. De vragen/antwoordmogelijkheden in de vragenlijst moeten gelijk zijn aan de vastgestelde indicatoren (zie document Indicatoren Huurdersoordeel) van de Aedes-benchmark en uitgedrukt in een rapportcijfer. Een aantal vragen moet voorzien zijn van een antwoordoptie ‘dat weet ik niet’ en/of ‘geen mening’. Dit geldt voor:
    • de deelscorevragen van de processen ‘nieuwe huurder’, ‘huurder met een reparatieverzoek’ en ‘vertrokken huurder’,
    • kwaliteit van de woning,
    • de 4 indicatoren van de Verdieping Leefbaarheid.

    Voor de overige indicatoren is het bieden van antwoordoptie ‘dat weet ik niet’ en/of ‘geen mening’ een nadrukkelijk advies, maar geen verplichting.
    Alleen de vastgestelde afwijkingen in de vraagstelling zijn toegestaan:

    • het inlezen van de corporatienaam in plaats van ‘uw corporatie’,
    • het toevoegen van de aannemer als deze een wezenlijk onderdeel van de dienstverlening heeft geleverd.

    Andere van de vastgestelde indicatoren afwijkende vraagstellingen worden niet gevalideerd.

22. De vraag over het gehele proces (deelscore) wordt in de vragenlijst als eerste aan de huurders voorgelegd, om de invloed van andere vragen op de deelscore te voorkomen. Het uitgangspunt is daarbij dat een corporatie de huurder bevraagt naar aanleiding van 1 specifiek proces. Het is niet toegestaan voorafgaand aan deze deelscorevraag vragen te stellen die huurders uitsluiten van het invullen van de deelscorevraag. Hierbij wordt er vanuit gegaan dat de juiste doelgroep bekend is bij de corporatie en het onderzoeksbureau en dat selectievragen niet nodig zijn.
23. Voor het proces ‘huurder met een reparatieverzoek’ geldt een uitzondering op het criterium dat de deelscorevraag altijd als eerste moet worden gesteld. Het advies is om huurders alleen de vragenlijst te laten invullen als de reparatie daadwerkelijk is uitgevoerd. Daarom mag bij dit proces voorafgaand aan de deelscorevraag een checkvraag stellen of de reparatie inderdaad is uitgevoerd. Een variant van zo’n checkvraag is te vinden in het document ‘Deelscores en indicatoren Aedes benchmark Huurdersoordeel’. Een alternatieve formulering is toegestaan, zolang de vraag ertoe leidt dat als de reparatie niet is afgerond, de huurder op dat moment niet aan het onderzoek deelneemt. Over deze huurder moet vervolgens een signaal naar de corporatie gaan, zodat hier opvolging aan kan worden gegeven. Een vereiste hierbij is dat zodra de reparatie alsnog is uitgevoerd, de huurder opnieuw wordt uitgenodigd om een vragenlijst in te vullen voor het betreffende reparatieverzoek.

Rapportage huurdersonderzoek

24. Het onderzoeksbureau is bereid en in staat onderzoekrapportages te overleggen die, naast inzicht in de resultaten, een gedegen verantwoording van het onderzoek bevatten op de punten: steekproeftrekking, onderzoeksmethodiek en een analyse van de respons en non-respons (verschil netto-bruto steekproef).
25. Aanlevering van definitieve data gebeurt in Excel en via een beveiligde portal. De data worden op huurdersniveau aangeleverd. Voor het prestatieveld Onderhoud & Verbetering is een verrijking van deze data nodig met het bouwjaar en type van de woning conform de indeling van dVi.

Deze indeling is op het moment van publiceren van de validatiecriteria als volgt:

Bouwjaarklassen (stichtingsjaar)

• Voor 1945
• 1945-1959
• 1960-1969
• 1970-1979
• 1980-1989
• 1990-1999
• 2000-2009
• 2010-2019
• Vanaf 2020

Woningtypen

• Eengezinswoning
• Meergezinswoning zonder lift
• Meergezinswoning met lift
• Onzelfstandige woning

Op initiatief van de werkgroep Huurdersoordeel en de onderzoeksbureaus heeft Bureau Taal de vragen, die aan huurders gesteld worden, in 2022 herschreven naar begrijpelijke taal. Uiteraard zijn de nieuwe vragen afgestemd met de werkgroep en onderzoeksbureaus. Bureau Taal is een bureau gespecialiseerd in het schrijven van teksten in begrijpelijk en eenvoudig Nederlands.