Alle onderzoeken moeten voldoen aan een set van criteria waarmee de onderzoeken en de resultaten ervan gevalideerd kunnen worden voor gebruik in de Aedes-benchmark. De richtlijnen van de MOA/ESOMAR liggen ten grondslag aan deze validatiecriteria. In dit document zijn de validatiecriteria opgenomen voor onderzoeken die door de corporatie zelf worden uitgevoerd.
De validatie van de onderzoeken wordt op verzoek van Aedes uitgevoerd door KWH onder auspiciën van de onafhankelijke Commissie Kwaliteitsverklaringen (CKV).
Aangescherpt validatiecriterium vanaf Aedes-benchmark 2022
Vanaf de Aedes-benchmark 2022 geldt er een aangescherpt criterium rondom anonimiteit. Dit aangescherpte criterium is als volgt:
Het onderzoek moet anoniem worden uitgevoerd. Dat wil zeggen dat de huurder anoniem moet kunnen reageren op de enquête tenzij de huurder aan het einde van de vragenlijst via een toestemmingsvraag zelf de anonimiteit opheft.
Validatiecriteria
Onafhankelijkheid en deskundigheid medewerkers
- De medewerkers die betrokken zijn bij het opzetten en uitvoeren van eigen onderzoek handelen overeenkomstig de richtlijnen van de MOA of ESOMAR.
- Het onderzoek wordt uitgevoerd door hiervoor gekwalificeerde medewerkers van de corporatie met aantoonbare kennis van en ervaring met onderzoeksmethoden en -technieken.
- Medewerkers betrokken bij de dienstverlening richting de huurders, hebben op geen enkele wijze invloed op het onderzoek (geldt ook voor het verzamelen van data zoals het telefonisch enquêteren door medewerkers van een KCC of het achterlaten van een antwoordkaart/enquêteren met een tablet door de uitvoerder).
- De desbetreffende medewerkers ontvangen geen beloning of incentive afhankelijk van de resultaten van het onderzoek.
- Sinds 2021 wordt er steekproefsgewijs dieper ingezoomd op het onderzoeksproces van corporaties die het onderzoek zelf uitvoeren. Corporaties bij wie dit plaatsvindt, worden daarover vooraf geïnformeerd.
Uitvoering van het huurdersonderzoek
- Het onderzoek moet uitgevoerd worden op basis van een representatieve steekproef op jaarniveau, uitgaande van 90% betrouwbaarheidsinterval en een foutenmarge van ±5%. De benodigde netto respons (aantal respondenten) is te berekenen via een tool in Excel. Het uitgevoerde huurdersonderzoek heeft derhalve betrekking op en is representatief voor de corporatie als geheel. Het onderzoek is dus niet gebaseerd op slechts één of een aantal vestigingen of een beperkt deel van de populatie. Corporaties met 2.500 wooneenheden of minder die huurdersonderzoek voor het prestatieveld O&V (de aselecte steekproef) uitvoeren, mogen afwijken van de foutenmarge van 5%. Voor deze corporaties heeft het jaarlijks deelnemen aan dit onderzoek een behoorlijke impact en zal op termijn leiden tot overbevraging van de huurders. Daarom is besloten dat deze corporaties (enkel voor het onderzoek onder de aselecte steekproef) een foutenmarge van maximaal 7% mogen hanteren.
Voor het berekenen van de netto steekproef worden de volgende definities gehanteerd:
- Populatie: het aantal huurders dat gedurende een onderzoeksperiode een bepaald proces heeft doorlopen of in geval van de aselecte steekproef de gehele huurderspopulatie. Als een corporatie besluit huurders niet meerdere keren per periode uit te nodigen voor een onderzoek mogen deze bij op opgeven van de populatie in mindering worden gebracht. Hetzelfde geldt voor huurders die niet bevraagd kunnen worden (bijvoorbeeld ontruimingen, overlijden, etc.).
- Bruto steekproef: het aantal huurders dat is uitgenodigd om deel te nemen aan het onderzoek. Bij kleine populaties zal de bruto steekproef veelal gelijk zijn aan de populatie. Als de corporatie ervoor kiest om niet de hele populatie uit te nodigen voor een onderzoek dan geldt dat de bruto steekproef aselect is getrokken uit het populatiebestand. Dit gebeurt door een medewerker van de corporatie die niet direct betrokken is bij de dienstverlening aan huurders.
- Netto steekproef: het aantal huurders dat uiteindelijk deelneemt aan het onderzoek. Deze wordt bepaald op basis van het uiteindelijk aangeleverde databestand. Hierbij wordt gekeken naar de respons op de deelscores. De antwoordopties ‘weet niet’ en/of ‘geen mening’ tellen niet mee bij de benodigde netto respons.
Bij kleine populaties moeten er relatief veel huurders worden bevraagd om aan de bovenstaande voorwaarden te voldoen. Vanwege de praktische haalbaarheid is voor populaties kleiner dan 700 een netto respons (aantal respondenten) van minimaal 25% van de totale populatie voldoende. De ervaring leert dat het voor het proces ‘Vertrokken huurders’ lastig is om het responspercentage van 25% te behalen. Voor dit proces (en derhalve niet voor de overige processen) geldt in het geval van het niet behalen van her responspercentage van 25% met de gekozen veldwerkmethoden dat een responspercentage van 20% volstaat. Hierbij geldt de voorwaarde dat de corporatie kan aantonen dat de hele populatie bij het onderzoek is betrokken (populatie is gelijk aan bruto steekproef). Wanneer ook dat niet haalbaar is, is het nodig een tweede (of derde) veldwerkmethode in te zetten.
Wanneer de corporatie continu onderzoek laat uitvoeren, moeten alle bestanden aangeleverd worden. Is er geen sprake van continu onderzoek, dan geeft de corporatie vooraf (bij validatie 1) aan over welke periode onderzoek wordt uitgevoerd en levert alle betreffende bestanden aan.
- De relevante populatie wordt door de corporatie per proces bepaald en is gebaseerd op de door de corporatie in september 2021 tot en met juli 2022 verleende diensten aan:
- huurders die een woning hebben betrokken
- huurders bij wie een reparatie is uitgevoerd
- huurders bij wie planmatig onderhoud/renovatie is uitgevoerd
- huurders die de woning hebben verlaten
Corporaties die continu meten, leveren alle data aan die gedurende deze periode is opgehaald. Worden de onderzoeken niet continu uitgevoerd of is er een andere geldige reden waarom niet de hele periode kan worden aangeleverd (synchroon willen lopen aan rapportagemomenten, onderzoek voldeed in een bepaalde periode nog niet aan de criteria, etc.) dan geeft de corporatie bij de eerste validatieronde aan over welke periode de onderzoeken worden uitgevoerd. De corporatie levert vervolgens alle data aan van de periode die bij validatie 1 is opgegeven. Hierbij geldt een minimum van 6 aaneengesloten maanden binnen de genoemde periode waarvan minimaal 5 in 2022.
Naast deze 4 onderzoeksonderdelen, is er een vijfde onderzoeksonderdeel waarin onder andere voor het prestatieveld Onderhoud & Verbetering het oordeel van de huurders over de kwaliteit van de woning wordt uitgevraagd. Voor dit onderzoeksonderdeel moet een aselecte steekproef worden getrokken uit het gehele huurdersbestand. De relevante populatie is hiervoor gedefinieerd als het aantal bewoonde wooneenheden bij aanvang van het onderzoek. De corporatie kan er voor kiezen dit onderdeel jaarlijks of om het jaar te onderzoeken. Levert de corporatie dit onderdeel niet aan dan worden automatisch de scores van het afgelopen jaar meegenomen in de benchmark.
- Bij het prestatieveld Onderhoud & Verbetering speelt type en bouwjaar van de woning een rol bij het duiden van de resultaten. Daarom moeten de resultaten die worden aangeleverd verrijkt zijn met type en bouwjaar van de woning (conform de indeling van dVi). Deze indeling vindt u onderaan dit document.
- Wanneer bepaalde delen van de bovenstaande processen niet gemeten worden (bijvoorbeeld reparaties uitgevoerd door derden) moet dit door de corporatie worden gemeld bij de aanvraag voor de validatie. In dat geval wordt beoordeeld of de representativiteit van het huurdersonderzoek in het geding is.
- De steekproef is door de corporatie at random getrokken uit het totale huurdersbestand of het totale bestand van huurders dat een bepaalde dienstverlening (nieuwe woning, uitvoeren reparaties, planmatig onderhoud, huur opzeggen) heeft ontvangen.
- De onderzoeken hebben betrekking op diensten die door de corporatie in september 2021 tot en met juli 2022 geleverd zijn of minimaal 6 maanden binnen deze periode, waarvan minimaal 5 in 2022.
- Bij het onderzoek is een onderbouwing van de periode(n) en de wijze van steekproeftrekking noodzakelijk voor beoordeling van de representativiteit.
- Huurders worden maximaal 3 maanden na een dienst bevraagd. Dit betekent dat bij een aaneengesloten periode van 6 maanden, huurders op twee momenten bevraagd moeten worden. Dit geldt uiteraard niet voor het onderzoeksonderdeel onder de aselecte steekproef.
- Het onderzoek mag uitgevoerd worden via (een combinatie van) telefonische, schriftelijke en digitale vragenlijsten. Kwalitatieve meetmethodes (zoals groepsdiscussies) zijn door het subjectieve karakter van de verkregen respons niet toelaatbaar.
- Bij online onderzoek maakt de corporatie gebruik van een veilige verbinding (bijvoorbeeld SSL) tussen de huurder en de server waarbij gevoelige informatie die via het web wordt verzonden, wordt gecodeerd.
- Als bij de verzameling van de respons gebruik is gemaakt van incentives (respondenten-vergoedingen, verlotingen) of andere respons bevorderende maatregelen, dan wordt dit nadrukkelijk vermeld. Als deze maatregelen van invloed kunnen worden geacht op de representativiteit of validiteit van het onderzoek, kan dit een reden zijn om de resultaten niet te accepteren.
- De corporatie is bereid en in staat de oorspronkelijke vragenlijsten te overleggen.
- De corporatie is bereid en in staat toegang te geven tot de oorspronkelijke steekproefbestanden en de verzamelde data.
Kwaliteit vragenlijsten huurdersonderzoek
- Het onderzoek wordt anoniem uitgevoerd. Dat wil zeggen dat de huurder anoniem kan reageren op de enquête tenzij de huurder aan het einde van de vragenlijst zelf de anonimiteit opheft.
- Meedoen aan het onderzoek duurt niet langer dan gemiddeld 15 minuten.
- De vragen/antwoordmogelijkheden in de vragenlijsten moeten gelijk zijn aan de vastgestelde indicatoren (zie document indicatoren Huurdersoordeel) van de Aedes-benchmark en uitgedrukt in een rapportcijfer. Alleen de vastgestelde afwijkingen in de vraagstelling zijn toegestaan:
- het inlezen van de corporatienaam in plaats van ‘uw corporatie’
- het toevoegen van de aannemer als deze een wezenlijk onderdeel van de dienstverlening heeft geleverd.
Andere van de vastgestelde indicatoren afwijkende vraagstellingen worden niet gevalideerd.
22. De vraag over het gehele proces (deelscore) wordt in de vragenlijst als eerste aan de huurders voorgelegd om de invloed van andere vragen op de deelscore te voorkomen. Het uitgangspunt is daarbij dat een corporatie de huurder bevraagt naar aanleiding van één specifiek proces. Het is niet toegestaan voorafgaand aan deze deelscorevraag vragen te stellen die huurders uitsluiten van het invullen van de deelscorevraag. Hierbij wordt er vanuit gegaan dat de juiste doelgroep bekend is bij de corporatie en dat selectievragen niet nodig zijn.
Rapportage huurdersonderzoek
- De corporatie is bereid en in staat onderzoekrapportages te overleggen die naast inzicht in de resultaten een gedegen verantwoording van het onderzoek bevatten op de punten:
steekproeftrekking, onderzoeksmethodiek en een analyse van de respons en non-respons (verschil netto-bruto steekproef).
Deze indeling is op het moment van publiceren van de validatiecriteria als volgt:
Bouwjaarklassen (stichtingsjaar)
- Voor 1945
- 1945-1959
- 1960-1969
- 1970-1979
- 1980-1989
- 1990-1999
- 2000-2009
- 2010-2019
- Vanaf 2020
Woningtypen
- Eengezinswoning
- Meergezinswoning zonder lift
- Meergezinswoning met lift
- Onzelfstandige woning