Forbrukerrådets kommunetester

9. oktober, 2015

Her finner du mer informasjon om Kommunetesten – og hvordan vi har gått frem når vi har testet.

Forbrukerrådet har gjort kommunetester siden 2005. Åtte tester rangerer kommunene, og selv om vi ikke alltid spør om det samme, er de alle gjort såpass likt at vi har tatt oss friheten til å slå dem sammen og se hvem som er best og svakest over tid.  Litt som man slår sammen enkeltkamper og kårer en vinner i for eksempel fotballserien.

Rundt 100 000 informasjonspunkter i åtte kommunetester er satt sammen til en vektet gjennomsnittskarakter for hele perioden. Dette ligger til grunn for denne presentasjonen.

Dette er gjort:

2016 – Test av alle kommuner på flere sektorer
2013 – Test av alle kommuner på flere sektorer
2011 – Test av 76 kommuner på flere sektorer
2010 – Test av tekniske tjenester i 150 kommuner
2009 – Test av SFO i alle kommuner
2008 – Test av gjeldsrådgivning i alle kommuner
2007 – Test av alle kommuner på flere sektorer
2005 – Test av alle kommuner på flere sektorer

Testene er ikke helt like, men de er etter vårt skjønn like nok til å tilpasses samme mal for presentasjon. Resultat i hver test er som før, og i det vektede gjennomsnittet er testens størrelse, uttrykt gjennom antall testede element, selve vekttallet. Siden vi to ganger har unnlatt å teste alle kommunene, er dette også hensyntatt i beregningen.

De gangene vi ikke har testet alle, har vi tatt med de største og et tilfeldig utvalg av mindre kommuner. De kommunene som er med alle ganger er spurt om 281 informasjonselement hver.

Det er fire tester som ligner noe mer på hverandre enn de andre, fordi de dekker et bredt spekter av sektorer. De fire bredeste testene er de fra 2005, 2007, 2013 og 2016.

Poeng

Poengskalaen som er brukt, strekker seg fra 0–100 poeng, der 100 er best. Totalresultatet for de åtte testene er et vektet gjennomsnitt av totalresultatene for hver enkelt av de forskjellige års tester. Vektene som er brukt er størrelsen på hver test målt i antall testede element. Totalt er det testet opp til 281 testelementer i de åtte kommunetestene.

Kommunene er testet innenfor det vi kaller sju tjenestesektorer, og under disse sju et mer detaljert nivå med til sammen 16 underkategorier. Dette får du fram ved å klikke på plusstegnet ved hver sektor under hver kommunes poengoppsett.

Poengsummen for hver av de sju tjenestesektorene er bygget opp på samme måte som totalpoengsummen. Altså et vektet gjennomsnitt av scoren på sektoren det enkelte år dette er testet, der vektene er antall ganger sektoren er testet.

Totalresultatet i denne sammenstillingen av testene er altså resultatet av totalresultat hvert år. Det er med andre ord ikke direkte resultat av poengsummen for de tjenestesektorene og lar seg derfor heller ikke kontrollregne på bakgrunn av det presenterte tallmaterialet.

Framgangsmåte

Metode er det som kalles mystery shopping – i våre tilfeller mystery calling, mystery mailing og nettsjekk.

Testmedarbeidere har utgitt seg for å være privatpersoner og deretter henvendt seg til samtlige kommuner i Norge på e-post, telefon og via kommunenes nettsider. Vi har sendt flere separate e-poster, og ringt mange telefonsamtaler til hver kommune. I tillegg har vi lett etter mer enn 100 forskjellige informasjonselement på hver kommunes nettsider.

Til sammen er de 428 kommunene i Norge, samt Oslo kommune med sine 15 bydeler, testet på rundt 100 000 punkter.

I Oslo kommune har vi testet bydelene på felt som er bydelenes ansvarsområde, og Oslo kommunes sentralorganisasjon på felt som ikke hører inn under bydelene. Alle Oslo-resultat presenteres som resultat for Oslo kommune og ikke på bydelsnivå.

Testperiode

Testen er utført innenfor perioder på et par måneder i de årene testene er gjort. Vi har testet service, tilgjengelighet og informasjonskvalitet. Vi har ikke testet selve tjenestenes kvalitet.

Forbrukerrådet har henvendt seg til kommunene med spørsmål som vi mener folk flest kan lure på, som prisinformasjon om skolefritidsordningen, saksbehandlingstid for byggesak og åpningstider i svømmehallen.

I kontakt med kommunene har vi fremstått som innbyggere eller slektninger/venner til innbyggere.

Telefonspørsmål

Vi går systematisk til verks for å spørre så likt som mulig og redusere det subjektive element. Telefonistene har manuskript for telefonsamtalene og klare instrukser for hva som må registreres for evaluering.

Dersom vi ikke har fått svar på første forsøk, har vi ringt tilbake ytterligere en gang. Telefonene er tatt fra private telefonnummer og i normal kontortid (09.30–15.00). Hver samtale har ett tema, men flere spørsmål innenfor temaet. Der vi ikke har fått kontakt med kommunen, har kommunen ikke scoret poeng på telefondelen av undersøkelsen. Vi vurderer både svartid og innholdet i svaret.

E-postspørsmål

Det er sendt ut e-poster fra private e-postadresser. Hvert år fra drøyt 20 personnavn. Vi fordeler navnene slik at vi unngår at nabokommuner som kanskje samarbeider får like e-poster fra samme person. Hver e-post har ett tema, men flere spørsmål knyttet til temaet.

Vi vurderer både svartid og svarinnhold. Dersom e-posten ikke er besvart innen fem virkedager, får kommunen ikke poeng for svartid. Likevel legger vi vekt på svarkvalitet dersom svaret kommer innen 10 virkedager. Svar etter 10 virkedager gir ingen poeng. I noen av de tidlige kommunetestene har vi vært strengere med hensyn til å vurdere innholdet i sene svar.

Internettsjekk

På hver kommunes nettsider er det lett etter informasjonselement fra forskjellige tjenestesektorer. Vi har tillatt oss å lete etter hvert informasjonselement i ca. 2 minutter. Hver nettside har blitt sjekket to ganger, én gang ved å bruke menyvalg, og én gang ved å søke etter informasjon på siden. Har vi ikke funnet informasjonen da, anser vi den som for vanskelig å finne, og gir ikke poeng. Det er likevel mulig at kommunen har informasjonen på sin side, og at vi ikke fant den. Det anser vi som for lite publikumsvennlig.

Hvem gjør hva

Kommunetestene er utarbeidet av Forbrukerrådets faggruppe for offentlige tjenester og Forbrukerrådets fakta- og analysegruppe. Undersøkelsene har i noen tilfeller vært gjennomført av innleide firma på vegne av Forbrukerrådet, i andre tilfeller ansatte i Forbrukerrådet. Resultatene er i alle tilfeller analysert og vektet av Forbrukerrådet.