Översyn av Riksrevisionen - slutbetänkande, del 2
Utredning från Riksdagsförvaltningen 2017/18:URF2
Översyn av Riksrevisionen – slutbetänkande
Bilagor
ISSN 1653-0942 978-91-88607-20-1 Riksdagstryckeriet, Stockholm, 2017
2017/18:URF2
Innehållsförteckning | |
Om effektivitetsrevisionens inriktning och kvalitet........... | .............................5 |
Nils Hertting | |
Riksrevisionens uppföljningsrapporter.......................................................... | 31 |
Lars-Göran Gustafsson | |
Effektivitetsrevision – förväntningar och identitet ........................................ | 59 |
Jan-Eric Furubo |
3
2017/18:URF2
BILAGA 1
Av Nils Hertting
Om effektivitetsrevisionens inriktning och kvalitet
5
2017/18:URF2 | BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET | |||
Innehållsförteckning | ||||
Sammanfattning.............................................................................................. | 7 | |||
1 | Inledning..................................................................................................... | 8 | ||
2 | Effektivitetsrevisionens inriktning och syften .......................................... | 10 | ||
2.1 | Har effektivitetsrevisionens inriktning förändrats över tid? ................ | 10 | ||
2.2 | Otydlighetens pedagogiska och metodologiska konsekvenser ............ | 12 | ||
2.3 | Granskning av ”förutsättningar för”.................................................... | 13 | ||
3 Granskningsdesign och metod.................................................................. | 15 | |||
3.1 | Bedömningsnormer ............................................................................. | 15 | ||
4 | Analys, slutsatser och rekommendationer................................................. | 17 | ||
4.1 | Utsagor om aktörers föreställningar om orsaker.................................. | 17 | ||
4.2 | Integrerade rekommendationer och reflektion om styrkor och | |||
svagheter .................................................................................................... | 18 | |||
5 | Om problemens orsaker och effektivitetsrevisionens dilemma(n)............ | 20 | ||
5.1 | Otydlighetens orsaker.......................................................................... | 20 | ||
5.2 | Försvårar Riksrevisionens uppdrag en god | |||
effektivitetsrevision? .................................................................................. | 21 | |||
5.3 | Försvårar Riksrevisionens organisation en god | |||
effektivitetsrevision? .................................................................................. | 22 | |||
5.4 | Försvårar kompetensbrist inom Riksrevisionen en god | |||
effektivitetsrevision? .................................................................................. | 23 | |||
Referenser..................................................................................................... | 24 | |||
Bilaga 1 Granskade effektivitetsrevisioner................................................... | 25 | |||
Bilaga 2 Bedömningskriterier för Vetenskapliga rådets synpunkter på | ||||
effektivitetsrevisionens rapporter.................................................................. | 27 |
6
BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET | 2017/18:URF2 |
Sammanfattning
Den här rapporten sammanfattar de kvalitetsbedömningar av Riksrevisionens effektivitetsrevision som forskare vid Uppsala universitets samhällsvetenskapliga fakultet genomfört mellan 2009 och 2016. I rapporten konstateras att forskargruppernas budskap i viss mån har varit tvetydigt. Å ena sidan har man bedömt Riksrevisionens rapporter som i stort sett trovärdiga. Sällan har man funnit starka skäl att betvivla de huvudsakliga slutsatserna i effektivitetsrevisionens rapporter. Å andra sidan har forskarna återkommit med kritik och invändningar på en rad centrala punkter, såsom undersökningsuppläggning, analys, belägg, slutsatser och rekommendationer. Forskargruppen har också konstaterat att kvaliteten på Riksrevisionens effektivitetsrevisioner varierat ganska betydligt.
Forskarnas grundläggande kritik handlar om bristande tydlighet. Riksrevisionens slutsatser förefaller förvisso ofta rimliga och förnuftiga, men det är inte alltid uppenbart hur man kommit fram till dem. Enligt forskarna ter sig slutsatserna inte sällan mer intuitiva än välbelagda och mer ”common senseartade” än utmanande. Kort sagt har det inte funnits skäl att betvivla effektivitetsgranskningarnas budskap, men rapporterna har heller inte tillfört så mycket mer än vad vi redan visste. Det är viktigt att understryka att denna övergripande slutsats gäller oavsett om granskningarna haft en kvantitativ eller kvalitativ karaktär, samt att den har varit återkommande över tid och oberoende av forskargruppens konkreta sammansättning.
I rapporten sammanfattas och i viss mån utvecklas Uppsalaforskarnas analys och bedömning av effektivitetsrevisionens karaktär och kvalitet under följande rubriker:
•effektivitetsrevisionens syfte och inriktning
•effektivitetsrevisionens design och analys
•effektivitetsrevisionens slutsatser och rekommendationer.
I rapportens avslutande del diskuteras några möjliga förklaringar till effektivitetsrevisionens kvalitetsproblem och möjliga lösningar till dessa.
7
2017/18:URF2 | BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET | |
1 Inledning | ||
Att studera effektivitet i statlig verksamhet är en viktig uppgift. Närmare be- | ||
stämt är det viktigt utifrån åtminstone två perspektiv. Staten kan ses som ett | ||
sätt att organisera delar av samhället som bättre än alternativen producerar väl- | ||
färd och välmåga. Vi kan kalla det för ett välfärdsperspektiv på staten. Staten | ||
legitimeras utifrån ett sådant perspektiv genom sin förmåga att svara mot med- | ||
borgarnas behov bättre än t.ex. marknaden eller familjen. Den tyske samhälls- | ||
vetaren Fritz Scharpf kallar detta för ”output-legitimitet”. En effektivitetsre- | ||
visions uppgift blir ur ett sådant perspektiv att undersöka om staten fungerar | ||
effektivt för att producera välfärd och samhällsnytta. Kanske kan man säga att | ||
detta är nationalekonomins syn på effektivitetsrevision. Effektivitetsproblem i | ||
statlig verksamhet blir ett välfärdsproblem. | ||
Men statens verksamhet kan också betraktas ur ett demokratiperspektiv. | ||
Statens verksamhet betraktas då som en länk i den demokratiska styrningsked- | ||
jan och som ett instrument för att realisera folkviljan. Med Scharpfs termino- | ||
logi följer statens legitimitet av den ”input” som medborgarna skickar i form | ||
av demokratiska val och valda representanter. En effektivitetsrevision handlar | ||
ur ett sådant demokratiperspektiv om att undersöka om statens verksamheter | ||
är effektiva för att implementera det som de folkvalda representanterna beslu- | ||
tat om – må det röra sig om långsiktiga effekter ”ute i samhället” eller priori- | ||
teringar rörande verksamhetsformer och procedurer. Kanske kan man säga att | ||
detta är statsvetenskapens syn på effektivitetsrevision. Effektivitetsproblem i | ||
staten blir ett demokratiproblem. | ||
Effektivitetsrevision är inte bara viktigt. Effektivitetsrevision är också | ||
svårt. Som denna rapport kommer att visa ställs effektivitetsrevisionen inför | ||
några av samhällsvetenskapens mest grundläggande utmaningar, men utan att | ||
ha forskarens möjligheter att helt anpassa frågeställningarna efter befintliga | ||
teorier, metoder och data. Det handlar om hur man undersöker effekter och | ||
orsakssamband, men också om hur man urskiljer och tillämpar normativa be- | ||
dömningsgrunder. | ||
Sedan 2009 har forskare vid samhällsvetenskapliga fakulteten vid Uppsala | ||
universitet genomfört kvalitetsbedömningar av Riksrevisionens effektivitets- | ||
granskningar. Sammantaget har ett 50-tal rapporter från 2009, 2010, 2011, | ||
2014 och 2015 granskats. Arbetet har i stort sett följt samma grundupplägg- | ||
ning. En mångdisciplinär granskningsgrupp av forskare med omfattande erfa- | ||
renhet av forskning, handledning och examination har satts samman. Genom | ||
åren har forskargruppens sammansättning varierat. Representerade discipliner | ||
har varit: ekonomisk historia, företagsekonomi, kulturgeografi, nationaleko- | ||
nomi och statsvetenskap.1 Gruppen har därefter läst ett urval om cirka tio av | ||
1 Följande personer har någon gång medverkat: Matz Dahlberg (nationalekonomi), Maria | ||
Heimer (statsvetenskap), Nils Hertting (statsvetenskap), Sven Jungerhem (företagsekonomi), | ||
8 |
BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
Riksrevisionens omkring 30 effektivitetsgranskningar per år (se bilaga 1).Ur- valet av granskningar har gjorts genom ett slumpmässigt urval. Varje granskningsrapport har därefter lästs och bedömts av minst två forskare. Bedömningarna har gjorts utifrån de kvalitetskriterier som Riksrevisionens vetenskapliga råd tagit fram (se bilaga 2) och forskargruppens arbete har inletts med ett ”kalibrerande” seminarium där kriterierna diskuterats samt tidigare iakttagelser och bedömningar har gåtts igenom. Riksrevisionens effektivitetsrapporter har därefter analyserats och diskuterats vid minst fyra seminarieliknande sammankomster. Mot denna bakgrund har forskargruppen granskat kvaliteten i rapporterna och identifierat brister och förbättringsområden i granskningarnas upplägg, inriktning, metodval etc. samt eventuella förbättringsområden. Under senare år har vi också försökt bedöma förändring i kvaliteten jämfört med tidigare kvalitetsbedömningar.
I denna rapport sammanfattas Uppsala universitets iakttagelser. Syftet är att summera och i viss mån utveckla forskargruppernas iakttagelser och resonemang om karaktären och kvaliteten på Riksrevisionens effektivitetsrevision, samt hur denna utvecklats över tid. Forskargruppens iakttagelser kopplas här också till andra studier av effektivitetsrevision (eller ”performance audit”, som den engelska benämningen brukar vara) i andra länder.2
Iakttagelserna och resonemangen organiseras utifrån Riksrevisionens egna kvalitetskriterier och en tänkt undersökningslogik där effektivitetsrevisionens inriktning och syfte vägleder granskningsdesign och analys och där analysen ligger till grund för slutsatser och rekommendationer. I rapportens avslutande del förs en diskussion om potentiella förklaringar och lösningar på iakttagna problem som är återkommande.
Mats Larsson (ekonomisk historia), Sofia Murhem (ekonomisk historia), Arne Sjöholm (företagsekonomi), Susanne Stenbacka (kulturgeografi), Bo Söderberg (nationalekonomi) och Sture Öberg (kulturgeografi). Författaren till föreliggande rapport, Nils Hertting, är den ende som medverkat samtliga år och har under de senaste åren samordnat arbetet.
2 För rapportens innehåll ansvarar författaren. I den löpande texten markeras på olika sätt vad som är Uppsalaforskarnas iakttagelser och slutsatser och vad som är författarens egna analyser och resonemang.
2017/18:URF2
9
2017/18:URF2 BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
2 Effektivitetsrevisionens inriktning och syften
Det går inte att hitta kurser i effektivitetsrevision vid svenska universitet, och den metodologiska litteratur som explicit handlar om effektivitetsrevision är mycket begränsad. Talande är att den lilla akademiska litteratur som faktiskt finns i hög grad handlar om att förstå vad effektivitetsrevision egentligen är, och vilka syften och roller som institutioner som säger sig ägna sig åt effektivitetsrevision ålagts eller tagit på sig.3 Redan detta förhållande antyder att det ingalunda är självklart vad effektivitetsrevisionen närmare bestämt handlar om.
I den svenska debatten har buden om effektivitetsrevisionens inriktning också varit flera och varierat över tid.4 När riksrevisionsreformen följdes upp 2009 riktades kritik mot att effektivitetsrevisionen haft ett alltför legalistiskt fokus mot att kontrollera vad som kom att kallas ”regelefterlevnad”. Med hänvisning till en studie genomförd av en forskargrupp vid Stockholms universitet (jfr Grönlund 2011) menade kritikerna att Riksrevisionen ägnade sig för lite åt att studera om den förda politiken faktiskt åstadkom de effekter som önskades och förväntades ”ute i samhället”. Vidare menade man att effektivitetsrevisionen bara i begränsad omfattning tog hänsyn till kostnaderna för de granskade verksamheterna och att den därtill hade för liten inriktning mot att främja förändringsarbete.5 Utredningen efterlyste ”breda granskningar i väsentliga samhällsfrågor”, och i en justerad formulering i lagen (2002:1022) om revision av statlig verksamhet m.m. heter det numer att effektivitetsrevisionens huvudinriktning ska vara ”granskning av hushållning, resursutnyttjande, måluppfyllelse och samhällsnytta”. I samma lag föreskrivs att granskningen främst ska ta sikte på ”förhållanden med anknytning till statens budget, genomförandet och resultatet av statlig verksamhet och åtaganden i övrigt men får också avse de statliga insatserna i allmänhet”.
2.1 Har effektivitetsrevisionens inriktning förändrats över tid?
Uppsala universitets granskningar har haft två typer av synpunkter när det gäller inriktningen på och syftena med Riksrevisionens effektivitetsrevisioner. Den första har gällt inriktningen och den andra tydligheten.
I Grönlunds m.fl. studie på uppdrag av 2008 års riksrevisionsutredning konstaterar man att en mycket stor andel av effektivitetsrevisionerna mellan 2003
3 Se t.ex. Kells 2011, Tillema & ter Bogt 2010, Grönlund m.fl. 2011; se också Pollitt & Summa 1991.
4 Se t.ex. Ahlbäck Öberg & Bringselius 2015.
5 Slutbetänkande från Riksrevisionsutredningen (2008/09:URF3).
10
BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
och 2007 hade ett starkt fokus på att studera ”regelefterlevnad” (eller ”compliance”) snarare än att granska ekonomi, produktivitet, måluppfyllelse eller effekter ur ett bredare samhällsekonomiskt perspektiv (Grönlund m.fl. 2009). Iakttagelsen ligger i linje med vad tidigare internationell forskning har observerat:
Although most SAIs now state formally that they are investigating the ”3Es”—economy, efficiency and effectiveness—our analysis of reports indicated that true effectiveness (outcome) studies were fairly rare (Pollitt 2003:160).
Uppsala universitets iakttagelser har visat på både likheter och olikheter (se tabell 1). Å ena sidan har vi i likhet med Grönlund m.fl. noterat ett starkt fokus på att undersöka processer och verksamheter snarare än att analysera långsiktiga utfall som (kausala) effekter av statlig verksamhet ”ute i samhället” (minskad arbetslöshet, minskad klimatpåverkan, minskad social och etnisk segregation, återfall i brott etc.). Å andra sidan menar Uppsalaforskarna – till skillnad från Grönvall m.fl. – att det också har varit relativt ovanligt med granskningar som studerat regelefterlevnad i strikt mening. Som jag återkommer till nedan har Uppsalaforskarna vid flera tillfällen rest frågan om ett fokus på processer och verksamheter kan ha andra syften än att granska regelefterlevnad. En tolkning som lanserats är att Riksrevisionens processorienterade granskningar kan ses som försök att följa (den kausala) processen mellan en statlig verksamhet och styrstrategi å ena sidan och dess avsedda effekter å den andra.
Tabell 1: Inriktningens utveckling över tid
2003–2008 (Grönlund m.fl.) | 2009–2015 (Hertting m.fl.) |
vanligt med fokus på regelefterlevande vanligt med ”administrativa granskningar”
ovanligt med fokus på samhällseffekter fokus på kontroll och ansvarsutkrävande ovanligt med fokus på kostnadsaspekter
ovanligt med fokus på regelefterlevande
vanligt med processtudier (”förutsättningar för”)
ovanligt med fokus på samhällseffekter ökat fokus på främjande
vanligare att kostnadsaspekter berörs men fortfarande osystematiskt
Två saker bör här påpekas. För det första har Uppsala universitets studier inte primärt syftat till att kategorisera effektivitetsrevisionens typ av granskningar. Uppsalaforskarna har därför inte heller haft samma utvecklade begreppsapparat för att beskriva granskningarnas inriktning som Grönvall m.fl. Detta innebär t.ex. att det är lite oklart hur det Uppsalaforskarna kallar ”processtudier” skiljer sig från det Grönvall m.fl. kallar ”administrativa granskningar”. Även om slutsatserna om förekomsten av regelefterlevandestudier ter sig säker bör jämförelsen i tabell 1 därför läsas som en ganska grovskalig indikation på utvecklingen.
För det andra bör det understrykas att det här inte ligger någon värdering av inriktningen på effektivitetsrevisionen. I Uppsalaforskarnas rapporter har både risker och möjligheter med att prioritera utfallsorienterade effektanalyser
2017/18:URF2
11
2017/18:URF2 | BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET |
diskuterats. Allt annat lika är det svårare att belägga orsakssamband ju längre | |
och mer komplex kedjan mellan den statliga verksamheten och de intressanta | |
effekterna antas vara. I synnerhet gäller detta om effektivitetsrevisionen ska | |
göra ”breda granskningar i väsentliga samhällsfrågor”. Det är kort sagt inte | |
någon enkel sak att kombinera ”bredd och djup” på det vis som Riksrevisions- | |
utredningen efterlyser.6 Försiktighet med anspråk på att uttala sig om långsik- | |
tiga samhällseffekter kan utifrån ett sådant resonemang förstås. | |
Talande är också att de effektivitetsgranskningar som bäst lyckas belägga | |
orsakssamband mellan statliga insatser och samhällseffekter rimligen kan be- | |
skrivas som mer djupa än breda. Det handlar om effektstudier av enskilda styr- | |
medel inom ramen för bredare reformer snarare än reformerna som sådana. | |
Styrkan i denna typ av granskningar är att de möjliggör precisa skattningar av | |
utfallseffekter; risken är att en sådan effektivitetsrevision ger en begränsad | |
förståelse av politikens bredare sammanhang och orsakssamband i styrnings- | |
kedjans initiala faser.7 Jag återkommer nedan till frågan om alternativa meto- | |
der vid effektivitetsrevision. |
2.2 Otydlighetens pedagogiska och metodologiska konsekvenser
En tydlig problembeskrivning hjälper läsaren att förstå men är också en förutsättning för granskarens möjligheter att avgränsa en eller flera frågeställningar, välja granskningsdesign, genomföra analysen och dra slutsatser. Tydlighet är en pedagogisk såväl som metodologisk dygd. Många problem kan undvikas genom en väl genomtänkt problemställning och undersökningsfråga. Detta gäller inte minst när frågorna handlar om så komplexa processer som effektiviteten i offentlig politik. Poängen är att syfte och frågeställning är nära kopplade till frågor om metod, material, analys och slutsatser. I Riksrevisionens vetenskapliga råds kvalitetskriterier heter det sålunda att effektivitetsrevisionens frågor ska vara formulerade så att de kan ”besvaras med hög grad av tillförlitlighet och precision” (se bilaga 2).
På denna punkt har Uppsalaforskarna återkommit med kritik. Forskarna menar att Riksrevisionens syften och revisionsfrågor ofta är för många eller för allmänna. Man har tolkat detta som uttryck för Riksrevisionens vilja att ta ett brett helhetsgrepp om de studerade styrsystemen och verksamheterna, men samtidigt påpekat att det är en ambition som riskerar att skapa metodologiska och analytiska problem. Ofokuserade frågeställningar gagnar sällan analytisk systematik. Det innebär ofta omfattande material, många delstudier och höga krav på rapportförfattarnas förmåga att redogöra för hur delarna hänger ihop och informerar varandra. Uppsalaforskarna menar att denna systematik inte
6 I den internationella litteraturen har det hävdats att nationella effektivitetsrevisionsorgan prioriterar att ägna sig åt att studera regelefterlevnad (compliance) snarare än samhällseffekter därför att det senare uppfattas som för svårt (se Kells 2011).
7 Medan problemet med den senare typen av studier alltså är att de sällan på ett övertygande vis lyckas koppla dessa initiala steg i styrningskedjan (strategier, handläggning, myndighetsbeslut) till utfall i samhället (arbetslöshet, återfall i brott, klimatpåverkan etc.).
12
BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
alltid är enkel att se. Som läsare måste man anstränga sig och vara ganska generös för att förstå hur syften, revisionsfrågor, undersökningar och slutsatser hänger ihop. Som en följd förloras inte bara pedagogik utan också metodologisk trovärdighet.
2.3 Granskning av ”förutsättningar för”
I flera rapporter har Uppsalaforskarna uppmärksammat och återkommit till en typ av granskningar som syftar till att undersöka ”förutsättningarna för” att t.ex. bedriva ett effektivt eller ändamålsenligt arbete med en fråga. Forskargruppen har diskuterat den egentliga innebörden av denna typ av granskningar. I somliga fall har vi här tyckt oss ana en ganska rimlig och sofistikerad undersökningslogik. Utifrån en idé eller teori om förutsättningarna för en effektiv implementering av politikens mål undersöks om dessa förutsättningar skapats. Om riksdagens beslut bygger på en föreställning om att ökad samverkan mellan stat och civilt samhälle är ett nödvändigt led för att förbättra integrationen av nyanlända kan man undersöka om berörda myndigheter har förmått skapa gynnsamma villkor för sådan samverkan. Är dessa ”processvillkor” inte uppfyllda kan man dra slutsatsen att den förda politiken rimligen inte heller kunnat leda till de eftersträvade samhällseffekterna – åtminstone inte på det sätt det var tänkt. Man skulle kunna kalla det för en granskning av ”förutsättningar för avsedda effekter”. I utvärderingslitteraturen finns liknande tankar under rubriker som ”teoribaserad utvärdering” eller utvärdering med hjälp av ”programteori” (Vedung 2009).8
En variant av denna typ av design skulle kunna beskrivas som granskning av ”förutsättningar för god statlig verksamhet”. I detta fall blir kopplingen till effekter i samhället än mer indirekt. Istället för att utgå från en teori om hur just den granskade insatsen eller verksamheten är tänkt att rendera tänkta effekter utgår man här ifrån en mer generell idé om vad som kännetecknar en välfungerande statlig verksamhet, t.ex. att statens styrning är tydlig, att handläggning av ärenden följer fastlagda regler eller att samverkan fungerar när det behövs.
Forskargruppen vid Uppsala universitet menar att Riksrevisionens syfte här tycks vara något annat än att studera regelefterlevnad. Detta är viktigt. Ett fokus på processer utesluter inte en ambition om att uttala sig om effekter och är ingalunda per definition en fråga om ”compliance”. Som berörs ytterligare nedan är emellertid idén och tanken bakom granskningarna av ”förutsättningar
8 Med samhällsvetenskaplig metodvokabulär kan man också säga att denna typ av granskningar lägger fokus på att spåra de kausala mekanismerna mellan insatser och effekter i styrningskedjan. Sådana mekanismer finns av olika slag i olika skeden av interventionsprocessen. I tidiga skeden handlar de om styrstrategier i regering och centrala myndigheter, organisering och implementering. I senare skeden om reaktioner och beteendeförändringar hos politikens adressater (t.ex. minskad bilanvändning) och för vissa typer av politik också mer naturvetenskapliga processer (t.ex. betydelsen av minskade koloxidutsläpp för den globala uppvärmningen). ”Förutsättningarna för” i Riksrevisionens granskningar handlar oftast om relativt tidiga skeden i styrningsprocessen.
2017/18:URF2
13
2017/18:URF2 | BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET |
för” alltför ofta för outvecklad, och forskargruppen har efterlyst tydliggöran- | |
den av tanken bakom denna typ av effektivitetsrevisioner. |
14
BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET | 2017/18:URF2 |
3 Granskningsdesign och metod
Det finns inga perfekta metoder eller metodologiska uppläggningar för att studera statliga verksamheters effektivitet, och det finns inga enkla mallar som alltid går att ta till och tillämpa. Utgångspunkten kan tyckas resignerad, men den har sina poänger. Den understryker att valda uppläggningar av och metoder för effektivitetsrevision kräver eftertanke och argument. En effektivitetsgranskning måste designas utifrån omständigheterna i varje enskilt fall, och olika metoder har olika styrkor och svagheter.
Avsaknaden av perfekta metoder och enkla mallar betyder förstås inte att vad som helst går an. Effektivitetsrevision är inte vilka bedömningar som helst. Det är bedömningar som gör anspråk på systematik. För systematikens skull är en medveten och tydlig granskningsdesign avgörande: Hur ska olika material och delstudier ge trovärdiga svar på granskningsfrågorna? Detta är, som forskargruppen tolkar det, också andemeningen i Riksrevisionens vetenskapliga råds kriterier om metoder för faktainsamling och bedömning: Metoderna ska vara lämpliga i förhållande till syftet och beskrivna på ett begripligt sätt (se bilaga 2).
En återkommande iakttagelse i Uppsalaforskarnas rapporter har emellertid handlat om balansen mellan den vikt som läggs på insamling av data och den vikt som läggs på granskningarnas systematiska uppläggning och design. Man menar att metodbeskrivningarna sällan är tillräckliga för att man som läsare ska förstå varför just den eller de metoderna valts, varför ingen annan metod valts och på vilket sätt den valda metoden på ett bra sätt besvarar den eller de uppställda frågorna. Kort sagt menar forskargrupperna att steget till datainsamling (se nedan) ofta tycks gå väl fort.
Frågor om granskningsdesign och metod är svåra – i synnerhet när komplexa fenomen som statliga verksamheter ska kopplas till samhällseffekter. I den enkätundersökning som forskargruppen genomförde 2012 var också design och analys de moment som Riksrevisionens medarbetare tyckte var svårast. Just därför bör de också ägnas mycket tid och energi. Uppsalaforskarna har här tyckt sig se behov av en omprioritering. Mycket material och data är visserligen bra, men bara om det finns en tydlig struktur genom vilken dessa kan analyseras.
3.1 Bedömningsnormer
Att en genomförandeprocess beskrivits eller en kausal effekt av en reform systematiskt belagts inom ramen för en väl vald granskningsdesign innebär i sig inte någon effektivitetsrevision. Det är en sak att studera konsekvenserna av ett riksdagsbeslut, en annan sak att värdera dessa konsekvenser. En effektivitetsrevision tarvar systematik i bägge avseenden. För bedömning behövs en norm och ett kriterium för vad som är att betrakta som ”bra”. Det behövs
15
2017/18:URF2 | BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET | |
”måttstockar”. Sådana måttstockar och kriterier är inte självklara utan måste | ||
väljas och specificeras. Utifrån en måttstock kan en statlig verksamhet vara | ||
framgångsrik, utifrån en annan vara gravt bristfällig. Otydlighet om vilka kri- | ||
terier som faktiskt har tillämpats underminerar därmed granskningarnas trans- | ||
parens och trovärdighet. Enligt Riksrevisionens vetenskapliga råds kriterier | ||
måste därför de grunder som den granskade verksamheten bedöms gentemot | ||
vara väl beskrivna (se bilaga 2). | ||
I Uppsala universitets granskningar har forskarna funnit att kvaliteten i | ||
Riksrevisionens rapporter varierar i detta avseende. Återigen handlar kritiken | ||
om bristande tydlighet och transparens. Inte sällan radas flera olika bedöm- | ||
ningsnormer upp, utan att man som läsare förstår hur de relateras och priorite- | ||
ras i förhållande till varandra. I något exempel finns åtminstone femton olika | ||
bedömningskriterier. I sig är det inte felaktigt. Väl genomförda kan gransk- | ||
ningar utifrån många olika bedömningsgrunder ge mer nyanserade beslutsun- | ||
derlag. Det ställer emellertid höga krav på pedagogik och systematik – inte | ||
bara i inledningen av rapporten utan framförallt i slutet när processer, insatser | ||
och/eller effekter ska värderas. Det finns exempel på goda utredningar av vad | ||
som är en rimlig tolkning av vad måluppfyllelse av riksdagens beslut skulle | ||
innebära, men där det inte är lika tydligt hur dessa kriterier sedan har tilläm- | ||
pats. Inte sällan får läsaren själv försöka lista ut vilken bedömningsnorm som | ||
legat till grund för slutsatserna. Som en följd blir det svårt att se varifrån slut- | ||
satserna kommer. Om kriterierna är för oklara kan i stort sett vad som helst | ||
betraktas som en framgång eller ett misslyckande. | ||
Man kan tycka att denna fråga inte bör vara problematisk i effektivitetsre- | ||
vision. Effektivitetskriteriet ligger i själva benämningen på verksamheten. Det | ||
handlar om att bedöma om den statliga verksamheten bedrivs på ett effektivt | ||
sätt. Men effektivitetskriteriet kan ta sig många varianter och tillämpas i olika | ||
skeden av genomförandekedjan och på olika nivåer av den offentliga sektorn. | ||
Man kan t.ex. välja att bedöma effektiviteten i forskningspolitiken genom att | ||
bedöma om universitet och högskolor förmår omvandla sina anslag till forsk- | ||
ning och forskningsmånader (produktivitet). Man kan också bedöma effekti- | ||
viteten i termer av forskningens kvalitet eller för all del samhällsrelevans och | ||
nytta. Detta är tre olika sätt att se på effektivitet. Inget kan sägas vara mer rätt | ||
än något annat, och samma lärosäte kan mycket väl vara framgångsrikt utifrån | ||
en av bedömningsnormerna men prestera ganska dåligt utifrån en annan. Det | ||
är närmast självklart. Syftet här är bara att illustrera varför tillämpning av be- | ||
dömningsnormer kräver tydlighet.9 | ||
9 Noga taget handlar frågan om bedömningskriterier om ställningstaganden i två frågor. Den | ||
mest grundläggande handlar om vilken måttstock som ska användas när politikens värde be- | ||
döms. I utvärderingsläran finns många bud på vad som är lämpliga måttstockar (t.ex. målre- | ||
alisering, produktivitet, brukarnöjdhet). Den andra frågan handlar om vid vilket värde på den | ||
valda måttstocken något anses bra eller dåligt. Hur produktiv ska verksamheten vara för att | ||
den ska anses bra? Hur hög ska graden av målrealisering vara för att inte anses otillräcklig? | ||
För att en granskning ska anses vara systematisk och transparent måste den också ha ett | ||
gränsvärde för vad som ska anses vara tillräckligt högt för att anses ”bra”. | ||
16 |
BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET | 2017/18:URF2 |
4 Analys, slutsatser och rekommendationer
Enligt Riksrevisionens vetenskapliga råd kännetecknas en bra effektivitetsrevision av att det finns ett ”gott faktaunderlag” som är ”relevant för att besvara revisionsfrågorna” och att detta faktaunderlag har analyserats på ett ”korrekt sätt”. Därtill ska slutsatserna vara ”väl underbyggda och följa av de uppgifter som framkommit i granskningen”, och rekommendationerna ska ”följa logiskt av empiri och slutsatser”. (Se bilaga 2.)
En av de första iakttagelserna som gjordes i Uppsala universitets granskningar av effektivitetsrevisionen var mängden information och data. Det rika källmaterialet är en av de största förtjänsterna med Riksrevisionens rapporter. Riksrevisionens konstitutionella position innebär att den har god access till data. Samtidigt talar data sällan för sig själv (och när de gör det är det sällan om något intressant). Som redan berörts måste data och material analyseras för att bli till svar på revisionsfrågor, och analyseras utifrån en tydlig design och struktur för att bli till transparenta analyser och trovärdiga svar. Också här har Uppsalaforskarna framfört invändningar.
Inte minst Riksrevisionens insamling och analys av intervju- och enkätdata har varit föremål för diskussion i forskargruppen. En återkommande iakttagelse har t.ex. varit att det ofta är oklart vilka tjänstemän på vilken typ av positioner inom en myndighet som har besvarat en enkät. Samma problematik gäller flera intervjuundersökningar. Vem informationen kommer från saknas i princip i samtliga rapporter som forskargruppen har bedömt. För källkritik men också tolkning av materialet är denna information avgörande. Det säger sig självt att personer på olika positioner kan ha olika bilder av myndighetens verksamhet, men också olika intressen i hur verksamheten framställs. Rapporternas trovärdighet, menar forskargruppen, vinner på att denna typ av frågor lyfts fram och problematiseras. Så är idag sällan fallet.
På ett liknande vis har forskargruppen konstaterat att det är ovanligt att Riksrevisionen tar upp motsägelsefull information i ett material, eller att kopplingar mellan olika uppgifter från samma uppgiftslämnare synliggörs. Inte minst i ljuset av hur viktiga intervjuer och enkäter är för Riksrevisionens slutsatser är detta anmärkningsvärt. Uppsalaforskarnas slutsats är tudelad: Å ena sidan har man lyft fram källkritiska problem med de iakttagna intervju- och enkätmetoderna; å andra sidan ser man underutnyttjade möjligheter att stärka analys och slutsatser och att problematisera redan befintliga bilder av de studerade verksamheterna.
4.1 Utsagor om aktörers föreställningar om orsaker
Det finns här skäl att särskilt lyfta fram en observation som forskargruppen återkommit till flera gånger: utsagor om orsaker och utsagor om aktörers föreställningar om orsaker. En del rapporter från Riksrevisionen har karaktären
17
2017/18:URF2 | BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET |
av ”ihopsamlade bilder av verksamheten”. Det kan handla om aktörers bilder | |
av både processer, handlingar och effekter. Forskargruppen har här inte fram- | |
fört någon kritik mot metoden som sådan. Ibland är detta kanske det bästa man | |
kan göra. I linje med kritiken överlag handlar det grundläggande problemet | |
istället om hur metoden och analysen presenteras. Finns det någon mer utveck- | |
lad tanke bakom denna analytiska praktik, och hur ser den i så fall ut? Upp- | |
salaforskarna har föreslagit att man kan tänka sig denna typ av granskningar i | |
åtminstone två varianter: I den enkla varianten samlar Riksrevisionen ihop | |
olika bilder och redogör för dem utan att själva göra någon egentlig analys. | |
Det viktiga är då att så väl som möjligt återge respektive aktörs bild av eller | |
berättelse om den granskade verksamheten. I den andra varianten prövas de | |
olika bilderna i syfte att Riksrevisionen självständigt ska kunna ta ställning. | |
Problemet är, menar forskarna, att Riksrevisionens praktik tycks hamna nå- | |
gonstans mittemellan dessa logiker och att det följaktligen blir svårt att följa | |
analysen och se grunderna för slutsatserna. |
4.2 Integrerade rekommendationer och reflektion om styrkor och svagheter
Som en konsekvens av prioriteringen av bred datainsamling framför en tydlig granskningsdesign följer enligt forskargruppen inte sällan brist på precision och skärpa i slutsatserna. Slutsatserna blir ofta bekräftande och får karaktären av intuitivt sunt förnuft. De är sällan överraskande eller kontroversiella utan bekräftar snarare utgångspunkterna för granskningen, eller ett mer generellt förvaltningspolitiskt mantra (t.ex. att regeringens styrning bör tydliggöras). På så vis kan Riksrevisionens slutsatser också vara trovärdiga – eller åtminstone inte otrovärdiga – samtidigt som metodologisk design och analys har brister.
För att skärpa analysen och slutsatserna har Uppsalaforskarna diskuterat och föreslagit att Riksrevisionen tydligare integrerar sina rekommendationer i analysen och tydligare visar hur dessa svarar på de problem som identifierats i de granskade verksamheterna. Rekommendationerna, har man hävdat, skulle på så vis bli ett slags ”kontrafaktiskt check” av analysen: Är det verkligen så att den föreslagna åtgärden korresponderar med den analys som gjorts? Och varför har den i så fall inte vidtagits? Genom att på detta sätt avkräva tydligare argumentation om relationen mellan rekommendation och slutsats bör också analysen kunna fördjupas och en fördjupad förståelse av granskningsobjekten och deras sammanhang fås. Den primära poängen är med andra ord inte att formulera mer precisa rekommendationer utan att utveckla analysen och förfina slutsatserna.
Slutligen har Uppsalaforskarna efterlyst en större reflektion kring vilka brister respektive styrkor som finns i de genomförda analyserna. Man menar att denna typ av diskussion i princip lyser helt med sin frånvaro. Alla granskningar eller analyser är emellertid inte lyckade. Det är inte heller konstigt, och
– som närmare kommer att beröras nedan – ibland ligger orsakerna till detta utanför Riksrevisionens direkta kontroll. Det är då bättre att vara tydlig med
18
BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
problem och förtjänster. Det skapar trovärdighet, och det möjliggör också mer nyanserade slutsatser och rekommendationer.
2017/18:URF2
19
2017/18:URF2 BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
5 Om problemens orsaker och effektivitetsrevisionens dilemma(n)
Det är på många sätt en imponerande gärning att, såsom Riksrevisionen, år efter år frivilligt utsätta sig för en extern och i viss mån oförstående kritik. I forskargruppens ”utifrånperspektiv” ligger både en styrka och en begränsning. Vi har i hög utsträckning granskat Riksrevisionen utifrån forskarsamhällets krav och normer. På flera sätt är detta orättvist. Medan forskaren har frihet att själv avgränsa och anpassa inriktningen på sina studier utifrån tillgängligt material, befintlig teoribildning etc. är Riksrevisionens uppdrag mindre fritt. När den universitetsverksamma forskaren kan och bör formulera sina frågor utifrån ambitionen att skapa bästa möjliga kvalitet måste Riksrevisionen välja frågor utifrån deras relevans för politiskt ansvarutkrävande eller främjande av granskade verksamheters utveckling (se ”Användbarhet” i Riksrevisionens vetenskapliga råds kriterier i bilaga 2).
Detta skapar särskilda betingelser för metodutveckling och metodval inom ramen för en effektivitetsrevision. När det t.ex. för forskaren ofta är intressant att utveckla och tillämpa metoder för att kunna dra generella lärdomar är det – som Uppsalaforskarna förstått det – för Riksrevisionen det enskilda specifika fallet som står i centrum. Det intressanta är inte om styrmedel av typ x eller policyer av typ y generellt sett är effektiva. Det Riksrevisionen bör ge riksdagen kunskap om är om de politiska insatserna och systemen i det enskilda fallet har fungerat effektivt. Här skulle man kunna hävda att Riksrevisionens fokus på det enskilda ligger närmare historikerns än samhällsvetarens.
Med den reservationen och den bakgrunden avslutas denna promemoria med några tankar och idéer om varför effektivitetsrevisionen – trots interna ambitioner och yttre tryck – år efter år tycks brottas med samma grundläggande problem. Frågan handlar om otydlighetens orsaker.
5.1 Otydlighetens orsaker
Som framgått ovan har Uppsala universitets forskargrupp pekat ut bristande tydlighet som ett grundproblem för effektivitetsrevisionen. Tydlighet och transparens är en förutsättning för ett grundläggande kvalitetskrav: intersubjektivitet. En undersökning måste genomföras så att den kan utsättas för andras kritiska granskning, och dess slutsatser måste hålla för andras granskning. Det måste därför finnas en granskarröst närvarande som klargör granskningens premisser och utgångspunkter. Uppsalaforskarna har ibland uppfattat att det finns en ängslighet inför detta i Riksrevisionens rapporter, möjligen driven av en tveksam tolkning av innebörden av objektivitet. Att klargöra antaganden och bakomliggande idéer är emellertid inte uttryck för subjektivitet utan en förutsättning för intersubjektivitet.
20
BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
Ovan har vi pekat på otydlighet i syfteformuleringar, val och tillämpning av bedömningskriterier, granskningarnas design, analysens belägg och rekommendationernas förankring i analysen. På flera punkter har vi kunnat rekonstruera en potentiell undersökningslogik som förklarar granskningspraktiken, men detta är då produkten av ett ganska omfattande och kanske också väl generöst tolkningsarbete. Varför är det så svårt att få till den tydlighet som krävs för en bra rapport? Nedan diskuteras tre idéer:
•Problemen är en följd av Riksrevisionens uppdrag i fråga om effektivitetsrevision.
•Problemen är en följd av Riksrevisionens organisation.
•Problemen är en följd av bristande kompetens hos effektivitetsrevisionens medarbetare.
5.2 Försvårar Riksrevisionens uppdrag en god effektivitetsrevision?
Ligger grunden till effektivitetsrevisionens problem i själva uppdraget? Närmare bestämt kan frågan ges två inriktningar. Den ena handlar om uppdragets ambition: Är det verkligen rimligt att kräva bredd och djup i effektivitetsrevisionen samtidigt? När forskningsseminariets eviga uppmuntran är att respondenten bör spetsa till sin frågeställning är riksdagens uppmaning till Riksrevisionen att göra det motsatta. Snarare än att granska enskilda styrmedel eller avgränsade projekt är det breda grepp på den förda politiken som uppmuntras. Och snarare än att fokusera på verksamheten, organisationen och procedurerna efterlyses ett fokus på långsiktiga effekter av statlig verksamhet. Man kan fråga sig om detta inte är att ge Riksrevisionen ett omöjligt uppdrag. Kort sagt: Finns det inte i Riksrevisionens uppdrag en förväntan på vad en effektivitetsrevision ska kunna åstadkomma som överstiger vad som är rimligt?
Den andra frågan handlar om uppdragets mångtydighet snarare än ambitionen som sådan. Mångtydigheten märks redan i lagstiftningen. Här betonas samtidigt det ansvarsutkrävande (kontrollerande) uppdraget och det verksamhetsutvecklande (främjande), samtidigt som inriktningen formuleras i termer av hushållning, resursutnyttjande, målrealisering och/eller samhällsnytta. Distinktionerna är inte alldeles uppenbara10, och riksdagens mening har uppenbarligen varit att uppdraget ska formuleras brett för att ge Riksrevisionen möjlighet att själv utveckla och tillämpa varianter av effektivitetsrevision. Risken med en sådan strategi är att mångtydigheten inte reds ut utan lever vidare i mer operativa delar av effektivitetsrevisionen.
I en enkät till samtliga anställda som varit projektledare eller projektmedarbetare inom effektivitetsrevisionen ställde Uppsalaforskarna 2011 ett antal
10 I synnerhet relationen mellan målrealisering och samhällsnytta tycks genuint oklar. I vissa sammanhang betraktas det som samma sak; i andra sammanhang är det senare något vidare. Klart är att båda frågorna rimligen kan ställas om ett ”utfall ute i samhället”: Effekterna på arbetsmarknaden kan rimligen vara samhällsnyttiga i något avseende men inte ligga i linje med uppsatta mål.
2017/18:URF2
21
2017/18:URF2 | BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET |
frågor om välkända och omdebatterade aspekter av effektivitetsrevision, såsom regelefterlevnad, målrealisering, effektanalys etc.11 En slutsats var att många olika inriktningar av effektivitetsrevision tycktes vara mycket relevanta inom organisationen. Också på individnivå finns en mycket bred och mångfacetterad uppfattning om vad som ligger i effektivitetsrevisionens väsen. På många sätt kan denna breda förståelse av vad effektivitetsrevision är, och kan vara, vara en tillgång. Det ställer däremot höga krav på intern samordning och organisering för att verksamheten inte ska bli otydlig och ofokuserad.
Mot bakgrund av ovanstående resonemang kan följande frågor resas:
•Kan och bör innebörden av effektivitetsrevision tydliggöras ytterligare? Är det i så fall en fråga för riksdagen, eller är det Riksrevisionen som bör göra det?
•Bör ett sådant tydliggörande ligga till grund för en intern organisering utifrån typ av inriktning på effektivitetsrevision snarare än som idag sakpolitiskt område?
5.3 Försvårar Riksrevisionens organisation en god effektivitetsrevision?
Ligger grunden till effektivitetsrevisionens problem i Riksrevisionens (dåvarande) organisation? När forskargruppen vid Uppsala universitet för några år sedan försökte följa granskningsprocessen ”från ax till limpa” genom att ta del av Riksrevisionens förstudier, granskningsbeslut och slutrapporter samt genom att göra intervjuer och genomföra en enkätundersökning om ”produktionsprocesserna” med samtliga projektmedarbetare inom effektivitetsrevisionen uppmärksammades särskilt organisatoriska problem kring effektivitetsrevisionen. I forskargruppens intervjuer och enkät hittades faktorer som rimligen kan hjälpa oss att förstå den ängslighet och försiktighet som går ut över rapporternas tydlighet och som motverkar tydliga avgränsningar och därmed försvårar möjligheterna att designa granskningarna väl. Vi gjorde en jämförelse med vår egen yrkesvardag.
Universitet som kunskapsproducerande miljö kännetecknas inte bara av teoretiskt och metodologiskt kompetenta individer. I nog så hög utsträckning är det den akademiska kulturen med dess betoning av kollegial kritik som definierar ett universitet och denna typ av ”kunskapsproduktion”. En nyckel i detta sammanhang är samtalet där kolleger förklarar, försvarar och rannsakar sina metoder, analyser och slutsatser inför varandra i en organisatorisk kultur där det anses vara ett bra hantverk när osäkerheter och brister lyfts upp till diskussion och reflektion.
11 Populationen uppgick ursprungligen till 75 personer, och av dessa ströks åtta personer (sex var föräldralediga och två tjänstlediga). Av de återstående 67 uppgav 1 ”hög arbetsbelastning” och 11 avstod från att svara. Svarsfrekvensen uppgår sålunda till 82 procent. Enkäten öppnades (”skickades ut”) den 30 mars och den tredje och sista påminnelsen skickades den 18 april.
22
BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
Forskargruppens intryck var att de kollegiala samtalen inom projektgrupper och mellan utredare inte sällan stördes av yttre händelser och ryckighet i organisationen. Snarare än professionell och kollegial dialog framskymtade förhandlingsspel och påtryckningar i granskningsprocesserna. Inte minst i inledande skeden och i slutet av granskningsprocesserna framstår det som att riksrevisorerna och andra centrala delar av organisationen är aktiva i formuleringen av slutsatser och rekommendationer. Det är ingalunda självklart att detta gynnar den metodologiska självtillit som förefaller nödvändig för att få större tydlighet och djärvhet i frågeformuleringar, avgränsningar, design och slutsatser.
Man denna bakgrund kan följande fråga resas:
•Bör man skilja på ansvar för analys och beslut om slutsatser och rekommendationer i syfte att åstadkomma ett tydligare ”ägarskap” för analyserna och därmed förhoppningsvis ökad analytisk skärpa i rapporterna?
5.4 Försvårar kompetensbrist inom Riksrevisionen en god effektivitetsrevision?
Ligger förklaringarna till otydlighet i fråga om syfte, design, analys och slutsatser i bristande kompetens hos Riksrevisionens medarbetare? Vår studie 2012 visade att medarbetarna själva hade höga tankar om sina medarbetares kompetens. Samtidigt visade samma studie att frågor om design och analys uppfattades som granskningsprocessens kritiska moment – moment där just metodologisk kompetens och självtillit spelar stor roll. Mot denna bakgrund har också Uppsalaforskarna vid ett flertal tillfällen betonat vikten av kompetensutveckling för att komma till rätta med effektivitetsrevisionens brister. Med hänvisning till att vi tyckt oss se möjligheter till mer utvecklade analyser än vad som faktiskt tillämpats har vi dragit slutsatsen att investeringar i metodkompetens bör kunna förbättra kvaliteten på rapporterna. I sammanhanget har det särskilt betonats att detta gäller både kvantitativ och kvalitativ metod. Lite förenklat uttryckt kan man hävda att vi tyckt oss se möjligheter till mer kvantitativa analyser och sett många brister i hantverket när det gäller kvalitativ metod. Mot denna bakgrund har Uppsalaforskarna därför gjort gällande att behovet av utvecklad metodkompetens gäller kvalitativa metoder (för t.ex. processpårning och mekanismanalys) minst lika mycket som kvantitativa metoder och grundläggande statistik.
Mot denna bakgrund kan följande fråga resas:
•Bör Riksrevisionen mer regelbundet samarbeta med forskare som är specialister på den typen av metoder och metodproblem man har att göra med i en specifik effektivitetsrevision? Vad får det i så fall för konsekvenser för Riksrevisionens strategier för att säkerställa oberoende?
2017/18:URF2
23
2017/18:URF2 | BILAGA 1 | OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET |
Referenser | ||
Ahlbäck Öberg, S. & Bringselius, L. (2015) ”Professionalism and organiza- | ||
tional performance in the wake of new managerialism”, European Political | ||
Science Review, 7(4), 499–523. | ||
Grönlund, A., Svärdsten, F. & Öhman, P. (2011) ”Value for money and the | ||
rule of law: the (new) performance audit in Sweden”, International Journal of | ||
Public Sector Management, 24.2: 107–121. | ||
Kells, Stuart (2011) ”The seven deadly sins of performance auditing: Implica- | ||
tions for monitoring public audit institutions”, Australian Accounting Review | ||
21.4: 383–396. | ||
Kells, S. & Hodge, G. (2009) ”Performance auditing in the public sector: re- | ||
conceptualising the task”, Journal of Contemporary Issues in Business and | ||
Government ,15.2:33-60. | ||
Tillema, Sandra & Henk J. ter Bogt (2010) ”Performance auditing: Improving | ||
the quality of political and democratic processes?”, Critical Perspectives on | ||
Accounting 21.8: 754–769. | ||
Pollitt, C. (2003) ”Performance audit in Western Europe: trends and choices”, | ||
Critical perspectives on accounting 14:1–2:157–170. | ||
Pollitt, C. & Summa, H. (1996) ”Performance audit and evaluation: Similar | ||
tools, different relationships?”, New Directions for Evaluation, 71:29–50. | ||
Sveriges riksdag (2009) Uppföljning av riksrevisionsreformen II: Effektivitets- | ||
revisionen, den årliga revisionen och den internationella verksamheten. Slut- | ||
betänkande från Riksrevisionsutredningen (2008/09:URF3), Stockholm, Riks- | ||
dagstryckeriet. | ||
SFS 2002:1022. | ||
Vedung, | E. (2009) Utvärdering i politik och förvaltning. Lund, |
Studentlitteratur.
24
BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET | 2017/18:URF2 |
Bilaga 1 Granskade effektivitetsrevisioner
2009
•Omställningskraven i sjukförsäkringen – att pröva sjukas förmåga i annat arbete (RiR 2009:1)
•Försäkringskassans inköp av IT-lösningar (RiR 2009:2)
•Skatteuppskov. Regeringens redovisning av bostadsuppskov och pensionsavdrag (RiR 2009:3)
•Swedfund International AB och samhällsuppdraget (RiR 2009:4)
•En effektiv och transparent plan- och byggprocess? Exemplet buller (RiR 2009:5)
•Energideklarationer – få råd för pengarna (RiR 2009:6)
•Beslut om sjukpenning – Har Försäkringskassan tillräckliga underlag? (RiR 2009:7)
•Regeringens försäljning av V&S Vin & Sprit AB (RiR 2009:9)
•Psykiatrin och effektiviteten i det statliga stödet (RiR 2009:10)
•Försvarsmaktens personalförsörjning – med fokus på officersförsörjningen (RiR 2009:11)
•Hanteringen av unga lagöverträdare – en utdragen process (RiR 2009:12)
•Omställningskraven i arbetslöshetsförsäkringen (RiR 2009:13)
•Tillämpningen av det finanspolitiska ramverket (RiR 2009:14)
•Sidas stöd till utveckling av kapacitet i mottagarländernas statsförvaltning (RiR 2009:15)
•Underhåll av belagda vägar (RiR 2009:16)
•Regeringens redovisning i budgetpropositionen för 2001 (RiR 2009:17)
2010
•Styrning inom arbetsmarknadspolitiken – mål, styrkort och modeller för resursfördelning (RiR 2010:1)
•Från många till en – sammanslagningar av myndigheter (RiR 2010:3)
•Klassificering av kurser vid universitet och högskolor – regeringens styrning och Högskoleverkets uppföljning (RiR 2010:4)
•Arbetsförmedlingens arbete med arbetsgivarkontakter (RiR 2010:6)
•En förändrad sjukskrivningsprocess (RiR 2010:9)
•Hanteringen av mängdbrott – en kärnuppgift för polis och åklagare (RiR 2010:10)
•Underhåll av järnväg (RiR 2010:16)
•Statliga stöd i alkoholpolitiken – Påverkas ungas alkoholkonsumtion? (RiR 2010:21)
•Polisens brottsförebyggande arbete – har ambitionerna uppnåtts? (RiR 2010:23)
25
2017/18:URF2 | BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET |
• Informationsutbyte mellan myndigheter med ansvar för trygghetssystem – | |
Har möjligheter till effektivisering utnyttjats? (RiR 2010:28) |
2011
•Oförbrukade forskningsbidrag vid universitet och högskolor (RiR 2011:3)
•Statliga IT-projekt som överskrider budget (RiR 2011:5)
•Klimatinsatser utomlands – statens köp av utsläppsrätter (RiR 2011:8)
•Svenska bidrag till internationella insatser (RiR 2011:14)
•Samordning av stöd till funktionshindrade barn och ungdomar – Ett (o)lösligt problem? (RiR 2011:17)
•Botniabanan – hur har det blivit och vad har det kostat? (RiR 2011:22)
2014
•Statens insatser för riskkapitalförsörjning – i senaste laget (RiR 2014:1)
•Bostäder för äldre i avfolkningsorter (RiR 2014:2)
•Staten och det civila samhället i integrationsarbetet (RiR 2014:3)
•Ekonomiska förutsättningar för en fortsatt omställning av försvaret (RiR 2014:7)
•Stödet till anhöriga omsorgsgivare (RiR 2014:9)
•Att tillvarata och utveckla nyanländas kompetens – rätt insats i rätt tid? (RiR 2014:11)
•Att gå i pension – varför så krångligt? (RiR 2014:13)
•Swedfund International AB – Är finansieringen av bolaget effektiv för staten? (RiR 2014:16)
•Statens dimensionering av lärarutbildningen – utbildas rätt antal lärare? (RiR 2014:18)
•Valuta för biståndspengarna? – Valutahantering i det internationella utvecklingssamarbetet (RiR 2014:19)
2015
•Patientsäkerhet – har staten gett tillräckliga förutsättningar för en hög patientsäkerhet? (RiR 2015:12)
•Regeringens styrning av SOS Alarm – viktigt för människors trygghet (RiR 2015:11)
•Aktivitetsersättning – en ersättning utan aktivitet? (RiR 2015:7)
•Digitalradio – varför och för vem? (RiR 2015:5)
•Återfall i brott – hur kan samhällets samlade resurser användas bättre? (RiR 2015:4)
•Utbildningsstödet till varslade vid Volvo Cars – omskolad till arbete? (RiR 2015:1)
•Kontrollen av försvarsunderrättelseverksamheten (RiR 2015:2)
26
BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
Bilaga 2 Bedömningskriterier för Vetenskapliga rådets synpunkter på effektivitetsrevisionens rapporter
Problembeskrivning
Granskningen bör ta sin utgångspunkt i ett förmodat problem. Finns det en beskrivning av detta problem?
Granskningens syfte
Granskningens syfte bör på en övergripande nivå beskriva granskningens inriktning och avgränsningar. Är så fallet? Uppfyller granskningen syftet?
Revisionsfrågorna
Revisionsfrågorna bör vara formulerade så att kopplingen till problembeskrivningen och bedömningsgrunderna framgår. Är så fallet? De bör också kunna härledas till syftet och täcka detta. Revisionsfrågorna ska alltså inte gå utöver syftet, men inte heller vara för snäva i förhållande till detta. Är så fallet? Re- visionsfrågorna ska kunna besvaras med hög grad av tillförlitlighet. Är de formulerade på ett sådant sätt?
Revisionsnormen
Den verksamhet som granskas måste kunna bedömas i förhållande till berättigade krav på verksamheten. Dessa krav måste följa antingen av direkta beslut av riksdagen (eller regeringen när det gäller bedömningar av myndigheter under regeringen) eller genom att härledas från riksdagens direkta eller indirekta ställningstaganden eller genom att de följer av normer som det kan förutsättas att riksdagen utgår från ska prägla den granskade frågeställningen. Är bedömningsgrunderna väl beskrivna?
Metoder för faktainsamling
Finns metoder för faktainsamling beskrivna på ett begripligt sätt? Är de lämpliga i förhållande till revisionsfrågorna? Har fakta samlats in på ett godtagbart sätt – t.ex. från flera oberoende källor? Kunde alternativa metoder ha förbättrat rapporten?
2017/18:URF2
27
2017/18:URF2 | BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET |
Fakta/empiri
Finns det ett gott faktaunderlag till hjälp för att besvara revisionsfrågorna? Är fakta relevanta för granskningen? Kunde annan information ha samlats in i stället eller kompletterat den nu insamlade?
Metoder för analys
Har faktaunderlaget analyserats på ett korrekt sätt för att göra det möjligt att besvara revisionsfrågorna? Är analysmetoderna lämpliga? Finns alternativa analysmetoder som kunde ha förbättrat rapporten?
Slutsatserna
Revisionsfrågorna ska kunna besvaras med hög grad av tillförlitlighet och precision. Slutsatserna ska vara väl underbyggda och följa av de uppgifter som framkommit i granskningen. Går det att skilja slutsatserna från fakta/empiri? Följer slutsatserna logiskt av fakta/empiri? Kunde andra slutsatser ha dragits utifrån de presenterade iakttagelserna?
Fördelning av kritik
Den kritik som revisionen framför i granskningsrapporterna måste vara tydlig med avseende på vem den riktar sig till. Ofta förekommer målkonflikter, dels inom sektorer, dels mellan sektorer. I sådana fall är det särskilt viktigt att revisionen är precis i frågan om var ansvar för brister/avvikelser ligger. Är rapporten tydlig i detta avseende?
Rekommendationerna
Rekommendationerna ska vara på en övergripande nivå och inte för detaljerade. De ska dock vara klara och det ska vara tydligt till vilka de riktar sig. Uppfyller rekommendationerna dessa krav? Följer rekommendationerna logiskt av empiri och slutsatser? Kunde andra rekommendationer ha lämnats på grundval av granskningens empiri och slutsatser?
Läsbarheten
En rapport ska kunna begripas även av en person som inte tidigare varit insatt i ämnet. Finns en ”röd tråd” genom rapporten? Hur är rapportens omfång totalt sett? Är det en bra balans mellan avsnitten om bakgrund, iakttagelser, slutsatser och rekommendationer?
Användbarhet
En rapport ska kunna få genomslag hos såväl myndigheter som regeringen och i riksdagen (via styrelsen). Av stor betydelse är ämnets relevans och tajmingen
28
BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
i granskningen. Det finns dock en rad andra omständigheter som har betydelse för en rapports genomslag. Det kan t.ex. handla om att rapporten verkligen avser det den säger sig avse, att den presenterar ny kunskap, att den identifierar möjligheter till förbättringar och att den ger erfarenheter som kan användas inom andra områden än det granskade.
Språk och layout
En granskningsrapport vänder sig till flera olika mottagare. Det är viktigt att den språkliga utformningen är anpassad till dessa. Varje mottagargrupp har rätt att vänta sig att en rapport i olika avseenden är utformad för att tillgodose olika mottagares behov. Beslutsfattare på riksdags- och regeringsnivå bör få en sammanfattning som tillgodoser deras behov av information om vad rapporten handlar om och vilka slutsatser Riksrevisionen drar. Mer specifik information till mottagare på myndighetsnivå bör utformas på ett för dem lämpligt sätt liksom information till experter av olika slag. Är språket i rapporten ägnat att tillfredsställa de krav som olika mottagargrupper har rätt att ställa?
2017/18:URF2
29
2017/18:UFR2
BILAGA 2
Av Lars-Göran Gustafsson
Riksrevisionens uppföljningsrapporter
31
2017/18:UFR2 | BILAGA 2 | RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER | |||
Innehållsförteckning | |||||
1 | Inledning................................................................................................... | 35 | |||
1.1 | Uppdraget och rapportens disposition ................................................. | 35 | |||
1.2 | Intosai om uppföljning ........................................................................ | 35 | |||
2 | Bakgrund till uppföljningsarbetet ............................................................. | 36 | |||
2.1 | Uppföljning i reformen 2003............................................................... | 36 | |||
2.2 | Riksdagen om uppföljning 2005–2006................................................ | 36 | |||
3 | Utvecklingen av uppföljningsarbetet ........................................................ | 37 | |||
3.1 | Trevande försök 2007 och 2008.......................................................... | 37 | |||
3.2 | Administrativ information 2007–2012 ................................................ | 37 | |||
3.3 | Uppföljningen finner sin form............................................................. | 38 | |||
3.4 | Utveckling mot utökad djup uppföljning............................................. | 38 | |||
4 | Genomförandet av uppföljningsarbetet..................................................... | 39 | |||
4.1 | Organisering av uppföljningen............................................................ | 39 | |||
4.2 | Sekretariatets arbete med urval, anvisningar med mera ...................... | 39 | |||
4.2.1 | Urval för djup uppföljning ............................................................. | 39 | |||
4.2.2 | Urval för basuppföljning................................................................ | 40 | |||
4.3 | Uppföljarnas arbete och villkor........................................................... | 40 | |||
4.4 | Rättsenheten ........................................................................................ | 41 | |||
4.5 | Beslutsordning..................................................................................... | 41 | |||
4.6 | Resursåtgång ....................................................................................... | 41 | |||
5 | Riksdagens synpunkter på uppföljningsrapporten .................................... | 43 | |||
5.1 | Finansutskottets synpunkter på de publicerade | ||||
uppföljningsrapporterna ............................................................................. | 43 | ||||
5.2 | Riksrevisionens samverkan med finansutskottet................................. | 44 | |||
5.3 | Riksrevisionsutredningen om uppföljning........................................... | 44 | |||
6 | Resultatet av Riksrevisionens granskningsrapporter som det | ||||
framkommer i uppföljningsrapporterna........................................................ | 45 | ||||
6.1 | Metod för den här presenterade undersökningen (antal | ||||
rapporter, urval med mera)......................................................................... | 46 | ||||
6.2 | Genomgång av uppföljning av 122 granskningsrapporter................... | 47 | |||
6.3 | Genomgång av uppföljningen av ett urval om 38 | ||||
granskningsrapporter.................................................................................. | 49 | ||||
6.4 | Sammanfattning av genomgång av 38 uppföljningar.......................... | 50 | |||
6.5 Kort om behandlingen av regeringens skrivelser.................................. | 50 | ||||
6.6 | Lång tid innan den fullständiga bilden föreligger................................ | 51 | |||
7 | Styrkor och svagheter i uppföljningsarbetet utifrån ambitionen att | ||||
redovisa och mäta resultatet av granskningsrapporterna............................... | 52 | ||||
7.1 | Bredare användning av uppföljningsrapporterna................................. | 52 | |||
7.1.1 | Internt inom Riksrevisionen........................................................... | 52 | |||
7.1.2 | Utskottens användning av uppföljningsresultaten.......................... | 53 | |||
7.1.3 | Övrig användning av uppföljningsrapporterna............................... | 53 | |||
7.2 | Kvalitativt kontra kvantitativt, olika mått på genomslag..................... | 54 | |||
7.3 | Mål för genomslag?............................................................................. | 55 | |||
7.4 | Resursåtgång för uppföljningen........................................................... | 55 | |||
7.5 | Organisering av uppföljningsarbetet.................................................... | 56 | |||
7.6 | Uppföljningen av den årliga revisionen............................................... | 56 |
32
BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER | ||
7.7 | Reglering av uppföljningsrapporten, ökad formalitet i | |
uppföljningsarbetet..................................................................................... | 56 | |
7.8 | När bör uppföljning ske?..................................................................... | 57 |
2017/18:UFR2
33
BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER | 2017/18:UFR2 |
1 Inledning
1.1 Uppdraget och rapportens disposition
Denna promemoria utgör ett av underlagen till den översyn som riksdagen genomför av Riksrevisionen. Promemorian är i allt väsentligt disponerad i enlighet med de frågeställningar som beskrivs i uppdragsavtalet 2017-04-16 mellan Riksdagsförvaltningen och undertecknad. Syftet med promemorian är att beskriva tillkomsten, utvecklingen och nuvarande läge när det gäller arbetet med Riksrevisionens uppföljningsrapport. Syftet är också att ge en översiktlig bild av resultatet av Riksrevisionens granskningsverksamhet som det framgår av uppföljningsrapporterna. För detta ändamål har information från dessa sammanställts för att ge en samlad bild av genomslaget för Riksrevisionens granskningsrapporter.
Uppföljningsrapporten innehåller redovisning av såväl effektivitetsrevisionens som den årliga revisionens resultat. Promemorian avgränsas i enlighet med uppdraget till att omfatta endast effektivitetsrevisionen.
Den beskrivning som i promemorian ges av uppföljningsarbetet utgår i första hand från de erfarenheter författaren har samlat under mer än tio års arbete med uppföljningen 2006–2016. Uppgifter om senare omständigheter av betydelse för uppföljningen har inhämtats från Riksrevisionen. I allt väsentligt bedrivs uppföljningsarbetet utifrån samma uppföljningsmodell som tidigare
1.2 Intosai om uppföljning
Uppföljning av effektivitetsrevisionens resultat utgör enligt Intosai (International Organisation of Supreme Audit Institutions) en integrerad del av revisionsprocessen. Uppföljning av revisionens iakttagelser och rekommendationer fyller enligt Intosai fyra huvudsakliga syften:
•Identifierar i vilken grad reviderade organisationer har genomfört åtgärder med anledning av iakttagelser och rekommendationer.
•Bedömer i vilken grad åtgärderna kan tillskrivas granskningarna.
•Identifierar områden som kan vara aktuella för framtida revisionsinsatser.
•Utgör underlag för att bedöma nyttan med revisionsmyndigheten och för internt förbättringsarbete inom revisionsmyndigheten.
Den uppföljningsmodell som tagits fram och som tillämpas inom Riksrevisionens effektivitetsrevision ansluter väl till Intosais standarder och riktlinjer
35
2017/18:UFR2 | BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER |
2 Bakgrund till uppföljningsarbetet | |
2.1 Uppföljning i reformen 2003 | |
Frågan om uppföljning av Riksrevisionens granskning var aktuell redan då | |
myndigheten bildades. Av konstitutionsutskottets betänkande 2000/01:KU8 | |
med riktlinjer för fortsatt utredning om en ny revisionsmyndighet under riks- | |
dagen framgick att riksdagen ansåg det viktigt att den nya revisionsmyndig- | |
heten genomgående och regelbundet följde upp granskningsrapporternas ge- | |
nomslag. Utredaren bedömde dock att det inte behövdes någon särskild före- | |
skrift om detta i regleringen av Riksrevisionen.1 Motivet var att uppföljning är | |
en naturlig handlingsregel som också följer av god revisionssed. | |
2.2 Riksdagen om uppföljning 2005–2006 | |
Från starten 2003 förekom ingen uppföljning av genomslaget av effektivitets- | |
revisionens granskningsrapporter. Riksdagen (FiU) återkom dock regelbundet | |
till frågan i olika sammanhang. I betänkandena 2005/06:FiU2, 2005/06:FiU25 | |
och 2006/07:FiU2 efterfrågades tydligare redovisning av revisionens effekter | |
än dem som Riksrevisionen redovisade i årsredovisningen. Även Riksrevi- | |
sionens styrelse efterfrågade en sådan redovisning (bet. 2006/07:FiU2). |
1 Regelutredningen, SOU 2001:97.
36
BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
3 Utvecklingen av uppföljningsarbetet
3.1 Trevande försök 2007 och 2008
I oktober 2006 fick granskningschefen i uppdrag av riksrevisorerna att årligen sammanställa en uppföljningsrapport. I uppdraget ingick att hitta former för en kontinuerlig uppföljning av Riksrevisionens granskning bland annat mot bakgrund av finansutskottets önskemål om en mer utvecklad redovisning av vad Riksrevisionens granskningar leder till. Uppföljningsrapporten skulle publiceras vid en tidpunkt som möjliggjorde en behandling i riksdagen samtidigt med Riksrevisionens årsredovisning. Uppdraget delegerades till enheten för planering och kvalitet (PKE) som påbörjade ett arbete för att skapa en modell för uppföljning och rapportering av revisionens resultat.
Den första uppföljningsrapporten överlämnades till finansutskottet i mars 2007. Rapporten får ses som ett ”provskott” och var mer allmänt hållen än vad som senare blev fallet. Arbetet med att utveckla en uppföljningsmodell fortsatte och i september 2007 redovisade PKE ett förslag till modell för kontinuerlig uppföljning och rapportering. Denna modell antogs av riksrevisorerna och tillämpades från och med 2008 till och med 2013.
Ett centralt inslag i modellen var redovisningen av så kallad djup uppföljning respektive basuppföljning av granskningsrapporter. Den djupa uppföljningen avsåg granskningsrapporter som var cirka fyra år gamla och basuppföljningen rapporter som var ett år (bas 1) till två år (bas 2) gamla. Den djupa uppföljningen tilldelades väsentligt mer resurser per granskningsrapport än basuppföljningen (cirka en vecka respektive två dagar). Antalsmässigt övervägde basuppföljningen starkt 2008 med 63 rapporter jämfört med fem djupt uppföljda.
Riksdagen (finansutskottet) mottog de två första uppföljningsrapporterna tämligen väl och ansåg att steg hade tagits för att fokusera redovisningen mot effekterna i den granskade verksamheten.2
3.2 Administrativ information 2007–2012
Uppföljningsrapporterna 2007–2012 innehöll viss samlad, vad som kan kallas administrativ information. Informationen avsåg den formella behandlingen av granskningsrapporterna som utfördes av Riksrevisionens styrelse, riksdagen och regeringen. Från och med 2011 infördes ett nytt system för den formella behandlingen av effektivitetsrevisionens granskningsrapporter, och den administrativa informationen om det tidigare systemet slutredovisades i Uppföljningsrapport 2012. Därefter har sådan information (dvs. regeringens skrivelse och riksdagens behandling) presenterats i redovisningen av varje enskild granskningsrapport, och det har inte gjorts några sammanställningar.
2 Bet. 2006/07:FiU18, bet. 2007/08:FiU28.
2017/18:UFR2
37
2017/18:UFR2 | BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER |
3.3 Uppföljningen finner sin form
I Uppföljningsrapport 2009 utökades antalet djupt uppföljda granskningsrapporter till 10. Antalet behölls med små variationer till och med 2013. Finansutskottet tog emot 2009 års rapport mycket väl och ansåg den mycket värdefull. Uppföljningsrapport 2010 mottogs ännu mer välvilligt och utskottet ansåg att rapporten funnit sin form och att den väl svarade mot utskottets tidigare uttryckta önskemål.3
3.4 Utveckling mot utökad djup uppföljning
Från och med Uppföljningsrapport 2014 utökades den djupa uppföljningen till att omfatta 15 granskningsrapporter. Samtidigt avvecklades den så kallade basuppföljning 1, dvs. uppföljningen av relativt nyligen publicerade granskningsrapporter. Skälet till förändringen var framför allt finansutskottets uttalade intresse för den djupa uppföljningen. I Uppföljningsrapport 2017 utökades den djupa uppföljningen ytterligare och omfattade 20 granskningsrapporter.
3 Bet. 2008/09:FiU28, bet. 2009/10:FiU27.
38
BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
4 Genomförandet av uppföljningsarbetet
4.1 Organisering av uppföljningen
Uppföljningsarbetet leddes från starten 2006 till och med 2015 av ett sekretariat inom enheten för planering och kvalitet. Enheten var placerad i granskningsorganisationen och fungerade som en stab för granskningschefen. Sekretariatet bestod mestadels av två medarbetare. Från och med 2016 ligger ansvaret för uppföljningsrapporten utanför granskningsorganisationen på stabsenheten för verksamhetsstöd (från oktober 2017 riksrevisorernas stab). Arbetet bedrivs dock som tidigare.
För det faktiska uppföljningsarbetet mobiliseras ett relativt stort antal effektivitetsrevisorer, i bästa fall de som genomfört de uppföljda granskningarna. Beroende på hur många granskningar som har följts upp olika år har mellan 30 och 50 revisorer varit engagerade i uppföljningsarbetet.
4.2 Sekretariatets arbete med urval, anvisningar med mera
Sekretariatets roll är att förbereda och underlätta det uppföljningsarbete som revisorerna genomför. Arbetet består i att ta fram ett urval av granskningsrapporter för uppföljning, anmoda enhetscheferna vid effektivitetsrevisionen att bemanna uppföljningsuppdragen, ta fram anvisningar för uppföljningen, distribuera underlagsmaterial till de utsedda uppföljarna, informera Regeringskansliet om den förestående uppföljningen och att producera uppföljningsrapporten. Vidare för sekretariatet en akt över uppföljningen. Sekretariatet ger också uppföljarna löpande stöd i uppföljningsarbetet genom att svara på frågor och ge råd med mera.
4.2.1 Urval för djup uppföljning
Urvalet av granskningsrapporter för djup uppföljning, alltså rapporter som publicerats fyra till fem år tidigare, har varierat antalsmässigt (se ovan). Ut- gångspunkten under senare år, med 15 djupt uppföljda granskningar, har varit att välja varannan publicerad granskningsrapport. Urvalsramen utgörs av årsproduktionen sedan föregående urvalsdragning. Principen bygger på förutsättningen att årsproduktionen av granskningsrapporter uppgår till cirka 30.4 En justering görs normalt för att säkerställa att så många riksdagsutskott som möjligt blir representerade i uppföljningen. Ytterligare justeringar kan därefter göras i syfte att undvika upprepningar (inte alltför många rapporter av samma
4 Enligt uppgift från Riksrevisionen behöver principen frångås i arbetet med Uppföljningsrapport 2018. Eftersom årsproduktionen var relativt låg 2013–2015 kommer ett antal granskningar från senare år att ingå i urvalsramen i syfte att erhålla ett urval av önskvärd storlek.
2017/18:UFR2
39
2017/18:UFR2 | BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER |
slag, till exempel sådana som återkommer med viss regelbundenhet). Ambit- | |
ionen är dock att restriktivitet ska iakttas i samband med eventuella justeringar. | |
Även om justeringar görs är Riksrevisionens bedömning att det urval av upp- | |
följda granskningsrapporter som publiceras i uppföljningsrapporterna över tid | |
ger en god bild av genomslaget av Riksrevisionens granskningsrapporter. | |
Urvalet av granskningsrapporter fastställs av riksrevisorerna efter att | |
granskningschefen och enhetschefer vid effektivitetsrevisionen fått lämna syn- | |
punkter. |
4.2.2 Urval för basuppföljning
Principen är att samtliga publicerade granskningsrapporter blir föremål för basuppföljning. Under de år när basuppföljningen genomfördes vid två tillfällen
– basuppföljning 1 och basuppföljning 2, blev alltså samtliga publicerade granskningsrapporter föremål för översiktlig uppföljning vid två tillfällen och ett urval blev föremål för ytterligare en (djup) uppföljning. Sedan 2014 genomförs basuppföljning endast en gång per granskningsrapport.
4.3 Uppföljarnas arbete och villkor
De utsedda uppföljarnas uppgift är att genomföra uppföljningen och redovisa resultatet för sekretariatet i en promemoria. Som stöd för arbetet förses uppföljarna med anvisningar som bl.a. anger metoder och källor för uppföljningsarbetet. När det gäller den djupa uppföljningen förses uppföljarna också med den eller de promemorior som utarbetades när den aktuella granskningen var föremål för basuppföljning.
De huvudsakliga källorna i uppföljningsarbetet är offentliga dokument. Ba- suppföljningen omfattar endast dokumentstudier. Vid djup uppföljning är kontakter med de granskade organisationerna en central del av arbetet. Uppföljningen ska introduceras för den aktuella myndighetens ledning, och önskemål om kontaktperson ska framställas. Vid kontakterna ska kompletterande information till den befintliga skriftliga efterfrågas. Vidare ska frågor ställas som kan belysa den aktuella granskningens betydelse för relevanta vidtagna åtgärder.
Under åren har kontakterna med de granskade organisationerna efter hand formaliserats. Utgångspunkten för Riksrevisionen har från början varit att störa så lite som möjligt och att vara tydlig med att den efterfrågade informationen ska användas för att för riksdagen belysa nyttan med Riksrevisionen och inte för att utkräva ansvar av de granskade. Den ökade formaliseringen har från de granskade organisationernas sida ofta tagit sig uttryck i önskemål om att få faktagranska de uppföljningspromemorior som uppföljarna producerar. Riksrevisionen tillgodoser önskemålen och har också löpande förbättrat introduktionen av uppföljningen.
40
BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
Uppföljarna får normalt sina uppföljningsuppdrag med tillhörande underlagsmaterial under hösten (oktober månad). Deadline för inlämnande av uppföljningspromemoria är normalt i slutet av januari. Vid behov är dock sekretariatet frikostigt med att ge dispens från denna deadline för att uppföljarna lättare ska kunna planera in uppföljningen bland andra uppdrag. Hittills har inte begäran om dispenser haft större omfattning än att de har kunnat tillgodoses.
Den uppföljningspromemoria som uppföljarna levererar till uppföljningssekretariatet har en friare form än den text som sedermera publiceras i uppföljningsrapporten. Uppföljarna kan i promemorian redogöra fylligare för såväl regeringens skrivelse som för riksdagsbehandlingen av den. Vidare tas ofta upp att riksrevisor och Riksrevisionens projektgrupp bjudits in till olika typer av utfrågningar eller seminarier med anledning av granskningsrapporterna. Det kan handla om inbjudningar till berörda utskott, myndigheter, intresseorganisationer med mera där granskningen diskuterats. Genomslag i medierna tas ibland också upp i promemorian. Sammantaget innebär det att promemoriorna ger en bredare bild av genomslaget än det som framgår av uppföljningsrapporten. Promemoriorna sparas av uppföljningssekretariatet och efterfrågas inte sällan internt i processen med att ta fram nya granskningsidéer.
4.4 Rättsenheten
Rättsenheten ansvarar för att i förväg bedöma behovet av särskild hantering av uppföljningen av de utvalda granskningsrapporterna till följd av sekretess i uppföljningsarbetet. Vidare ansvarar enheten för att läsa igenom uppföljningspromemorior och slutlig text i uppföljningsrapporten om de uppföljda granskningar där bedömningen har varit att sekretess kan föreligga.
4.5 Beslutsordning
Uppföljningsrapporten beslutas av de tre riksrevisorerna gemensamt. Beslutsdatum är mestadels i slutet av mars, men några gånger har beslut fattats i början av april. En utgångspunkt är att uppföljningsrapporten ska publiceras så att finansutskottet kan behandla den samtidigt med Riksrevisionens årsredovisning. Uppföljningsrapporten ska ju ”formellt” (det finns ingen reglering av rapporten) ses som ett komplement till den resultatredovisning som ges i årsredovisningen.
4.6 Resursåtgång
En av utgångspunkterna för utvecklingen och genomförandet av uppföljningen har varit att den ska störa den ordinarie granskningsverksamheten så lite som möjligt. Denna hållning har naturligtvis utgjort en begränsning när det gäller metodval med mera för uppföljningsarbetet. Avskaffandet av basupp-
2017/18:UFR2
41
2017/18:UFR2 | BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER |
följning 1 och utvidgningen av den djupa uppföljningen har, förutom att tyd- | |
ligare rikta fokus på det som är mest angeläget för riksdagen, också inneburit | |
en något mer begränsad resursåtgång. | |
En djup uppföljning budgeteras till 40 timmar och en basuppföljning till 16 | |
timmar. Vid en situation med djup uppföljning av 15 stycken granskningsrap- | |
porter och basuppföljning av 25 stycken är resursåtgången cirka 1 700 timmar, | |
eller ungefär en årsarbetskraft. Resursåtgången fördelar sig med cirka 700 tim- | |
mar på sekretariatet (administration av uppföljning och skrivarbete) och med | |
cirka 1 000 timmar på granskningsverksamheten (den faktiska uppföljningen | |
och författande av uppföljningspromemoria). Resursåtgången belastade PKE:s | |
budget till och med 2015 och därefter stabsenhetens budget. |
42
BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER | 2017/18:UFR2 |
5 Riksdagens synpunkter på uppföljningsrapporten
Uppföljning av effektivitetsrevisionens granskningsrapporter har behandlats i olika sammanhang alltsedan arbetet med att etablera en sammanhållen revisionsmyndighet under riksdagen påbörjades. De starkaste uttrycken för riksdagens intresse för Riksrevisionens uppföljning återfinns dock i finansutskottets betänkanden med anledning av behandlingen av Riksrevisionens årsredovisning, där också uppföljningsrapporten kommenterats.
5.1 Finansutskottets synpunkter på de publicerade uppföljningsrapporterna
Finansutskottet har alltsedan den första uppföljningsrapporten publicerades 2007 behandlat och kommenterat uppföljningsrapporterna i samband med Riksrevisionens årsredovisning.5
I allmänhet har innehållet refererats och en bedömning gjorts av huruvida uppföljningsrapporten tillgodosett finansutskottets krav på den. Vid två tillfällen har dock ingen sådan bedömning gjorts (uppföljningsrapporterna 2011 och 2013).
När det gäller de två första rapporterna (2007 och 2008) uttryckte utskottet sin tillfredsställelse över dessa men ansåg att redovisningen av effekter i de granskade verksamheterna kunde utvecklas ytterligare. I kommentarerna till uppföljningsrapport 2008 uttryckte utskottet sitt gillande över den djupa uppföljningen av fem granskningsrapporter. Detta gillande skulle sedan bli mer eller mindre årligt återkommande.
I kommentarerna till Uppföljningsrapport 2009 ansåg utskottet att den var ”mycket värdefull”. Året efter ansåg utskottet att uppföljningsrapporten funnit sina former och att den svarade väl mot tidigare uttryckta önskemål. Utskottet såg också med tillfredsställelse på att Riksrevisionen funnit sin roll i uppföljningssituationen och att granskningsobjekten var medvetna om att Riksrevisionen kommer att återkomma för att följa upp sina granskningar.6
Utskottet var också i sina kommentarer positivt till Riksrevisionens strävan att följa upp vad som hänt efter granskningen oberoende av vilka rekommendationer som Riksrevisionen lämnat.
5 Se betänkandena 2006/07:FiU18, 2007/08:FiU28, 2008/09:FiU28, 2009/10:FiU27, 2010/11:FiU35, 2011/12:FiU31, 2012/13:FiU35, 2013/14:FiU35, 2014/15:FiU15, 2015/16:FiU27, 2016/17:FiU27.
6 Möjligen kan, lite spekulativt, sägas att den senare kommentaren sannolikt var föranledd av att Riksrevisionen i granskningsrapporternas missiv 2008–2010 informerade om att granskningen skulle följas upp. Från och med 2011 finns informationen inte kvar. Detta kan ha berott på att missiven behövde ha en ny lydelse från detta år med anledning av att behandlingsordningen av granskningsrapporterna förändrades.
43
2017/18:UFR2 | BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER |
I kommentarerna gällande de följande uppföljningsrapporterna har finans- | |
utskottet mer eller mindre regelmässigt uttryckt sin tillfredsställelse över den | |
djupa uppföljningen och inte minst då denna successivt utökats till 20 stycken | |
i 2017 års uppföljningsrapport. Utskottet har också tydligt påpekat nyttan av | |
de kommentarer som avslutar redovisningen av varje djupt uppföljd gransk- | |
ningsrapport. | |
Avslutningsvis bör nämnas att finansutskottet i kommentarerna till uppfölj- | |
ningsrapporten 2014 ansåg att ”uppföljningen visar att Riksrevisionen under | |
sina tio år har bidragit till en bättre statlig verksamhet”.7 |
5.2 Riksrevisionens samverkan med finansutskottet
Under större delen av den tid som uppföljningen genomförts och uppföljningsrapporten producerats har Riksrevisionen, i form av de ansvariga för framtagande av rapporten, haft kontinuerliga årliga träffar med finansutskottets kansli. Träffarna har ägt rum en eller två gånger om året, vanligen i samband med att rapporten publicerats och ibland också i samband med starten av årets uppföljning. Träffarna har haft en informell karaktär och har haft stor betydelse för utvecklingen av uppföljningen och uppföljningsrapporten.
5.3 Riksrevisionsutredningen om uppföljning
Riksrevisionsutredningen använde sig i sina analyser av viss information i uppföljningsrapporterna från 2008 och 2009.8 Det material som utredningen utnyttjade var delar av den så kallade administrativa informationen, nämligen sammanställningen av regeringens redovisning av slutbehandlade granskningsrapporter. Analysen behandlade inte rapporternas genomslag utan användes i delbetänkandet 2008/09:URF1 i en diskussion om i vilka former regeringen borde redovisa sina synpunkter på granskningsrapporterna. Resultatet av denna diskussion blev den nuvarande behandlingsordningen av granskningsrapporterna. Utredningen refererade i övrigt vad finansutskottet uttryckt angående de dittills publicerade uppföljningsrapporterna.
I utredningens slutbetänkande (2008/09:URF3) behandlades uppföljningsrapporten i samband med en diskussion om Riksrevisionens årliga rapport. Ut- redningen menade att en sammanslagning av den årliga rapporten och uppföljningsrapporten borde övervägas. Enligt utredningen skulle Riksrevisionens årliga rapportering på detta vis förtydligas och möjliggöra en samtidig behandling av kort- och långsiktiga analyser av revisionens iakttagelser och resultat. Konstitutionsutskottet avstyrkte dock förslaget och någon sådan förändring genomfördes inte.9
7 Bet. 2013/14:FiU35.
8 Författarens minnesbild är inte helt klar, men egentligen var det nog så att informationen togs fram speciellt för utredningen och sedan hamnade i uppföljningsrapporterna.
9 Bet. 2009/10:KU17.
44
BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
6 Resultatet av Riksrevisionens granskningsrapporter som det framkommer i uppföljningsrapporterna
I det följande ges en bild av ”genomslaget” av Riksrevisionens granskningsrapporter som det framgår av uppföljningsrapporterna 2008–2017. Bilden har tagits fram i samband med en undersökning som genomförts som en del av det uppdrag som resulterat i föreliggande promemoria. Tillvägagångssättet redovisas under rubriken Metod för den här presenterade undersökningen (antal rapporter, urval med mera.)på sidan 15.
En utgångspunkt för undersökningen är att det som står i uppföljningsrapporterna är korrekt, men inte nödvändigtvis heltäckande. Beskrivningen av genomslaget avser läget vid tiden för uppföljningen.10 Regeringens eventuella utfästelser i samband med publiceringen av granskningsrapporterna i budgetpropositioner (den tidigare behandlingsordningen) och i skrivelser med anledning av granskningsrapporterna (den nuvarande behandlingsordningen) behandlas inte.
De resultat av effektivitetsrevisionens granskningar som framgår av uppföljningsrapporterna är givetvis en följd av de åtgärder som de som granskats har vidtagit med anledning av Riksrevisionens iakttagelser och rekommendationer. Det är dock viktigt att beakta att de metoder som används i uppföljningen, de resurser som tilldelats och den form som används för att presentera resultatet av den påverkar den bild som ges i uppföljningsrapporterna. Nedan redovisas några omständigheter som i olika grad kan påverka denna bild.
•Uppföljningen ska vara ett underlag för riksdagen att bedöma nyttan med Riksrevisionen.
Utgångspunkten för riksdagen när den har efterfrågat en utvidgad resultatredovisning från Riksrevisionen, jämfört med den som görs i årsredovisningen, har varit om staten har fått ett mer effektivt utbyte av sina insatser tack vare Riksrevisionens verksamhet. Det har alltså varit nyttan med Riksrevisionen som har efterfrågats och inte vidtagna åtgärder och förbättringar i sig. Innan Riksrevisionen började följa upp resultaten av granskningarna efterfrågades sådan utvidgad resultatinformation inte bara av riksdagen utan också av Riksrevisionens styrelse och externrevisorer.11
En sådan utgångspunkt påverkar bland annat de frågor som ställs i uppföljningen om huruvida de enskilda granskningarna varit till nytta för de granskade. Inriktningen är alltså ett nyttoperspektiv snarare än ett ansvarsutkrävandeperspektiv. Riksrevisionen är tydlig med att den inte genom uppföljningen
10Eftersom de flesta uppföljningarna nu ligger relativt långt tillbaka i tiden kan det ha vidtagits ytterligare åtgärder och ytterligare förbättringar kan ha skett. Till detta tas inte hänsyn här.
11Bet. 2005/06:FiU25, bet. 2006/07:FiU2.
2017/18:UFR2
45
2017/18:UFR2 | BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER |
utkräver ansvar av de granskade för vidtagna eller icke vidtagna åtgärder och att den inte framför kritik mot hur granskningen behandlats.
•Uppföljningen presenteras i kvalitativa termer, det vill säga inga mått används.
I vissa länder förekommer att revisionen använder specifika mått för att bedöma sina resultat. Vanliga sådana mått är andelen genomförda rekommendationer och värdet av de besparingar som revisionens insatser medfört. Den kronologiskt berättande stilen i Riksrevisionens uppföljningsrapporter kan medföra svårigheter att fastslå det exakta antalet åtgärder eller omfattningen av förbättringar av olika slag. Ett påtagligt inslag i Riksrevisionens uppföljning är därmed kommentarerna om att de iakttagna förbättringarna inte alltid enkelt kan hänföras till de enskilda effektivitetsrevisionerna.
•Knappa resurser för varje enskild uppföljning. Innebär att ordinarie interna uppgifter sätts före och att de reviderade ska störas så lite som möjligt.
En ambition med uppföljningen är att störa den ordinarie interna produktionen så lite som möjligt. Det innebär att de tilldelade resurserna är begränsade och att den tillgängliga tiden för varje enskild uppföljning är kort. Det påverkar naturligtvis möjligheterna för uppföljarna att gå på djupet. Ytterligare en ambition är att störa de granskade så lite som möjligt. Detta innebär bland annat att fokus i uppföljningen ligger på vad som framgår av offentliga dokument och i mindre grad på direkta kontakter med de granskade.
•Uppföljningen är ingen reglerad uppgift för Riksrevisionen. Riksrevisionen har ingen lagreglerad rätt att få uppgifter från dem som omfattas av
uppföljningen.
I den ordinarie granskningsverksamheten har Riksrevisionen rätt att få de uppgifter den behöver för sin granskning.12 Samma rätt finns inte när det gäller uppföljningen, vilket kan innebära begränsade möjligheter att under den korta uppföljningstiden inhämta all relevant information.
6.1 Metod för den här presenterade undersökningen (antal rapporter, urval med mera)
I det följande redovisas resultatet av en undersökning av ”genomslaget” av Riksrevisionens granskningsrapporter från effektivitetsrevisionen perioden 2003–2013. I Riksrevisionens uppföljningsrapporter har till och med 2017 års rapport 122 granskningsrapporter varit föremål för så kallad djup uppföljning. Det motsvarar drygt 40 procent av samtliga beslutade granskningsrapporter fram till och med november 2013, det vill säga av de granskningsrapporter som hittills varit aktuella för djup uppföljning (urvalsramen).
Uppföljningen av samtliga 122 granskningsrapporter har gåtts igenom (lästs) med avseende på
•om de granskade uttryckligen har sagt sig haft nytta av granskningen
•om de granskade vidtagit åtgärder
12 6 § lagen (2002:1022) om revision av statlig verksamhet m.m.
46
BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
•om det framgår att iakttagelser/rekommendationer har tagits om hand
•om det framgår att åtgärder och förbättringar är en direkt följd av Riksrevisionens granskning
•om det framgår att det är svårt att koppla åtgärder och förbättringar till Riksrevisionens granskning
•om det framgår av uppföljningen att iakttagna problem minskat
•om det framgår av uppföljningen att det finns kvarstående problem
•om det framgår av uppföljningen att inga resultat har uppnåtts för en en-
skild granskning.
Källan till uppgifterna är den sammanfattning som avslutar varje enskild uppföljning – Avslutande kommentar. Finansutskottet har uttalat att ”de avslutande kommentarerna är värdefulla som ett sätt att bilda sig en uppfattning om förbättringar inom de granskade myndigheterna, men också om vilka problem som kvarstår”.13
Undersökningen har kompletterats med att ett urval om 38 av de 122 uppföljningarna har studerats närmare. Därvid har i första hand noterats vilken typ av åtgärder och förbättringar som har följt på Riksrevisionens granskningsrapporter.
Det bör påpekas att de kvantitativa uppgifter som anges nedan ska ses som ungefärliga.
6.2 Genomgång av uppföljning av 122 granskningsrapporter
Ett inslag i uppföljningen är att försöka ta reda på om de granskade haft nytta av Riksrevisionens granskningsrapport. Detta ska göras genom att uppföljarna ställer frågor om detta till de organisationer som är föremål för uppföljning. Av genomgången framgår att de granskade på direkt förfrågan i 23 fall (19 procent) svarat jakande. Ett jakande svar är vanligare från en granskad myndighet än från regeringen. Det kan dock inte uteslutas att frågan inte ställs i alla uppföljningar eller att de tillfrågade inte alltid vill tillstå att de haft nytta av granskningen, även om så varit fallet. Det kan alltså finnas ett mörkertal av obekant storlek.
När det gäller huruvida de granskade har vidtagit åtgärder med anledning av granskningen är resultatet mer positivt. I 109 fall av de 122 har åtgärder vidtagits med anledning av granskningen eller som är relevanta för Riksrevisionens granskning. Det bör dock beaktas att uppföljningen inte bara fäster avseende vid åtgärder som kausalt kan kopplas till Riksrevisionens iakttagelser och rekommendationer utan också vid sådana som är relevanta för Riksrevis-
13 Bet. 2015/16:FiU27.
2017/18:UFR2
47
2017/18:UFR2 | BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER | |
ionen utan att det går att fastställa en direkt kausalitet mellan granskningsrap- | ||
port och utfall.14 Det är alltså kombinationen av dessa två fall som ger resulta- | ||
tet 109 av 122. | ||
Det finns en skillnad i de ovanstående två sätten att bedöma resultatet av | ||
Riksrevisionens granskning. I det första fallet är utgångspunkten granskning- | ||
ens iakttagelser och rekommendationer som tydligt kan kopplas till åtgärder | ||
och/eller förbättringar. I det andra fallet är utgångspunkten vidtagna åtgärder | ||
som kan kopplas till det som den enskilda granskningen mera allmänt har | ||
handlat om. Åtgärderna är relevanta för Riksrevisionens granskning och | ||
tillgodoser eller omhändertar Riksrevisionens rekommendationer utan att de | ||
tveklöst kausalt går att koppla till enskilda iakttagelser eller rekommenda- | ||
tioner. | ||
När det gäller huruvida vidtagna åtgärder och iakttagna förbättringar mer | ||
eller mindre tveklöst (kausalt) kan kopplas till Riksrevisionens granskning | ||
framgår av uppföljningsrapporterna att så är fallet i 30 av de 122 uppföljning- | ||
arna (25 procent). Även här kan det finnas ett mörkertal. Åtgärder och förbätt- | ||
ringar som är relevanta för Riksrevisionens granskningar har vidtagits, men | ||
det går inte att inom ramen för uppföljningen konstatera ett kausalt samband | ||
även om ett sådant finns. | ||
Det omvända fallet jämfört med ovan, det vill säga att det av uppföljningen | ||
klart framgår att det är svårt att koppla uppföljningsresultatet till Riksrevision- | ||
ens granskning framgår av 19 uppföljningar (16 procent). Det betyder inte | ||
nödvändigtvis att Riksrevisionen inte har spelat någon roll. Det kan till exem- | ||
pel tolkas som att många uppföljare av försiktighetsskäl inte vill dra för långt- | ||
gående slutsatser av uppföljningsresultatet. | ||
Av uppföljningarna framgår ibland, men inte alltid, om de i granskningarna | ||
iakttagna problemen har minskat. I 50 fall av de 122 (40 procent) sägs så vara | ||
fallet. Inte heller här är kausaliteten glasklar, men klart är att det är relevant | ||
för det som Riksrevisionen har granskat. På motsvarande sätt framgår att pro- | ||
blem kvarstår. Detta är fallet i 65 uppföljningar (50 procent). Det bör noteras | ||
att båda fallen kan föreligga i samma uppföljning. | ||
I några fall (13, det vill säga cirka 11 procent) framgår det av uppföljningen | ||
att inga egentliga resultat har uppnåtts för enskilda granskningar. Detta sägs | ||
inte alltid explicit, men framgår i allmänhet tydligt av sammanhanget. Orsa- | ||
kerna kan variera men kan bland annat handla om att Riksrevisionen granskat | ||
ett område där de granskade, i nära anslutning till granskningens start, satt | ||
igång ett omfattande reformarbete och Riksrevisionens granskning därför bli- | ||
vit mindre relevant. Man kan här tala om bristfällig tajming. En annan kan | ||
vara att Riksrevisionen inte lämnat några rekommendationer eller så vaga och | ||
allmänna sådana att det i uppföljningen inte gått att göra några säkra kopp- | ||
lingar till granskningen. | ||
14 I uppföljningen uttrycks detta bland annat som att vidtagna åtgärder är ”i samklang med | ||
Riksrevisionens iakttagelser och rekommendationer” eller att ”iakttagelser och rekommen- | ||
dationer har tagits om hand”. | ||
48 |
BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
Sammanfattningsvis kan sägas att det i de flesta fall framgår av uppföljningen att åtgärder vidtagits som är relevanta för de iakttagelser och rekommendationer som Riksrevisionen gjorde i sin granskning. Ibland används uttryckssättet ”tagits om hand” eller liknande i den avslutande kommentaren. Inte sällan framgår också att kopplingen till Riksrevisionens granskning anses vara tydlig. Ibland framgår också att det är svårt att göra en sådan koppling.
När det gäller huruvida iakttagna problem har minskat eller kvarstår, framgår det i cirka hälften av fallen. Man bör då hålla i minnet att det inte handlar om att alla problem är undanröjda eller att alla kvarstår. Minskade problem och kvarstående problem kan föreligga i samma uppföljning.
I cirka 20 procent av uppföljningarna framgår att de granskade säger sig ha haft nytta av Riksrevisionens granskning. Det eventuella mörkertal som nämns ovan bör dock beaktas.
I 11 procent av fallen anses Riksrevisionens granskning ha medfört inga eller få märkbara resultat.
Riksrevisionen förefaller därmed ha en viss påverkan på det förbättringsarbete och de förbättringar som sker i den statliga förvaltningen, även om kausaliteten mellan Riksrevisionens granskningar och de iakttagna resultaten inte alltid framstår som glasklar.
6.3 Genomgång av uppföljningen av ett urval om 38 granskningsrapporter
Utifrån de 122 uppföljningar som ligger till grund för de kvantitativa uppgifterna ovan har 38 stycken valts ut (mer eller mindre slumpmässigt) i syfte att närmare studera vilken sorts åtgärder och förbättringar som Riksrevisionens granskningar leder till eller kan kopplas till.15 I dessa 38 fall har genomgången utvidgats från att avse de avslutande kommentarerna till att avse avsnittet om regeringens och myndigheternas åtgärder.
Den vanligaste enskilda åtgärden som vidtas är att regeringen ger en eller flera myndigheter uppdrag i regleringsbrev eller i annan ordning (26 fall). Uppdragen handlar bland annat om att
•till regeringen redovisa åtgärder med anledning av Riksrevisionens iakttagelser och rekommendationer
•utveckla och till regeringen redovisa åtgärder för att förbättra eller effektivisera det interna arbetet
•säkerställa likformig ärendehantering
•utveckla planering, uppföljning och rapportering
•förbättra redovisning
•se över målbeskrivningar.
15 Urvalet fördelar sig med två granskningar de år som fem djupa uppföljningar presenterats i uppföljningsrapporten (2008), tre granskningar de år som tio djupa uppföljningar presenterats (2009–2013), fem vid 15 presenterade (2014–2016) och sex vid 20 presenterade djupa uppföljningar (2017).
2017/18:UFR2
49
2017/18:UFR2 | BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER |
En annan vanlig åtgärd från regeringens sida är att tillsätta en utredning (11 | |
fall) med uppdrag att bland annat hantera Riksrevisionens granskningsrapport. | |
Det kan också handla om att ge en redan pågående utredning i uppdrag att ”ta | |
hand om” eller ”beakta” Riksrevisionens granskningsrapport. Ofta har utred- | |
ningsresultaten inte förelegat vid tiden för uppföljningen. | |
I ett antal fall (ett tiotal av de 38) har Riksrevisionens granskning lett till | |
översyn och förändring av lagstiftning. Påfallande i dessa fall är att lagstift- | |
ningsarbetet ännu inte är avslutat vid tiden för uppföljningen (alltså fyra till | |
fem år efter granskningen). | |
Det är också vanligt att myndigheter på eget initiativ (17 fall), det vill säga | |
utan uppmaning från regeringen, arbetar med Riksrevisionens iakttagelser och | |
rekommendationer. De åtgärder som myndigheterna vidtar är ofta ägnade att | |
stärka och effektivisera det interna arbetet – till exempel genom att förbättra | |
administrativa processer och genomföra omorganisationer. Det framgår inte | |
alltid i detalj i uppföljningen vad åtgärderna avser. |
6.4 Sammanfattning av genomgång av 38 uppföljningar
De vidtagna åtgärder som redovisas i uppföljningen speglar Riksrevisionens iakttagelser och rekommendationer. De åtgärder som vidtas är oftast administrativa sådana i syfte att skapa bättre förutsättningar för de granskade att uppnå bättre resultat inom sina respektive områden. Revisionen inriktar sig alltså, föga förvånande, på de generella administrativa verktyg som de granskade har till förfogande för att bedriva en effektiv verksamhet. Riksrevisionens iakttagelser och rekommendationer utnyttjas också ofta av de granskade i redan pågående processer. Detta är inte förvånande; förbättringsarbete pågår mer eller mindre kontinuerligt i den statliga verksamheten. Mera sällan initierar granskningarna helt nytt förbättringsarbete även om det förekommer. Här kan nämnas granskningarna om marklösen och begravningsverksamheten.16
Resultatet av granskningsarbetet beskrivs i uppföljningen oftast i termer av vidtagna åtgärder och mera sällan i termer av vilka förbättrade resultat som åtgärderna eventuellt leder till. Detta förefaller i och för sig vara naturligt. Det är svårt och mer resurskrävande att fastställa sådana resultat i sig och också att koppla dem till åtgärder som i sin tur är kopplade till Riksrevisionens granskning.
6.5 Kort om behandlingen av regeringens skrivelser
Sedan 2011 lämnar regeringen en skrivelse till riksdagen där den redogör för redan vidtagna och/eller planerade åtgärder med anledning av granskningsrapporterna. Regeringen hänvisar ofta till åtgärder vidtagna redan innan Riksre-
16 RiR 2005:15 och RiR 2006:7.
50
BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
visionen påbörjade sin granskning utöver åtgärder med anledning av granskningen. Regeringen kommenterar också granskningen och redogör ibland för avvikande mening avseende granskningens iakttagelser och rekommendationer. Ibland förekommer också synpunkter på metoder använda i granskningarna. I allmänhet anger regeringen att granskningsärendet är avslutat i och med att skrivelsen överlämnats till riksdagen.
Riksdagens behandling av regeringens skrivelse utmynnar oftast i att ärendet läggs till handlingarna. Det beredande utskottet välkomnar i allmänhet såväl granskningen som innehållet i regeringens skrivelse. Mera sällan leder behandling till ett tillkännagivande (endast fyra gånger i de 43 djupt uppföljda granskningarna från 2011 och framåt, alltså cirka 10 procent).
6.6 Lång tid innan den fullständiga bilden föreligger
I vissa fall kan Riksrevisionens granskningar få ett mycket stort genomslag. Det gäller ofta områden som legat i politisk ”träda” och där Riksrevisionen fungerar som ögonöppnare. Det framgår dock inte alltid av uppföljningarna. En vanlig orsak är till exempel att den politiska process som initierats av granskningarna (till exempel översyn av lagar) inte är avslutad vid tiden för uppföljningen. Ibland kan det område som Riksrevisionen granskat bli politiskt intressant lång tid efter att granskningen både publicerats och följts upp. I dessa fall kan, av naturliga skäl, inte resultatet framgå av uppföljningsrapporten.
2017/18:UFR2
51
2017/18:UFR2 BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
7 Styrkor och svagheter i uppföljningsarbetet utifrån ambitionen att redovisa och mäta resultatet av granskningsrapporterna
Riksrevisionens uppföljningsrapporter har mottagits väl av riksdagens finansutskott. Utskottet har till och med uttryckt att uppföljningsrapporterna visar att Riksrevisionen har bidragit till en bättre statlig verksamhet under sina första tio år.17 Det visar att åtminstone Riksrevisionens huvudman anser sig ha haft nytta av uppföljningen och uppföljningsrapporterna (och av Riksrevisionen). I övrigt har intresset för rapporten varit begränsat, även om uppföljningsresultaten i viss mån används internt i arbetet med att ta fram nya granskningsidéer.
Att huvudmannen riksdagen är nöjd med uppföljningsrapporterna innebär givetvis inte att de inte kan förbättras. Kvaliteten i uppföljningsarbetet kan förbättras, och den interna såväl som den externa användningen kan breddas. En restriktion i sammanhanget är dock de krav och de önskemål som riksdagen har. Rimligen välkomnar riksdagen en ökad kvalitet i själva uppföljningsarbetet som medför en förbättrad rapportering om nyttan med Riksrevisionen. Förändringar i syfte att öka den interna och den externa användningen kan dock stå i strid med de krav som riksdagen ställer. I det följande ska ett antal aspekter diskuteras.
7.1 Bredare användning av uppföljningsrapporterna
Det huvudsakliga syftet med uppföljningsrapporterna är att de ska vara ett komplement till Riksrevisionens årsredovisning och i förhållande till denna ge utökad resultatinformation. Uppföljningsrapporterna ska alltså vara ett underlag för riksdagen att bedöma ”nyttan” med Riksrevisionen. Uppföljningsrapporterna har dock en potential att användas bredare än så.
7.1.1 Internt inom Riksrevisionen
Enligt Riksrevisionens uppföljningsmodell kan uppföljningsrapporterna användas internt för att förbättra granskningsarbetet. Den interna användningen av uppföljningsrapporterna är dock, så vitt känt, begränsad. Det vanligaste är att rapporterna används i processen med att ta fram nya granskningsförslag. I sådana fall efterfrågas dock snarare de så kallade uppföljningspromemoriorna än texterna i uppföljningsrapporterna. Innehållet i promemoriorna är bredare än i uppföljningsrapporterna och ofta också mer detaljerat. Detta är avsiktligt, eftersom promemoriorna är tänkta att också fungera som underlag i arbetet med att ta fram granskningsförslag.
17 Bet. 2013/14:FiU35.
52
BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
Uppföljningsmaterialet är också, enligt uppföljningsmodellen, tänkt att kunna användas som underlag i analyser av vad och hur Riksrevisionen ska granska, vilka frågor som ska ställas och vilken sorts rekommendationer som bör lämnas. Användningen av uppföljningsmaterialet i sådana analyser är dock begränsad.18
Ibland genomför Riksrevisionen så kallade uppföljande granskningar. Syftet är bland annat att något år efter en granskning undersöka om de problem som föranledde granskningen ännu kvarstår. Ofta är skälet till att en uppföljande granskning genomförs att det finns indikationer på att så är fallet. Skillnaden mellan en uppföljning och en uppföljande granskning är bland annat att Riksrevisionen i en uppföljande granskning kan komma med ny kritik och att uppföljningsresultatet kommer de granskade och riksdagen till kännedom genom de gängse procedurer som gäller för en granskningsrapport. I de fall den ursprungliga granskningen blivit föremål för en uppföljning är uppföljningsrapporten en naturlig utgångspunkt för den uppföljande granskningen. Iakttagelserna i uppföljningen kan alltså genom en uppföljande granskning göras till ett ”skarpare” instrument än i uppföljningsrapporten.
7.1.2 Utskottens användning av uppföljningsresultaten
Ingvar Mattson har pekat på att riksdagens intresse för effektivitetsrevisionen är relativt svalt.19 En positiv omständighet är dock att riksdagens utskott numera regelmässigt bjuder in riksrevisorerna för att redovisa nypublicerade granskningsrapporter. Mattson framför en förhoppning om att alla utskott ska bjuda in riksrevisorerna för att redovisa granskningar. Han menar dessutom att ansvariga ministrar och generaldirektörer eller motsvarande borde bjudas in oftare, helst inom ramen för offentliga utfrågningar, för att svara på utskottens frågor med anledning av granskningsrapporterna.
Urvalet för den djupa uppföljningen dras så att så många utskott som möjligt ska få med rapporter i uppföljningen. Tanken är att intressera utskotten för uppföljningen och ge information om vad som händer med en granskning efter några år. Uppföljningsinformationen kan ses som ett komplement till den information utskotten i ökande utsträckning får av riksrevisorerna om granskningarna kort efter det att de publicerats.
7.1.3 Övrig användning av uppföljningsrapporterna
Den externa användningen av uppföljningsrapporterna, det vill säga utanför riksdagen och Riksrevisionen, förefaller vara begränsad. Hittills har inte någon
18 Här kan påminnas om några av de syften som uppföljningen kan fylla enligt Intosai:
-identifiera områden som kan vara aktuella för framtida revisionsinsatser
-utgöra underlag för internt förbättringsarbete inom revisionsmyndigheten. Se sid. 1.
19 Riksrevisionen 10 år, Granskning, ansvar, lärande. Kap. 7. Ingvar Mattson var vid bokens tillkomst kanslichef vid finansutskottet. Numera (oktober 2017) en av de tre riksrevisorerna vid Riksrevisionen.
2017/18:UFR2
53
2017/18:UFR2 | BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER |
sådan noterats av undertecknad. I och för sig kan detta inte förväntas. Uppfölj- | |
ningsrapporterna är ett komplement till Riksrevisionens årsredovisning och | |
syftet är inte någon bred extern användning. | |
Ett skäl till det begränsade externa genomslaget för uppföljningsrapport- | |
erna kan vara att det inte görs några särskilda ansträngningar från Riksrevi- | |
sionens sida att göra omvärlden uppmärksam på den. Normalt åtföljs publice- | |
ringen bara av en enkel pressnotis på Riksrevisionens webbplats. |
7.2 Kvalitativt kontra kvantitativt, olika mått på genomslag
Riksrevisionens uppföljning görs i vad som kan benämnas kvalitativa termer. Resultatet av den enskilda granskningen redovisas i en beskrivande text där händelser (åtgärder och effekter) återges i kronologisk ordning så långt som det är möjligt. Det finns alltså inga specifika mått på en gransknings genomslag, utan detta får bedömas utifrån den löpande texten. I den avslutande kommentaren gör Riksrevisionen en bedömning av genomslaget, förbättringar och kvarstående problem. Denna bedömning görs också i kvalitativa termer och relativt försiktigt. Avsikten med uppföljningsrapporten är ju att det är läsaren (och i första hand riksdagens finansutskott) som ska bedöma granskningarnas genomslag, inte Riksrevisionen.
I vissa länder, till exempel Storbritannien och USA, redovisas uppföljningen av genomslag (impact) just i sådana termer som anges ovan.20
Riksrevisionen har hittills avstått från att redovisa genomslaget med hjälp av mått som till exempel andelen genomförda rekommendationer och volymen sparade medel. I ett tidigt skede av utvecklingen av uppföljningen och uppföljningsrapporten togs dock kontakter med Uppsala universitet i syfte att ge universitetet i uppdrag att undersöka möjligheterna att redovisa genomslag med hjälp av denna typ av mått. Kontakterna ledde dock inte till att något sådant uppdrag lämnades.21
En eventuell fördel med sådana mått på genomslag kan vara att de ger stöd för en mer omsorgsfull formulering av en gransknings inriktning och av rekommendationerna.
En nackdel med att formulera nyttan av revisionen i kronor och ören är naturligtvis att det är svårt att fastställa sådana belopp. Det är också resurskrävande att i uppföljningen fastställa beloppen. Kausaliteten är svår att fastställa och måtten kan leda till överdrivna försök att ”vinna hem” medel till statskassan. I länder där detta görs sker det i viss utsträckning via ”förhandlingar” mellan revisionen och de granskade. Det kan leda till överenskommelser där
20 NAO Annual report and accounts 2016-17, highlights och U.S Government accountability office, Performance and Accountability Report Fiscal Year 2016.
21 Vid samma tid kom propåer från finansutskottet att Riksrevisionen borde redovisa kvaliteten i de genomförda granskningarna. Uppdraget till Uppsala universitet kom därför i stället att avse en så kallad cold review av granskningsrapporterna, som universitetet genomför ett antal år.
54
BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
båda parter känner sig nöjda, snarare än att de belopp man kommer fram till är korrekta.
Att räkna andelen genomförda rekommendationer är också svårt. Förutom de svårigheter som tidigare nämnts när det gäller att fastställa kausaliteten mellan rekommendationer och åtgärder/effekter kan måttet också leda till överdrivna försök att nå bra resultat. En fördel kan vara att måttet blir ett stöd för att formulera tydliga och genomförbara rekommendationer.
7.3 Mål för genomslag?
USA och Storbritannien använder, som nämns ovan, distinkta mått i uppföljningen av genomslag. Man har också formulerat mål (targets) i samma termer. Riksrevisionen har inga explicita mål inriktade på genomslag. Det finns alltså inget mått som uppföljningsresultaten kan sättas i relation till. Det finns en omfattande diskussion om både fördelar och nackdelar med mål och om hur mål ska formuleras. Finansutskottet har dock förklarat sig nöjt med den information som ges i uppföljningsrapporterna och har också förklarat att det anser att Riksrevisionen medverkar till en bättre statlig verksamhet.
7.4 Resursåtgång för uppföljningen
De resurser som går åt för att genomföra uppföljningen och uppföljningsrapporten får betraktas som begränsade, även om en sådan slutsats innehåller en värdering. Totalt kostar en uppföljningsrapport ungefär en årsarbetskraft eller cirka 1 700 timmar. Tiden delas ungefär lika mellan rent uppföljningsarbete utfört av granskningsorganisationen å ena sidan och administration och framställning av uppföljningsrapport å den andra sidan. Besparingsåtgärder har redan genomförts i form av att den så kallade basuppföljning 1 slopades.22 Från och med 2014 års rapport redovisades endast djup uppföljning och så kallad basuppföljning 2, som alltså blev den enda basuppföljningen.23 Basuppföljningen omfattade före förändringen cirka 50 granskningsrapporter och halverades från och med 2014. Samtidigt utökades den djupa uppföljningen från 10 till 15 granskningsrapporter. Den besparing som åstadkoms blev troligen marginell. Framför allt minskade administrationen runt uppföljningen. Från och med 2017 utökades den djupa uppföljningen till 20 granskningsrapporter. Den besparing som eventuellt åstadkoms 2014 torde därmed i stort sett vara ”uppäten”. Den mest näraliggande besparing som relativt enkelt kan göras torde vara att låta även den kvarvarande basuppföljningen utgå. Det bör dock noteras att en sådan förändring får till konsekvens att den djupa uppföljningen då inte har någon tidigare gjord basuppföljning som stöd utan får, så att säga, börja från början. Det innebär alltså att besparingen i viss mån äts upp.
22Basuppföljning 1 gjordes 1–1½ år efter att granskningarna publicerades.
23Basuppföljning 2 görs 2–2½ år efter granskningsrapporternas publicering.
2017/18:UFR2
55
2017/18:UFR2 | BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER |
7.5 Organisering av uppföljningsarbetet
För närvarande är uppföljningsarbetet organiserat så att ett sekretariat bestående av två personer ansvarar för genomförandet. Sekretariatet har genom åren haft olika organisatorisk hemvist. Fram till och med 2015 låg det vid enheten för planering och kvalitet (PKE) som fungerade som stab till den dåvarande granskningschefsfunktionen. Från och med 2016 flyttades sekretariatet från granskningsverksamheten till stabsenheten för verksamhetsstöd, numera riksrevisorernas stab. Oavsett de olika organisatoriska omständigheter som rått har uppföljningen genomförts på likartat sätt.
I övrigt består ”uppföljningsorganisationen” av de revisorer som av enhetscheferna utses att genomföra det egentliga uppföljningsarbetet (se ovan, kapitel 4). Uppföljarna ”lånas in” till stabsenheten, som alltså finansierar uppföljningen. Genom detta sätt att organisera uppföljningen engageras ett relativt stort antal revisorer i uppföljningsarbetet. Revisorerna har också att planera in uppföljningen i förhållande till andra uppgifter (i allmänhet granskningsarbete). Ett alternativt sätt att organisera uppföljningen kan vara att ett mindre antal revisorer gör ett större antal uppföljningar per person (och kanske under tiden befrias från andra uppgifter).
7.6 Uppföljningen av den årliga revisionen
Uppföljningsrapporten innehåller också viss information om den årliga revisionen. Informationen har begränsats till att avse endast modifierade revisionsberättelser. Dessa synliggör endast en obetydlig del av den nytta som den årliga revisionen gör när det gäller att förbättra den statliga verksamheten. De modifierade revisionsberättelserna är inte sällan triviala i den meningen att en för sent inkommen årsredovisning med automatik medför en sådan. En inte obetydlig andel av de modifierade revisionsberättelserna avser just fall med för sent inkomna årsredovisningar.
Vid de informella träffarna mellan finansutskottets kansli och Riksrevisionen har det framkommit att för riksdagens del är omfattningen av uppföljningsinformationen om den årliga revisionen tillräcklig.
7.7 Reglering av uppföljningsrapporten, ökad formalitet i uppföljningsarbetet
Riksrevisionens uppföljningsrapport regleras inte i någon av de lagar som styr Riksrevisionens arbete. Som tidigare nämnts (kapitel 1) ansågs inte någon reglering behövas eftersom uppföljning är en handlingsregel som bland annat följer av god revisionssed. Den följer också av Intosais standarder för effektivitetsrevision.
Under åren har arbetet med uppföljningen formaliserats på olika sätt. Framför allt gäller detta i relationerna med Regeringskansliet. Efter några års upp-
56
BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
följning avtalades informellt mellan Riksrevisionens granskningschef och förvaltningschefen i Regeringskansliet att uppföljningen ska anmälas genom ett informationsbrev till respektive departements expeditionschef.24 Därefter ska uppföljaren ta kontakt med expeditionschefen innan kontakter tas med den som fungerat som kontaktperson i granskningen. Om denna person inte längre finns tillgänglig ska expeditionschefen tillfrågas om ny kontaktperson.
När det gäller övriga granskade organisationer ska uppföljningen introduceras via e-post till den tidigare kontaktpersonen för granskningen med kopia till myndighetschefen. Finns inte den tidigare kontaktpersonen kvar sänds förfrågan om ny kontaktperson till myndighetschefen.
Formaliteten har också ökat bland annat genom att de organisationer som berörs av uppföljningen allt oftare begär att få faktagranska utkast till de uppföljningspromemorior som uppföljarna upprättar.
Reaktionerna på uppföljningen kan tolkas som att de tidigare granskade organisationerna känner sig ”granskade en gång till”, trots revisionens försäkran om att uppföljningsinformationen ska användas till att bedöma Riksrevisionen och inte till att ställa organisationerna till ansvar för att de inte gjort tillräckligt.
Den ökande formaliteten i arbetet med uppföljningen kan i sig motivera en reglering av uppföljningsrapporten, med tydliga skrivningar om syftet med den. Kontakter med de tidigare granskade skulle kunna underlättas om uppföljningen var en instruktionsenlig uppgift för Riksrevisionen.25 Bland annat skulle en reglering kunna innebära ett starkare stöd för uppföljarna när det gäller att efterfråga nödvändig information. En reglering skulle också kunna medföra en starkare ställning internt för uppföljningsarbetet i konkurrensen med det ordinarie granskningsarbetet.
7.8 När bör uppföljning ske?
För närvarande genomförs djup uppföljning fyra till fem år efter att en granskning har publicerats. I allmänhet har en rad åtgärder vidtagits med anledning av granskningsrapporterna och åtminstone vissa förbättringar i de granskade verksamheterna kan skönjas. Ibland är dock uppföljningen ”för tidigt ute” för att en slutlig bild av genomslaget ska kunna ges. Det gäller till exempel när granskningar leder till översyn av lagstiftning. Som nämnts tidigare (fotnot 3 sidan 4) kommer också Uppföljningsrapport 2018 att innehålla granskningar som är yngre än fyra till fem år beroende på relativt låg produktion de år som urvalsramen omfattar. Frågan om när uppföljning ska genomföras kan alltså ställas. Den hittillsvarande ordningen har dock inte kommenterats i några negativa ordalag, och uppdragsgivaren riksdagen förefaller nöjd.
24Skälet var att uppföljarnas ”informella” uppdykande i Regeringskansliet orsakade viss irritation.
25Parentetiskt kan nämnas att uppföljningsrapporten i det interna språkbruket räknas som (eller åtminstone har räknats som) instruktionsenlig, tillsammans med årsredovisningen och den årliga rapporten.
2017/18:UFR2
57
2017/18:URF2
BILAGA 3
Av Jan-Eric Furubo
Effektivitetsrevision – förväntningar och identitet
59
2017/18:URF2 | BILAGA 3 | EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | |||
Innehållsförteckning | |||||
1 | Inledning................................................................................................... | 63 | |||
1.1 | Några påpekanden............................................................................... | 64 | |||
1.1.1 | Stor nationell frihet att utforma effektivitetsrevisionen.................. | 64 | |||
1.1.2 | Begränsad forskning och diskussion.............................................. | 65 | |||
1.1.3 | Tveksamt om effektivitetsrevision är en profession....................... | 66 | |||
1.1.4 | Bedrivs på olika håll....................................................................... | 66 | |||
1.1.5 | En språklig fråga och något ytterligare .......................................... | 67 | |||
2 | Den svenska effektivitetsrevisionens framväxt......................................... | 68 | |||
2.1 | Tudelad under två sekel....................................................................... | 68 | |||
2.2 | Några svenska särdrag......................................................................... | 72 | |||
3 | Begränsad forskning om effektivitetsrevisionen....................................... | 75 | |||
3.1 | Vad forskas det om?............................................................................ | 75 | |||
3.2 | Hur kan detta förklaras? ...................................................................... | 77 | |||
3.3 | Är detta ett problem?........................................................................... | 77 | |||
4 | Analyser av statens verksamhet – olika syften med olika | ||||
konsekvenser ................................................................................................ | 80 | ||||
4.1 | Olika syften ......................................................................................... | 82 | |||
4.2 | Tillförlitlighet...................................................................................... | 84 | |||
4.2.1 | Tillförlitlighet i förhållande till olika syften................................... | 87 | |||
4.3 | Generaliserbarhet................................................................................. | 88 | |||
4.3.1 | En andra nivå ................................................................................. | 89 | |||
4.3.2 | Generaliserbarhet i förhållande till olika syften............................. | 90 | |||
4.4 | Teorianknytning .................................................................................. | 91 | |||
4.4.1 | Teorianknytning i förhållande till olika syften............................... | 93 | |||
4.5 | Transparens ......................................................................................... | 94 | |||
4.6 | Relationens karaktär – oberoende eller involverad.............................. | 95 | |||
4.6.1 | En sammanfattande bild................................................................. | 96 | |||
5 | Effektivitetsrevisionens roll och syfte....................................................... | 98 | |||
5.1 | Kontrollinjen ....................................................................................... | 99 | |||
5.1.1 | Innebörden av ansvar och ansvarsutkrävande.............................. | 102 | |||
5.1.2 | Ansvarsperspektivet i revision ..................................................... | 104 | |||
5.2 | Kunskapslinjen.................................................................................. | 106 | |||
5.2.1 | Kunskapslinjen rymmer flera strategier (eller sublinjer).............. | 107 | |||
5.3 | Olika verkansteorier .......................................................................... | 108 | |||
5.1.3 | Motsättningen mellan lärande och kontroll.................................. | 111 | |||
5.4 | Betydelsen av oberoendet.................................................................. | 112 | |||
5.4.1 | Oberoende och förtroende............................................................ | 113 | |||
6 | Riksrevisorernas syn på uppdraget ......................................................... | 115 | |||
6.1 | Uppdraget.......................................................................................... | 115 | |||
6.1.1 | Granskningsplanerna 2004–2008: Skapa förutsättningar för | ||||
ansvarsutkrävande.................................................................................. | 116 | ||||
6.1.2 | Granskningsplanerna 2009–2010: Början på en | ||||
omsvängning.......................................................................................... | 118 | ||||
6.1.3 | Granskningsplanerna 2011/12 – 2014/15: Främjare av | ||||
statens verksamhet ................................................................................. | 120 | ||||
6.1.4 | Granskningsplanerna 2015/16 och 2016/17: Den främsta | ||||
kunskapsproducenten............................................................................. | 121 | ||||
60 |
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | |||
6.2 | Valet av vad som ska granskas.......................................................... | 123 | |
6.2.1 | Problemkriteriet ........................................................................... | 123 | |
6.2.2 Mindre kända problem................................................................. | 124 | ||
6.2.3 | Handlingsfrihet............................................................................. | 125 | |
6.2.4 | Oklara bedömningskriterier.......................................................... | 125 | |
6.3 | Några kommentarer........................................................................... | 126 | |
7 Avgörande frågor för effektivitetsrevisionen.......................................... | 128 | ||
7.1 | Vad är effektivitetsrevisionens särart?............................................... | 128 | |
7.1.1 | Kan olika syften förenas?............................................................. | 129 | |
7.1.2 | Raison d´être och andra effekter – ett sätt att förena olika | ||
synsätt .................................................................................................... | 131 | ||
7.1.3 | Ett tankeexperiment ..................................................................... | 133 | |
7.2 | Vem är effektivitetsrevisionens uppdragsgivare?.............................. | 134 | |
7.2.1 | Oberoendet i ett parlamentariskt system ...................................... | 134 | |
7.2.2 | Relationen till medborgarna......................................................... | 135 | |
7.3 | Underlag för vems ansvarsutkrävande?............................................. | 137 | |
7.4 | Vilket förhållande har effektivitetsrevisionen till politiken? ............. | 138 | |
7.5 | Effektivitetsrevisionens bedömningskriterier.................................... | 142 | |
7.5.1 Målen ........................................................................................... | 142 | ||
7.5.2 | Bedömningskriterier förutsätter inte mål...................................... | 145 | |
7.5.3 | De tre E-na; economy, efficiency, effectiveness.......................... | 148 | |
7.5.4 | Riksrevisionsutredningens diskussion 2009................................. | 150 | |
7.5.5 | Andra värden än de tre E:na......................................................... | 151 | |
7.6 | Vilka frågor kan ställas av effektivitetsrevisionen?........................... | 153 | |
7.6.1 | Frågorna ska avse ”verksamhet”.................................................. | 153 | |
7.6.2 | Frågorna ska kunna besvaras med tillförlitlighet ......................... | 154 | |
7.7 | Bör bedömningar av det som gjorts leda till rekommendationer?..... | 155 | |
7.8 | Finns en risk att effektivitetsrevisionen blir alltför insnävad?........... | 157 | |
7.9 | Fördelning av ansvar mellan regering och myndigheter.................... | 158 | |
Referenser................................................................................................... | 160 |
2017/18:URF2
61
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | 2017/18:URF2 |
1 Inledning
FN:s generalförsamling antog den 22 december 2011 resolutionen Promoting the efficiency, accountability, effectiveness and transparency of public administration by strengthening supreme audit institutions.1 Denna och en efterföljande resolution antagen av generalförsamlingen i december 2014 får ses som de mest auktoritativa uttalandena inom det internationella samfundet om vikten av en statlig revision.2
Generalförsamlingens resolutioner är en del i en process i vilken olika internationella sammanslutningar betonat att en oberoende statlig revision är en förutsättning för att enskilda stater ska kunna delta i olika processer, till exempel inom Världsbanken och olika internationella utvecklingsorgan. Dessa processer tar fasta både på existensen av vad som ibland beskrivs som vanlig revision och en mera utvidgad revision, som kan sägas täcka det som vi i Sverige talar om som effektivitetsrevision och som kan sägas motsvara den engelska benämningen performance audit.
Kravet på att det finns en sådan utvidgad statlig revision är alltså starkt. Den exakta innebörden av dessa allmänna deklarationer är dock inte självklar; de kan tolkas och tolkas de facto på skiftande sätt. Det är därmed inte möjligt att genom studier av hur performance audit bedrivs i Riksrevisionens motsvarigheter (Supreme Audit Institutions, SAI) i olika länder finna någon gemensam syn på vad det innebär att bedriva performance audit. Redan i den första jämförande studien, under ledning av Pollitt, av performance audit i fem olika nationella revisionsorgan urskiljer författarna fyra olika roller ”for performance auditors; as judges/magistrates, as public accountants, as researchers/scientists, or as management consultant/improvers”.3 Pollitt menar att de undersökta nationella revisionsorganen hade valt att placera sig i olika positioner i förhållande till dessa tänkbara roller. I senare studier, där olika nationella revisionsorgans performance audit jämförts, framträder väsentliga skillnader i normer och metoder men också i en rad andra avseenden.4 I riksdagens olika dokument i samband med Riksrevisionens tillkomst, i Riksrevisonsutredningen liksom i material från Riksrevisionen och dess föregångare framkommer att denna pluralism i synen på effektivitetsrevisionen präglat även den svenska diskussionen.
Vad det innebär att bedriva effektivitetsrevision, på vilket sätt den kan bidra till att förbättra statens verksamhet, dess roll i förhållande till uppdragsgivare och de som granskas, vad den kan och bör granska och vilka krav som kan ställas på effektivitetsrevisionens analyser är frågor på vilka självklara svar inte ges, varken i den svenska eller internationella diskussionen. Inte heller
1 A/RES/66/209.
2 A/RES/69/228.
3 Pollitt 1999, s. 210.
4 Bland annat Blume och Voigt 2011, Put 2011 och Lonsdale 2011.
63
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
denna promemoria syftar till att ge slutgiltiga svar på denna typ av frågor. I | |
det följande görs dock ett försök att klargöra innebörden av olika tänkbara | |
synsätt på effektivitetsrevisionen, vad de får för praktiska konsekvenser och i | |
vilken utsträckning de står i konflikt med varandra eller om de tvärtom kan | |
komplettera varandra. Syftet är alltså inte att hävda ett visst synsätts överläg- | |
senhet framför andra synsätt. Syftet är att öppna för en fördjupad diskussion | |
om vilka faktorer som är viktiga vid en diskussion om den svenska effektivi- | |
tetsrevisionen. | |
I det följande kapitlet (2) av denna promemoria beskrivs summariskt några | |
utmärkande drag i den svenska effektivitetsrevisionens utveckling fram till | |
2003. I kapitel 3 beskrivs inriktningen och omfattningen av den forskning som | |
finns om effektivitetsrevision, vilken kommer att användas i de följande ka- | |
pitlen. Därefter, i kapitel 4, diskuteras de syften olika former av analys och | |
utvärdering, med statlig verksamhet som objekt, kan ha. I kapitlet behandlas | |
hur syftet med dessa olika analyser påverkar vilka frågor som kan ställas, valet | |
av metoder och så vidare. Med detta som grund förs därefter (kapitel 5) en | |
diskussion om vad som särskiljer effektivitetsrevision från en rad andra former | |
av analys och kontroll som kan uppfattas som likartade i den meningen att | |
även de har statlig verksamhet som objekt. I denna diskussion presenteras | |
olika synsätt. I kapitel 6 beskrivs hur Riksrevisionens ledning sett på centrala | |
inriktningsfrågor alltsedan 2003. I det avslutande kapitlet (7) lyfts fram ett an- | |
tal frågor av betydelse för effektivitetsrevisionens framtida utveckling och | |
som därmed förtjänar att uppmärksammas i diskussionen om den framtida | |
effektivitetsrevisionen. |
1.1 Några påpekanden
Allra först ska dock några saker kort påpekas, trots att vissa av dem senare kommer att behandlas mera utförligt.
1.1.1 Stor nationell frihet att utforma effektivitetsrevisionen
Det första påpekandet är att det inte finns något som kan ses som en bindande internationell reglering om hur effektivitetsrevisionen ska bedrivas. De krav som ställs på den statliga revisionen kan sägas ligga på en övergripande nivå. Nyckelord som accountability (ansvarsutkrävande) och transparency (transparens) nämns i FN:s resolutioner, men effektivitetsrevision kan utformas inom mycket breda latituder så länge den kan sägas vara ”independent of the audited entite and […] protected against outside influences”.5 Olika vägledande dokument från Intosai (International Organisation of Supreme Audit In- stitutions) är också skrivna för att möjliggöra olika inriktningar av effektivitetsrevision.
5 A/RES/69/228.
64
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | 2017/18:URF2 |
1.1.2 Begränsad forskning och diskussion
Att vikten av statlig revision och effektivitetsrevision betonas betyder inte att vi därmed har en omfattande kunskap om effektivitetsrevision. Även om ett sådant påstående är vanskligt är dock skillnaderna påtagliga mellan effektivitetsrevision och till exempel utvärdering och många andra inslag i det demokratiska statsskicket. Olika litteraturöversikter indikerar att det handlar om några dussin artiklar och böcker, högst något hundratal, som specifikt behandlar effektivitetsrevision snarare än hundratals eller tusentals.6 I den tämligen färska genomgången av Performance audit literature av Tremblay and Malsch beskrivs forskningsläget.
Overall, results suggest that there exist significant differences in how researchers define and approach the concept of performance auditing. From political perspectives to more technical definitions, performance auditing appears as a socially constructed and unstable object of knowledge. Secondly, field studies offer a description of auditors’ practices that tend to differ significantly from official prescriptions and guidelines. […] Third, there are contrasting findings and analysis on the impact of performance auditing. Some researchers see performance auditing, in a rather negative light, as inherently complicit in protecting political structures, while others highlight the critical role of performance auditing in modernizing and transforming public sector’s efficiency. Despite all this insightful research, most surprising is perhaps how little is known about performance auditing. Research on this topic remains fragmented and is far from constituting a robust and coherent body of knowledge.7
Åtminstone ett par möjliga förklaringar till denna brist på forskning ter sig rimliga. En förklaring är att vad effektivitetsrevision har uppfattats vara har berott på det omgivande institutionella sammanhanget. Det gör att forskning om effektivitetsrevision oftast har kommit att handla om vad som faktiskt utförs i de olika revisionsorganen som säger sig bedriva effektivitetsrevision. Det betyder att det som belyses i forskning om effektivitetsrevision är vilka metoder som används, vilka saker som tas upp av effektivitetsrevisionen, hur resultaten av effektivitetsrevision används och liknade ting. Det som forskningen däremot påtagligt sällan behandlar är frågor om effektivitetsrevisionens roll och hur den påverkas av andra inslag i det politiska och konstitutionella systemet.8
En annan tänkbar förklaring är att det helt enkelt inte funnits något särskilt behov att precisera vad effektivitetsrevision är. Under lång tid kunde effektivitetsrevisionen i länder som USA, Nederländerna, Storbritannien och även Sverige ses som en pådrivande kraft för att få till stånd en mera omfattande utvärdering av statliga verksamheter och kanske också bidra med (goda) exempel på hur sådana kunde genomföras. Hur effektivitetsrevision mer precist förhöll sig till annan utvärdering fanns det inte så mycket anledning att fundera över. Som senare kommer att utvecklas kan det hävdas att situationen härvidlag har förändrats.
6 Tremblay och Malsch 2015, Eurosai 2016.
7 Tremblay och Malsch 2015, s. 4.
8 Furubo, 2011, s. 23 - 25.
65
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
1.1.3 Tveksamt om effektivitetsrevision är en profession
Ordet profession används på olika sätt. I forskningen om professioner har olika försök gjorts att mera precist ringa in vad en profession är. Det finns ingen anledning att här gå närmare in på olika uppfattningar inom detta forskningsområde. Många professionsforskare pekar dock på sådant som vikten av mekanismer för att bestämma tillhörigheten till professionen, till exempel i form av utbildning och andra tillträdeskrav. Inom professionen måste det också gå att identifiera någon form av gemensam kunskap för professionen. Det är också så, menar nog de flesta professionsforskare, att tillhörigheten till professionen inte upphör bara för att en anställning upphör. Och även icke professionsforskare menar förmodligen att en läkare fortsätter att vara läkare även när han eller hon är arbetslös eller har övergått till en rent administrativ verksamhet. Ofta framhålls också att en profession karakteriseras av att professionen definierar sig själv på ett sätt som tar fasta på en vidare samhällelig roll och att den som tillhör professionen bejakar någon form av etisk dimension i sin professionella verksamhet, ofta uttryckta i olika kodex.9
I diskussionen om professioner framhålls också att det måste finnas forum för att diskutera frågor som är viktiga för professionen. Det måste finnas organisationer, tidskrifter och så vidare. Hur vi uppfattar professioner och deras hävdande av ett slags exklusivitet är inte självklart, och ligger också utanför föreliggande diskussion. När det gäller effektivitetsrevision är det dock tydligt att det saknas många av de karakteristiska som i olika sammanhang anses viktiga för att vi ska tala om något som en profession. Det kan konstateras att det inte finns sammanslutningar för effektivitetsrevisorer, att det inte ordnas några särskilda konferenser för dem och att det inte finns några särskilda tidskrifter, vare sig för forskare eller praktiker, som specifikt är inriktad på effektivitetsrevision. För att undvika missuppfattningar bör det påpekas att Intosai och till exempel Eurosai (European Organisation of Supreme Audit Institutions) är sammanslutningar av nationella revisionsorgan, inte av dem som arbetar med effektivitetsrevision.
Det är alltså långt ifrån självklart att det skulle gå att beskriva effektivitetsrevision som en profession. Det bör också läggas till att effektivitetsrevision inte är ett akademiskt kunskapsområde i den meningen att det går att utbilda sig till effektivitetsrevisor.
1.1.4 Bedrivs på olika håll
Synen på effektivitetsrevision är starkt påverkad av den internationella uppslutningen kring Intosai. I den forskning som finns om effektivitetsrevision är referenser till olika dokument upprättade av Intosai självklara och frekventa. Detta är naturligtvis rimligt. Samtidigt motiverar det ett påpekande om att ef-
9 En översiktlig bild av diskussionen om professioner med särskild relevans för utvärderingsområdet ges av Schwandt 2018.
66
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
fektivitetsrevision i dag bedrivs i många olika sammanhang och på andra nivåer än de som en SAI kan sägas företräda. Även om vi väljer att begränsa oss till politiskt beslutade verksamheter och organ, bedrivs effektivitetsrevision i dag på en rad olika nivåer, inom lokala och regionala organ.
Detta gör det tydligt att vi pratar om en verksamhet som åtminstone till en del måste diskuteras i mera generella termer. Frågor av den typ som kan sammanfattas med ”Vad handlar effektivitetsrevision egentligen om?” handlar alltså inte enbart om hur de statliga nationella revisionsorganen ser på saker och ting. I detta sammanhang är det dock självklart att ramen för diskussionen är ett statligt sammanhang.
1.1.5 En språklig fråga och något ytterligare
Redan på dessa inledande sidor har ordet effektivitetsrevision använts mer än fyrtio gånger. Det är därför nödvändigt att redan nu säga något om de termer som fortsättningsvis ska användas. I Sverige infördes benämningen effektivitetsrevision först under 1986. I Finland används samma benämning på revisionsmyndighetens svenska webbplats medan den norska revisionen talar om forvaltningsrevisjon. Den verksamhet med liknande inriktning som tidigare bedrevs inom såväl Riksrevisionsverket som Riksdagens revisorer benämndes förvaltningsrevision. I denna promemoria kommer dock, om än med viss tvekan och inte helt konsekvent, benämningen effektivitetsrevision att användas även när det handlar om förhållanden under perioder under vilka andra benämningar användes.
Inom en rad internationella organisationer, Intosai, Eurosai, Afrosai (African Organisation of Supreme Audit Institutions), OECD och Världsbanken används vanligen benämningen performance audit. Även detta kan dock, redan på ett språkligt plan, leda till förvirring. I flera fall är det tydligt att den benämningen har andra konnotationer, på det aktuella språket, än vad vi vanligen förknippar med engelskans performance. Notabelt är också att varken det brittiska NAO (National Audit Office) eller GAO (the U.S. Government Accountability Office) tidigare benämnde sin verksamhet som peformance audit, mer än just när den skulle beskrivas i internationella sammanhang.
2017/18:URF2
67
2017/18:URF2 BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
2 Den svenska effektivitetsrevisionens framväxt
Den statliga revisionens rötter går långt tillbaks i tiden; räknekammaren inrättades av Gustav Vasa 1539.10 Under 1600-talet skedde en utveckling som innebar att den avdelning, kammarrevisionen, inom Kammarkollegiet som arbetade med revision fick en alltmer självständig ställning och etablerades som en självständig myndighet 1695 som drygt ett århundrade senare bytte namn till kammarrätten.11 Det var dock först 1809 som en direkt brygga skapades till dagens Riksrevision genom att det stadgades att ständerna skulle utse särskilda revisorer.12 Efter en 20-årig utredningsprocess sammanfördes 1920 de reviderande funktionerna som legat på olika organ (det 1680 inrättade Statskontoret, kammarrätten och statsbokföringskommittén) till Riksräkenskapsverket.13 År 1943 inrättades Statens Sakrevision, och 1960 slogs Riksräkenskapsverket samman med Statens Sakrevision, som bedrev kameral granskning och sakrevision grundad på den kamerala granskningen, till Riksrevisionsverket.14 I detta kapitel beskrivs den svenska effektivitetsrevisionens utveckling, om än så kortfattat att gränsen till det rapsodiska möjligen överskrids. Avsikten är att fästa uppmärksamheten på vissa särdrag i den svenska utvecklingen.
2.1 Tudelad under två sekel
I ett kapitel i Riksdagens revisorer under två sekel gör Kerstin Ullenhag, ekonomisk historiker, några nedslag i Riksdagens revisorers verksamhet.15 Hon visar att Riksdagens revisorer redan under 1800-talet tog upp frågor som låg nära vad som senare kom att kallas sakrevision. Frågor som togs upp i granskningen år 1872, ett av hennes nedslag, gällde om traktamentsersättningar borde täcka kostnaderna för betjent och vad gäller Nationalmuseum diskuteras lämpligheten av att museet var stängt under jul- och nyårshelgerna då människor hade tid för besök. 1922 tas överbemanningen inom statens järnvägar upp, men också frågor om upphandling och vikten av ”fri och öppen tävling” mellan olika leverantörer. Vissa redovisningsfrågor förefaller ha tagits upp, men kanske mer sådana som knöts till vad vi i dag möjligen skulle tala om som prestationsredovisning, till exempel antalet inköpta kor vid Ultuna eller statistik över fångarnas arbete i fängelserna. Fredrik Sterzel beskriver utvecklingen av verksamheten i termer som bekräftar Ullenhags bild. Den räkenskapsgranskning som förekom inom Riksdagens revisorer minskade undan för undan i betydelse. Detta innebar att ”granskningen från allmänna besparings-
10 Cassel 1996, s. 92.
11 Fredriksson 1980, s. 58.
12 Sterzel 2003, s. 17.
13 Cohn 1966, s. 73, Fredriksson 1980, s. 60.
14 Cassel 1996, s. 93.
15 Ullenhag 2003.
68
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | 2017/18:URF2 |
och rationaliseringssynpunkter (kom) att träda i förgrunden. Sådan granskning kom att dominera från slutet av 1930-talet”.16
Den revisionsverksamhet regeringen förfogade över hade en mera kameral inriktning. Och redan i början av 1900-talet, ungefär samtidigt som auktorisation och oberoende diskuterades på den privata sidan17, fördes en diskussion om den statliga revisionens inriktning. Utvecklingen av revisionen i de olika delarna av samhället hade uppenbarligen även en del gemensamt, vilket tydliggjordes genom att det i flera av de utredningar som behandlade den statliga revisionen också ingick ledande revisorer från den privata sidan.18 Även Riksrevisionsverket som inrättades 1961 hade en kameral inriktning. 1966 beskrev Riksrevisionsverkets dåvarande generaldirektör Gösta Renlund i en intervju verksamheten vid verket med att det sysslar med ” kontroll av statens finanser, dess bokföring och en hel del statistik som har med dessa finanser att göra”.19 Vad sakrevisionen är inriktad på beskriver regeringen några år senare:
Vid den sakrevisionella granskningen kontrollerar Riksrevisionsverket i första hand att de åtgärder eller förhållanden som föranlett kostnader är motiverade och ändamålsenliga. Liksom vid den kamerala granskningen infordras vid behov handlingar som kompletterar räkenskaperna i ett eller annat avseende. Vidare kontrollerar man t.ex. att lämpliga inköpskällor använts och att så förmånliga priser som möjligt erhållits. Vid den sakrevisionella granskningen tillses även att ersättningar för hyror, arrenden, uppdrag m.m. som skall inbetalas till staten är upptagna till skäliga belopp. Som ett led i den sakrevisionella granskningen ingår även besök hos myndigheterna.20
Det fanns därmed långt fram i tiden en verksamhetsmässig uppdelning mellan det som gjordes av Riksdagens revisorer och vad som gjordes i det revisionsorgan som regeringen förfogade över. Regeringens organ var inriktade på räkenskapsrevision och Riksdagens revisorers granskning avsåg mera själva verksamheten.
Genom Riksdagens revisorer ställdes således frågor som gällde själva verksamheten av den statliga revisionen redan under tidigt 1900-tal och till och med tidigare. Detta innebär dock inte att dagens effektivitetsrevision kan ses som utvecklad från dessa tidiga ansatser. Framväxten av den effektivitetsrevision som Riksrevisionen bedriver i dag har i stället att göra med en idémässig import från USA. Den förvaltningsrevision, för att använda den dåtida benämningen, som började bedrivas i slutet av 1960-talet var ett strategiskt medel i införandet av ett nytt styrsystem inom staten. Detta skeende har beskrivits av flera författare, bland annat Erik Amnå och Göran Sundström.21 Det budgetsystem som några år tidigare år hade utvecklats av Rand, en amerikansk tankesmedja som under 1960-talet framför allt arbetade åt det amerikanska försva-
16Sterzel 2003, s. 36.
17Cassel 1996, s. 93.
18Cassel 1996, s. 93.
19Cohn 1966, s. 74.
20Prop 1966/67:79, s. 5.
21Amnå 1981 och Sundström 2003.
69
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
ret, kom under namnet Program Budgeting att importeras till Sverige. I Sverige kom det att uppfattas som lösningen på en rad problem. Den byggde på föreställningar om en stark åtskillnad mellan värdemässiga politiska mål och politikens genomförande som var en teknisk och vetenskaplig fråga. Stefan Lindström beskrev i en rapport till den förvaltningspolitiska kommissionen programbudgeteringens framväxt:
Det var den amerikanska programbudgeteringen som utgjorde inspirationskällan för det svenska reformarbetet. En viktig grund var också det arbete som bedrivits inom bl.a. FOA med att utveckla operationsanalysen och senare systemanalysen. Operationsanalysen hade utvecklats i Storbritannien och USA under kriget. Den var ett försök att med matematiska metoder lösa olika slags militära och logistiska problem. Ledande forskare hade engagerats i de s.k. krigsansträngningarna och förelagts problem om hur konvojer skulle organiseras och jaktflyg fördelas på olika flygfält. Efter kriget kom RAND Corporation, det amerikanska flygets think-tank, att bli ett centrum för vidareutvecklingen av dessa idéer och en rik flora av riktningar uppstod. Objektet för metoderna var inte längre bara försvarsmakten utan också den civila förvaltningen och näringslivet. De problem som skulle bearbetas var därmed av en annan och betydligt mera komplicerad art. Operationsanalysen utvecklades till systemanalys som i sin tur kom att inspirera cost-benefit analys (CBA), policyanalys m.m. Det också vid RAND som programbudgeteringen utvecklades.22
Här ska inte diskuteras vilket faktiskt genomslag programbudgeteringen fick i statsförvaltningen. Det går dock en, åtminstone tämligen, rak linje mellan programbudgeteringen och senare reformer som mål- och resultatstyrning liksom mycket av idéinnehållet i det som under 90-talet kom att beskrivas som New Public Management.23
I efterhand kan det möjligen uppfattas som märkligt att programbudgeteringen sågs som så okontroversiell, även om Sundström konstaterar att Gunnar Sträng förefaller att ha haft en mera reserverad syn på saken. Programbudgetutredningen, som kan betraktas som det grundläggande dokumentet, saknar dock varje ansats till kritisk analys. I ett par stycken konstateras att ”mera principiell kritik” hade framförts av Charles Lindblom och Aaron Wildavsky. Kritiken avfärdas dock raskt, på mindre än en trycksida, och på ett sätt som knappast kan ha ökat läsarnas förståelse för de mera principiella frågor som lyfts fram i kritiken.24 Utan tvekan skrevs Programbudgetutredningen av entusiastiska reformatörer.
Riksrevisionsverket (RRV) blev ett av de centrala redskapen i det reformarbete som påbörjades. Redan innan Programbudgetutredningen presenterades föreslog RRV:s då nytillträde generaldirektör Lars Lindmark en total omläggning av den statliga revisionen, dess roll och dess konkreta verksamhet. Kronologin i den efterföljande reformprocessen har fixerats av andra författare. Emellertid sammanfördes så småningom ett knippe av idéer kring styrning och budgetering till det som kom att kallas Statens ekonomiadministrativa synsätt
22Lindström 1997, s. 21 – 22.
23Se till exempel Lanes diskussion 2000, särskilt s. 28.
24Programbudgetutredningen 1967, s. 75 – 76.
70
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
(SEA) – en tekniskt klingande benämning som kan förmodas ha dolt det förhållandet att det här var fråga om någonting som byggde på föreställningar som både gällde samhällets styrbarhet och relationen mellan förvaltning och politik, men också närmast kunskapsteoretiska frågor. I SEA:s skrifter från 1970-talet finns många av de pedagogiska grepp och beskrivningsmodeller som återkom under de följande decennierna. Resultatanalys, verksamhetsplanering och genomförande beskrevs som en ständigt pågående process, ofta illustrerad som en snurra. En särskild skrift ägnades åt mål och målnedbrytning. Relationen mellan statens intentioner för samhällsutvecklingen och den handfasta verksamheten i myndigheterna beskrevs i termer av ett självreglerande system. Synen på politiken antyds då man framhåller att planeringen måste utformas ”så att den kan anpassas till framtida värdeförändringar. Från planeringssynpunkt skulle det därför vara av stor vikt om man klarare än som sker idag sade ifrån om de formulerade målen är realiserbara med nuvarande värderingar eller om de kan realiseras endast genom värdeförändringar och således måste betraktas som utopiska i nuläget”.25
RRV och Statskontoret var både konstruktörer och pådrivare av de förändringar som skulle ske av den statliga förvaltningen. RRV skulle föra ut synsätt och tekniker. Detta innebar både att mera övergripande idéer och koncept skulle konkretiseras genom olika utvecklingsinsatser och en rad informationsinsatser. Genom dessa skulle de statliga tjänstemännen fås att tänka på ett nytt sätt.
Revisionen skulle vara en del i ett system för att säkra återkoppling av information om tillståndet i den statliga verksamheten. ”Revisionens expertuppgift är att avge omdömen som kan utgöra insiktsfulla och konstruktiva bidrag i den ständiga dialogen mellan statsmakterna och myndigheterna om bästa sättet nå ändamålen med den statliga verksamheten” heter det i en central skrift från RRV 1970.26 Citatet ger uttryck för att förvaltningsrevisionen, trots sitt namn, inte beskrevs och diskuterades i termer av revision. Det handlade om att ge återkoppling och medverka i en dialog i kraft av sin expertkompetens.
För att skapa förutsättningar för denna omorientering skulle den mer kamerala revisionen, liksom den sakrevision som tagits över från Statens sakrevision, föras bort från RRV till särskilda revisionskontor som var knutna till vissa värdmyndigheter. Först 1986 återfördes denna kamerala revision till RRV.27 Originaliteten i detta arrangemang bör framhållas; det är tveksamt om en liknande lösning valts i något annat land.
Det som skedde i slutet av 1960-talet och några år in på 70-talet var alltså en kraftfull omdaning från en revision som, så får väl Rehnlunds beskrivning tolkas, ägnade sig åt räkenskaper och siffror till en revision som såg sig som ett instrument i en omdaning av samhället. Sundström konstaterar att ”RRV
25RRV 1976, s. 38.
26RRV 1970, s. 164.
27Cassel 1996, s. 93.
2017/18:URF2
71
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
hade således på bara några få år förvandlats från ett traditionellt perspektivlöst | |
’kontrollorgan’ till ett toppmodernt och slagkraftigt ’reformorgan’ ”.28 | |
Utvecklingen av Riksdagens revisorer kom att följa utvecklingen av Riks- | |
revisionen på så sätt att den effektivitetsrevision som under de följande decen- | |
nierna bedrevs av riksdagens revisorer, även här först under benämningen för- | |
valtningsrevision kom att likna RRV:s. Beskrivningar av den verksamhet som | |
bedrevs av riksdagens revisorer indikerar inte avgörande skillnader i synen på | |
effektivitetsrevisionen i de olika revisionsorganen.29 Även den bild som getts | |
av Ahlbäck bekräftar detta, en annan sak är hennes intressanta observation att | |
Riksdagens revisorer under den period hon studerat kan bedömas ha varit mera | |
oberoende i sina granskningar än RRV.30 Likheterna mellan effektivitetsrevi- | |
sionen i de två statliga revisionsorganen kan möjligen också ha medverkat till | |
att den dualism mellan personalen från tidigare organisationer, som ofta kvar- | |
står under lång tid efter organisationssammanslagningar, i fallet med Riksre- | |
visionen mycket snart försvann och i stället kom att omvandlas till en spänning | |
mellan personalen och ledningen. Bringselius sammanfattar förloppet då hon | |
konstaterar att ”personnel in the two merging organizations were quite easily | |
united when opposition against management increased”. 31 | |
Den historiska framväxten av effektivitetsrevisionen innebär att den, åt- | |
minstone vad gäller RRV, kom att starkt präglas av tanken att effektivitetsre- | |
visionen i första hand skulle bidra till förbättring och inspiration. I en beskriv- | |
ning av synsätten inom RRV illustrerar Summa och Pollitt detta med ett citat | |
från en RRV-skrift om RRV:s verksamhet och särskilt avseende effektivitets- | |
revisionen: ”From a holistic point of view information and new viewpoints | |
will be intermediated which can seve as inspiration to change and re-priori- | |
tization of state activities. Effective auditing gives incentives to effectiveness | |
and thus fills for the public sector the same role as competition for market | |
driven activities.32 Citatet styrker att effektivitetsrevisionen inom RRV inte | |
diskuterades i termer av en leverantör av nya kunskaper och insikter som | |
skulle påverka aktörer inom staten att handla bättre. |
2.2 Några svenska särdrag
Pollitt och Bouckaert gör i sin breda och jämförande översikt Public Management Reform ett försök att beskriva den statliga revisionens utveckling i tre steg, även om de försiktigtvis påpekar att
”these should be regarded as no more than rough approximations to the complexities of detailed practise within each country and sector”.
28Sundström, s. 124.
29Ullenhag 2003, för en ingående beskrivning av en enskild effektivitetsrevision genomförd av Riksdagens revisorer se Rudeberg 2003.
30Ahlbäck 1999.
31Bringselius 2008, s. 282.
32Pollitt och Summa 1997, s. 331.
72
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
The first stage is that of traditional financial and compliance auditing. Here the basic concern of the auditors is with legally and procedural correctness. Has the money been spent on duly approved objects, through the correct procedures? Is there evidence of unauthorized expenditure or corruption? The second stage is to add investigations of some performance issues but still stay close to financial issues. For example, auditors may be empowered to search for waste, items which have been purchased at unnecessary expense, or items which have been perfectly legally purchased but which are not used very much (the school purchases a computer but no teacher can use it, so it sits in the storeroom). Another extension of traditional audit is to extend it into a deeper questioning of data quality (‘validation’). The figures presented to Parliament or Audit Office may add up, but how reliable are they. Have all transactions been recorded, and recorded accurately? This is, in effect, an audit of the performance of the organization’s internal auditing system. The third stage is the development of full-blown performance auditing as a distinct activity, often with a separate unit or section of the national audit office to develop performance auditing expertise. Full-blown performance auditing may still be concerned with financial issues (economy and efficiency) but it may also move on to look at non-financial performance, for example are visitors satisfied with the national museums, does the national weather bureau forecast the weather accurately?33
Det är inte svårt att känna igen den svenska utvecklingen i denna tre stegsbeskrivning. Några av Ullenhags exempel kan väl sägas vara just ”performance issues” som ligger nära ”financial issues”. Detsamma får väl också sägas gälla den sakrevision som Rehnlund beskrev. Samtidigt visar dock beskrivningen av den svenska utvecklingen att utvecklingen av den svenska effektivitetsrevisionen har haft flera särskiljande, och med varandra sammanhängande, drag.
Det första är att Sverige kan berömma sig av att ha etablerat effektivitetsrevision som en särskild verksamhet mycket tidigt, kanske tidigare än något annat land. Det förefaller dock inte ha lett till att den svenska effektivitetsrevisionen har varit en utgångspunkt eller ett referensobjekt när effektivitetsrevision etablerades i andra länder, som till exempel Storbritannien, Nederländerna osv.
Det andra är att effektivitetsrevisionen etablerades i en organisation som alltså inte bedrev någon annan form av revision. I alla andra länder etablerades den i organisationer som samtidigt bedrev traditionell, eller kameral revision, och redan från början uppstod därför frågor kring relationen mellan effektivitetsrevision och denna traditionella revision.
Det tredje var hur införandet av effektivitetsrevisionen motiverades. Den direkta och uttalade kopplingen till programbudgeteringen fanns inte i till exempel USA, Nederländerna och Storbritannien. I dessa länder sågs i stället etablerandet av effektivitetsrevision som en viktig del i, eller som en strategi för, införandet av utvärdering i den statliga verksamheten. Så var alltså inte fallet i Sverige. En illustration av detta är att i den omfattande skriften (224 sidor) Förvaltningsrevision, utgiven av RRV 1970, nämns över huvud taget
33 Pollitt och Bouckaert 2011, s. 86.
2017/18:URF2
73
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | |
inget av den amerikanska litteraturen kring utvärdering och inte heller den vid | ||
denna tidpunkt begränsade svenska litteraturen.34 | ||
Även om både utvärdering och programbudgetering kan ses som utflöden | ||
av samma amerikanska tradition var inte skillnaden oviktig. I fallet med USA | ||
är det notabelt att när den dåvarande GAO-chefen Elmer Staats introducerade | ||
program utvärdering i GAO 1970, beskrevs denna inte i termer av revision | ||
utan just som utvärdering.35 Verksamheten bedrevs i en särskild organisation | ||
inom GAO som till att börja med kallades The Institute for Program Evalua- | ||
tion (IPE). Eleanor Chelimsky som under många år kom att leda denna verk- | ||
samhet talade om att hon rekryterade människor från en ”mix of evaluative | ||
disciplines… not only psychologists and sociologists, but also economists, | ||
engineers, environmental researchers, and so on”.36 I Nederländerna fick Al- | ||
gemene Rekenkamer under 1980-talet en central roll i att följa och påskynda | ||
utvecklingen av utvärdering, och flera forskare med bakgrund i utvärdering | ||
rekryterades.37 Algemene Rekenkamer fick på samma sätt som GAO en viktig | ||
roll i att etablera synsätt och metoder hämtade från utvärdering. I Storbritan- | ||
nien skapas National Audit Office (NAO) 1981, och genom National Audit | ||
Act 1983 vidgas NAO:s uppgifter till att innefatta ”ecconomy, efficiency and | ||
effectiveness of departmental operations”.38 Det förefaller dock, och här får | ||
det erkännas att tolkningen inte är självklar, att utvecklingen av effektivitets- | ||
revisionen i Storbritannien (som där beskrevs som Value for Money Audit) | ||
var en utveckling som var starkare knuten till den traditionella finansiella re- | ||
visionen än motsvarande utveckling i USA och Nederländerna. | ||
Att den svenska effektivitetsrevisionen i hög grad får ses som en del av en | ||
strategi att implementera programbudgeteringen gjorde att den startade med | ||
andra utgångspunkter än vad som var fallet i en del andra länder. Den svenska | ||
effektivitetsrevisionen blev dock snabbt påverkad av den på framväxande ut- | ||
värderingsvågen och blev i likhet med många motsvarigheter i andra länder | ||
inte bara en del av denna utan också en central kraft i spridningen av en utvär- | ||
deringspraktik i respektive land.39 Derlien beskriver också the Supreme Audit | ||
Institutions som en central förändringsagent i etablerandet av denna praktik.40 | ||
I Sverige kom detta till uttryck genom att Riksrevisionsverket gav ut hand- | ||
ledningar och genomförde utbildningar om just utvärdering. Möjligen blev | ||
just denna roll särskilt accentuerad i Sverige genom att en särskild avdelning | ||
inom RRV svarade för de verksamheter som den 1 juli 1998 överfördes till | ||
Ekonomistyrningsverket. Inom denna avdelning var just stöd till myndigheter | ||
genom utveckling av utvärderingsmetoder, information och utbildning viktiga | ||
verksamheter. | ||
34 RRV 1970. | ||
35 Chelimsky 1997, Oral History Project Team 2009, s.237. | ||
36 Chelimsky/Miller 2009, s. 237. | ||
37 Bemelmans-Videc m.fl. 1994, s. 162 – 165, Bemelmans-Videc 2002 samt egna samtal med | ||
befattningshavare. | ||
38 Gray & Jenkins 1993, s. 55. | ||
39 Sandahl 1993, Vedung m.fl. 2000. | ||
40 Derlien 1990, s.162. | ||
74 |
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | 2017/18:URF2 |
3 Begränsad forskning om effektivitetsrevisionen
På nationell nivå har, med undantag för Sverige, effektivitetsrevision, eller performance audit, etablerats i organisationer som i huvudsak ägnar sig åt traditionell revision. I vissa fall, till exempel Finland, Frankrike och Storbritannien sågs den som en utvidgning av den revision som traditionellt bedrivits i respektive organisation.41 I andra fall sågs den som en ny helt verksamhet – evaluering (utvärdering) – och inte som revision över huvud taget; detta var särskilt fallet i USA när den på 60-talet etablerades inom GAO. Samtidigt var effektivitetsrevisionens egen relation till evaluering, eller utvärdering som man började säga i Sverige under 1970-talet, oklar. Trots detta blev en viktig uppgift för performance audit, under 1980- och 1990-talen, att etablera utvärdering i olika länders förvaltningar. Sedan 1990-talet har också performance audit varit en viktig del i en moderniseringsvåg av Public Administration som inte minst haft organisationer som OECD och Världsbanken som entreprenörer.
Effektivitetsrevision växer således fram i ett landskap av oklara gränser och influenser. Detta, liksom blandningen av människor från olika traditioner, i kombination med de många officiella uttalandena om vikten av effektivitetsrevision, gör att man möjligen skulle kunna förvänta sig en livlig debatt om hur denna verksamhet kan beskrivas, vad som är dess syften och de mekanismer genom vilka dessa syften kan nås. I verkligheten är det dock slående hur lite forskning som finns om effektivitetsrevision. Detta blir tydligt inte bara i jämförelse med till exempel ett område som utvärdering, utan också med ett fält som Public Administration. Även om det är står klart att varje försök att mäta omfattningen av forskningen om effektivitetsrevision leder till frågor om avgränsningar och definitioner, kan det påstås att de artiklar och böcker som publicerats om effektivitetsrevision ryms i tämligen normalstora bokhyllor. De litteraturöversikter som publicerats motbevisar inte detta påstående.42
I de följande kapitlen kommer det att hänvisas till många bidrag till den existerande forskningen om effektivitetsrevision. I detta kapitel ska dock ges en mycket översiktlig bild av inriktningen på denna forskning.
3.1 Vad forskas det om?
Den forskning som finns gäller oftast frågor som är principiellt betydelsefulla utifrån förhållanden i en eller några enstaka länder.43 I en artikel år 2008
41Pollitt et.al. 1999, Appendix 3.
42Eurosai 2016, Tremblay och Malsch 2016.
43Till exempel Ahlbäck 1999, Keen 1999, Morin 2004, Put 2011, Sharma 2007, Reichborn- Kjennerud 2014a, Reichborn-Kjennerud 2014b, Raudla m.fl. 2015, Jeppsen m.fl 2017.
75
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
noteras mera allmänt att “up till now, the – very small – available empirical literature has focused om analyzing the effects of SAI:s within countries”.44 Den forskning som finns fokuserar ofta också på jämförelser – likheter och skillnader – mellan effektivitetsrevision och utvärdering. Detta har rimligen samband med att en stor del av debatten om effektivitetsrevision har initierats av personer som är verksamma inom utvärderingsområdet, och olika inlägg har publicerats i litteratur (tidskrifter och böcker) som i första hand vänder sig till praktiker och forskare inom utvärdering. Detta är till exempel fallet när New Directions for Evaluation gav ut ett särskilt nummer med titeln ”Evaluation and Auditing: Prospects for Convergence” eller Maynes artikel ”Audit and evaluation in public management: challenges, reforms and different roles”
i Canadian Journal of Program Evaluation.45
Exemplen illustrerar också ett allmänt förhållande. Den avsaknad som tidigare nämnts, av tidskrifter, forskningskonferenser och så vidare kring effektivitetsrevision gör att det inte finns till exempel forskningsmiljöer, tidskrifter som är särskilt inriktade på effektivitetsrevision. Artiklar och diskussioner om effektivitetsrevision förs därmed i tidskrifter och på konferenser inom andra forskningsområden. De två mest framträdande är inom utvärdering och public administration. Om man ser på referenserna i olika artiklar kring effektivitetsrevision avser huvuddelen bidrag av författare som också är verksamma inom dessa områden. Härutöver återfinns artiklar om effektivitetsrevision i tidskrifter som är inriktade på revision i allmänhet.
Om beskrivningen av den befintliga litteraturen om effektivitetsrevision utvecklas något är det möjligt att skilja mellan fyra olika aspekter.
•Grundläggande föreställningar; Effektivitetsrevisionens underliggande rational/logik, föreställningar om hur effektivitetsrevisionen kan påverka administrativa och politiska system.
•Skillnader i institutionella och historiska förutsättningar för olika länders effektivitetsrevision (juridisk reglering, relation till parlamentet, tillgång på information och så vidare).
•Praktiken i olika nationella revisionsorgan; Metoder och tekniker som används, vad som granskas, vilka frågor som ställs och vilka bedömningskriterier som tillämpas, hur rekommendationer och analyser används.
•Hur skillnader mellan olika nationella revisionsorgans tillvägagångssätt kan förklaras.
Den litteratur som finns fokuseras på de tre senare aspekterna, och möjligen mest den tredje. Det är emellertid få bidrag som ställer frågor kring grundläggande föreställningar om effektivitetsrevision och dess roll i ett vidare demokratiskt sammanhang. Det betyder inte att detta inte alls har tagits upp i diskussionen.46 Trots detta kan vi påstå att forskning, och mera allmän debatt, om
44Blume och Voigt 2010, s. 216.
45Wisler 1996 resp. Mayne 2006.
46I viss utsträckning diskuteras dessa frågor till exempel av Leeuw 1996, Barzalay 1996, Schwartz 1999, Mayne 2006, Lonsdale och Bemelmans-Videc 2007, Ling 2007, Furubo 2011, Leeuw 2011.
76
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
effektivitetsrevision mest har gällt verksamheten i enskilda nationella revisionsorgan och ibland jämförelser mellan dem.
Det är alltså inte så att vi kan gå till litteraturen och snabbt finna klara, och allmängiltiga, svar på frågan om vad effektivitetsrevisionen ”handlar om”. Däremot kan den litteratur som finns hjälpa oss att förstå olika synsätt och argument.
3.2 Hur kan detta förklaras?
En möjlig förklaring till att forskningen om effektivitetsrevision är så begränsad är att den historiskt förknippas med den statliga revisionen, som vanligen utförs av endast en organisation i varje land. Performance audit har därmed helt enkelt blivit det som dessa organisationer valt att kalla effektivitetsrevision. Denna knytning till en organisation, en arbetsgivare, kan också ha bidragit till att det aldrig uppstått professionella organisationer eller andra fora för dem som bedrivit effektivitetsrevisionen. Det kan till exempel noteras att det inte finns någon tidskrift (journal) som ägnar sig åt effektivitetsrevision medan det finns ett stort antal utvärderingstidskrifter och tidskrifter för vanlig revision.
En annan tänkbar förklaring är att effektivitetsrevisionens roll under lång tid kan ha uppfattats som tämligen oproblematisk. Effektivitetsrevisionen var inte enbart en utvärderare bland många andra utan en dominerande aktör i det europeiska utvärderingslandskapet, något som bland annat framhållits av Derlien.47 De nationella revisionsorganens roll som entreprenör för utvärdering inom staten gjorde att det inte fanns någon anledning, vare sig för dessa organ själva eller för omvärlden, att särskilja det de propagerade för från det de själva gjorde.
3.3 Är detta ett problem?
En berättigad fråga är dock om den bristande forskningen om effektivitetsrevision och de skiftande uppfattningarna om vad den handlar om har varit ett problem. Mycket tyder på att så inte har varit fallet. Tvärtom är det kanske till en del just det förhållandet att effektivitetsrevisionens närmare innebörd har kunnat uppfattas på olika sätt som förklarar dess internationella spridning. Och litteraturen indikerar inte heller att ledningarna för olika nationella revisionsorgan eller deras uppdragsgivare sett detta som ett problem.
Under de senaste 15–20 åren har dock situationen förändrats i flera viktiga avseenden. Sammantaget har dessa förändringar gjort att oklarheten om vad effektivitetsrevisionen är kan ses som problematisk, både för uppdragsgivarna och för effektivitetsrevisionen själv.
47 Derlien 1990
2017/18:URF2
77
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | |
• En kraftfull ökning av utvärderingar. Några tillförlitliga siffor på hur | ||
mycket som utvärderas finns inte, resultatet av varje sådan beräkning beror | ||
på olika definitioner. För svenskt vidkommande har det dock antagits | ||
handla om ett antal miljarder.48 | ||
• En institutionalisering av utvärderingar. Detta kan beskrivas i termer av | ||
”from studies to streams” och att det i ökande grad har skapats system för | ||
utvärdering.49 Denna institutionalisering har också starkt påverkats av de | ||
synsätt som sammanförts under etiketten New Public Management | ||
(NPM). I detta sammanhang kan vi också notera, inte minst i Sverige, att | ||
antalet utvärderingsmyndigheter, med lite olika benämningar har ökat.50 | ||
• En växande diskussion och forskning om fenomen som utvärdering och | ||
revision. Ofta hänvisas här till Powers diskussion om the audit society.51 | ||
Ett stort antal analyser har påvisat negativa sidoeffekter av utvärdering lik- | ||
som begränsningar i användbarheten av utvärderingarna.52 Den debatt som | ||
har förts under ungefär två decennier om negativa sidoeffekter både av | ||
olika performance measurement systems och utvärderingssystem träffar | ||
till en del också effektivitetsrevisionen, inte minst eftersom många nation- | ||
ella revisionsorgan uppfattats som entreprenörer för dessa idéer. | ||
• Ett ifrågasättande av många av de föreställningar om ”public administ- | ||
ration” som präglade forskning och diskussion under de år effektivitetsre- | ||
visionen växte fram, och som till en del kan ses som ”inbäddade” i effek- | ||
tivitetsrevisionen. I detta sammanhang bör det påpekas att det finns ett | ||
komplext samband mellan effektivitetsrevision och de synsätt, nyss | ||
nämnda, som växte fram inom offentlig förvaltning under i synnerhet | ||
1980-talet och som senare sammanfördes under etiketten New Public Ma- | ||
nagement (NPM). NPM påverkade effektivitetsrevisionen på flera sätt. | ||
Som framgått tidigare fick i flera länder, inklusive Sverige, de nationella | ||
revisionsorganen en roll i att genomföra de styrformer som växte fram un- | ||
der 1980-talet. Put har genom att analysera granskningar genomförda av | ||
de nationella revisionsorganen i Nederländerna och Storbritannien studerat | ||
hur de påverkats av olika karakteristika som associeras med NPM.53 De | ||
skillnader han kan konstatera kan förklaras av omfattningen av olika NPM- | ||
reformer i de olika länderna. Motsvarande studier av den svenska effekti- | ||
vitetsrevisionen finns inte. Det framstår emellertid inte som orimligt att | ||
48 För mer än tio år sedan genomförde Kim Forss på Styrutredningens uppdrag en studie i | ||
vilken kostnaderna för utvärdering inom staten skattades. Den avsåg utvärdering utförd inom | ||
myndigheter och Regeringskansliet och beräknade kostnaderna för denna till cirka 2 miljar- | ||
der. Här ingick dock inte all statlig utvärderingsverksamhet och utredningen konstaterade att | ||
en rimlig bedömning var att kostnaderna uppgick till mellan 2 och 3 miljarder (Styrutred- | ||
ningen 2007, s. 141). Stora delar av kommunal utvärderingsverksamhet ligger dock utanför | ||
också denna siffra. Även om exakta beräkningar av olika skäl är svåra att göra ligger kostna- | ||
derna för utvärdering i Sverige i vart fall på ett antal miljarder. | ||
49 Rist och Stame 2006, Leeuw och Furubo 2008. | ||
50 Statskontoret 2014, Sandahl 2018. | ||
51 Power 1994, Power 1997 och Power 2000. | ||
52 Se till exempel de Bruijin 2007, Leeuw 2011, Pollitt och Bouckaert. 2011, Johansson och | ||
Lindgren 2013 och Lindgren 2014. | ||
53 Studie av Put refererad i Put och Bouckaert 2013, s. 230. | ||
78 |
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
anta att NPM starkt påverkat uppfattningen om vad effektivitetsrevisionen ska ställa för frågor och valet av bedömningskriterier.
•En debatt om sådana begrepp som accountability och ansvar. Inte minst gäller detta frågan om olika former av accountability och, vilket nämnts, vilka negativa effekter dessa kan ha men också mera teoretiska frågor.54
•Performance auditing görs i allt fler sammanhang. Detta är inte något helt nytt. Det kan dock hävdas att medvetenheten ökat om att effektivitetsrevision inte bara görs av de nationella revisionsorganen. Det finns i dag flera studier som fokuserar på effektivitetsrevision i delstater, provinser, kommuner etc.55
Den omvärld i vilken effektivitetsrevisionen verkar har alltså förändrats i viktiga avseenden. Effektivitetsrevisionen har i allt högre grad blivit ett av många sätt att bedriva utvärdering, tillsyn, inspektion, granskning och så vidare. Samtidigt problematiseras mycket av det som tagits för givet kring både utvärdering och revision. Detta kan förväntas leda till ökade krav på att klargöra vad effektivitetsrevisionen är och hur den antas verka och bidra till statens verksamhet.
Vad gäller effektivitetsrevision tillkommer också en särskild omständighet. Effektivitetsrevision har, jämfört med andra utvärderingssätt, getts en särskild organisatorisk exklusivitet. I Sverige innebär denna att ansvaret för effektivitetsrevision inom staten ligger på de tre riksrevisorerna. Deras position är reglerad i regeringsformen och ingen, inte heller riksdagen, kan bestämma vilka frågor som effektivitetsrevisionen ska ställa. Och utöver detta finns särskilda procedurer som garanterar att Riksrevisionens rapporter hanteras av riksdagen och att regeringen svarar på vad som framförs i olika granskningar. Det kan hävdas, och här förs en normativ ståndpunkt in, att just denna position gör att både Riksrevisionen och dess uppdragsgivare måste ha en klar bild av varför en effektivitetsrevision behövs och på vilket sätt den kan bidra till att förbättra den statliga verksamheten.
54Se till exempel Pollitt och Bouckaert 2011 och olika kapitel i Osborne 2010 och Bovens 2014.
55Weets 2011.
2017/18:URF2
79
2017/18:URF2 BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
4 Analyser av statens verksamhet – olika syften med olika konsekvenser
Det finns en fråga som ställs med samma frenesi både av de som är verksamma inom effektivitetsrevisionen och av de som forskat om effektivitetsrevision. Den gäller vad som skiljer effektivitetsrevision från andra verksamheter som, för att uttrycka det lite vagt, sysslar med ungefär samma saker. Frågan har dessutom blivit viktigare genom expansionen av verksamheter som benämns som utvärdering, granskning, tillsyn och så vidare. Forskare har gjort försök att besvara denna fråga genom att jämföra till exempel rapporter från organisationer som beskriver sin verksamhet som utvärdering respektive effektivitetsrevision. Detta har dock hittills gjorts i begränsad utsträckning.
Det går också att nalkas frågan genom att utifrån en definition av effektivitetsrevision diskutera vad som bör skilja denna från andra liknande verksamheter. Det problem som vi då ställs inför är att svaret på frågan kommer att bero på hur vi valt att definiera effektivitetsrevisionen. Mot varje svar som ges blir det möjligt att invända att ”jo, det kanske är riktigt om man definierar effektivitetsrevision som du gör, men eftersom jag inte har samma uppfattning om vad effektivitetsrevision är så håller jag inte alls med”. Och som framgått redan i föregående kapitel finns det olika uppfattningar om hur effektivitetsrevision definieras, och en analys om vad som särskiljer effektivitetsrevisionen leder därför lätt in i en återvändsgränd.
För att undvika denna fälla kommer jag därför att i ett första steg diskutera vad som särskiljer eller utmärker effektivitetsrevision på ett mera öppet sätt. Detta innebär att jag i stället för att utgå från en bestämd definition av effektivitetsrevisionen utgår från att utvärderingar/analyser/undersökningar av statlig verksamhet kan ha olika syften oavsett hur de benämns. Med denna utgångspunkt kommer jag därefter att diskutera vilka konsekvenser olika syften får, till exempel i avseende på valet av vilka frågor som ställs, valet av metoder och – inte minst viktigt – synen på analytikerns oberoende.
En fråga som inställer sig när diskussionen förs på detta sätt, blir vad vi ska använda för allmän beteckning på de utvärderingar/analyser/undersökningar som är inriktade på statlig verksamhet. En lösning är att använda utvärdering som en slags paraplyterm. Det är rimligt eftersom de konkreta produkterna som levereras av de organisationer som bedriver effektivitetsrevision, oavsett hur vi närmare definierar den, kan sorteras in under rubriken utvärdering.
Det beror på att det gemensamma för de många definitionerna av utvärdering är att de är mycket breda. En av utvärderingsforskningens förgrundsgestalter Michael Scriven svarar för den kanske bredaste definitionen, som också
80
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
återfinns i åtskilliga läroböcker: ”Evaluation refers to the process of determining merit, worth, or value of something, or the product of that process”.56 Utan att här diskutera den närmare innebörden av Scrivens definition är det inte svårt att se att effektivitetsrevision täcks av denna. Detsamma gäller åtskilliga av de definitioner som andra utvärderingsteoretiker presenterat. Weiss, och många andra, har också valt att definiera utvärdering i förhållande till ett särskilt fenomen, nämligen ”programs and policies”. Weiss definierar utvärdering som the systematic assessment of the operation and/or outcomes of a program or a policy, compared to a set of explicit or implicit standards, as a means of contributing to the improvement of the program or policy (kursiveringar i orginalet).57 Vedungs definition är att utvärdering är en ”noggrann bedömning i efterhand av utfall, förvaltning och beslutsinnehåll samt organisering av offentlig verksamhet, vilken tänkes spela en roll i praktiska beslutssituationer.”58 De två senare definitionerna tar fasta på att utvärdering handlar om bedömning i efterhand. Även om detta inte är en oomtvistad uppfattning så torde det dock stämma väl med kravet i lagstiftningen att granskningen avser ”den verksamhet som bedrivs”.59 Andra definitioner än de som nämnts ovan betonar också aspekter som rör utvärderingens relation till forskning, och Rossi et al inför villkoret att det handlar om ”use of social research procedures”.60 Formulerat på detta sätt kan effektivitetsrevisionens rapporter fortfarande ses som utvärderingar. Oftast kommer därför i detta kapitel utvärdering att användas som en övergripande benämning.
Utvärderingar inriktade på offentlig verksamhet har som ett överordnat mål att bidra till att förbättra statens verksamhet. Det är, som här getts exempel på, till och med en del i många definitioner av utvärdering. Förbättring kan dock ske på olika sätt och det är därför möjligt att ringa in olika syften eller funktioner som utvärdering mera precist kan ha. Dessa avspeglar olika uppfattningar om hur bättring kan komma till stånd på olika sätt och hur utvärderingar kan påverka människor och organisationer. Det är därför också möjligt att tala om olika förbättringsstrategier.
Möjligen kan läsaren tycka att det är lite märkligt att i ett kapitel som är en del av diskussionen om effektivitetsrevisionens särart fortsättningsvis inte nämna ordet effektivitetsrevision. Förhoppningen är att detta ska underlätta den fortsatta diskussionen om vilka syften som effektivitetsrevisionen bör ha.
56Till exempel i Scriven 1991, sid. 139. Scriven använder i andra sammanhang significance som synonym till value, se Scriven 2003, s. 15.
57Weiss 1972a, s. 4.
58Vedung 2009, s. 22.
592 §, lag om revision av statlig verksamhet m.m.
60Rossi m.fl. 1999, s. 4.
2017/18:URF2
81
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
4.1 Olika syften
I den diskussion som förs i utvärderingslitteraturen är frågan om utvärderingens olika syften och konsekvenserna av olika syften central.61 Det finns naturligtvis inte någon indelning som på ett självklart sätt är riktigare än någon annan. Vilken indelning som är fruktbar att använda beror på vad diskussionen handlar om. I den kommande diskussionen ska skiljas mellan fyra olika syften. Det ska dock här skjutas in, för undvikande av missuppfattningar, att syften inte behöver sammanfalla med användning. Frågan om den faktiska användningen av utvärdering, till exempel rituell sådan, tas inte upp i detta sammanhang.
Ett syfte är att förbättra hur olika uppgifter utförs på en operativ nivå, det vill säga att bidra till att mera handfast förbättra eller utveckla verksamheten, syftet kan beskrivas som verksamhetsfrämjande. Det kan handla om hur ansökningar behandlas i en myndighet, genom vilka kanaler man når ut till olika grupper i en statlig informationsinsats, konstruktionen av tjänstgöringsscheman och så vidare. Det handlar om att identifiera styrkor och svagheter i syfte att visa på hur olika uppgifter kan utföras bättre. Ett annat syfte kan vara att förbättra statliga verksamhet på en mera övergripande nivå. Gränsen mellan dessa två kategorier är förstås inte alltid klar och i många fall kan denna finfördelning av syften te sig överflödig. Den framstår dock som praktisk i detta sammanhang. Ett exempel kan tydliggöra skillnaden. En analys som kan vara användbar i utformningen av en kampanj som syftar till att reducera rökning bland ungdomar (formulering av budskapet, valet av kanaler och så vidare) kan föras till den första kategorin. En analys som inriktas på relationen mellan information och andra styrmedel, som till exempel skatter och olika förbud skulle vi rimligen placera under den senare kategorin. Gränsen är därför åtminstone delvis korrelerad med beslutsnivåer. Mera policyorienterade frågor tänker vi oss vanligen också fattas på högre administrativa eller politiska nivåer än de som handlar om själva genomförandet. Utvärderingar kan därför också ha ett mera policyinriktat syfte och beskrivas som policyfrämjande.
Men syftet med utvärderingar av statlig verksamhet kan också vara att informera överordnade nivåer – till exempel medborgarna, riksdagen och regeringen – om hur väl olika verksamheter genomförs till exempel med avseende på hur väl resurser används och i vilken utsträckning det som görs uppfyller olika krav. Syftet är i detta fall att ge ett underlag för att bedöma hur organisationer och befattningshavare fullföljt sina skyldigheter. En viktig del av sådana utvärderingar är att knyta ansvaret för tillkortakommanden och misslyckanden till olika åtgärder som genomförts, eller kanske inte genomförts, av dessa organisationer eller befattningshavare. Det gäller då också att undersöka om dessa aktörer haft faktiska möjligheter att undvika dessa misslyckanden eller tillkortakommanden genom att agera på andra sätt. Och i motsatt fall handlar det om att ta reda på om en framgång kan länkas till hur en organisation eller person agerat.
61 Exempel på indelningar finns i Patton 2008, Halvorsen m.fl. 2016, Stockmann 2016.
82
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
Dessa tre syften har att göra med utvärderingar som är tänkta att användas av individer eller institutioner som på ett eller annat sätt är involverade i den statliga verksamheten. Det är dock även möjligt att tala om ett fjärde syfte som inte omedelbart kan relateras till verksamhetens aktörer. Syftet är i stället att bidra till byggandet av kunskap om hur samhällsproblem kan lösas eller mildras genom olika statliga verksamheter. Utvärderingar kan, lite metaforiskt uttryckt, bidra till den bank av kunskap som kan hjälpa politiker och andra att ta ställning om och på vilket sätt staten kan påverka utvecklingen på olika områden.
Att utvärdering av statlig verksamhet kan ha detta syfte bygger på tanken att statliga verksamheter som har som mål att påverka skeenden i samhället gör detta utifrån en (implicit eller explicit) föreställning om de sociala, biologiska, ekonomiska eller andra mekanismer som på något sätt kan inverka på dessa skeenden. Det kan illustreras med ett enkelt exempel. När staten har försökt påverka människor att sola mindre för att minska frekvensen av malignt melanom, är det uppenbart att informationsinsatserna bygger på föreställningar inte bara om hur solande påverkar risken att drabbas av malignt melanom, utan också om hur människor väger långsiktiga risker mot kortsiktiga fördelar, till exempel hur attraktiviteten påverkas av att vara solbränd. Denna kunskap kan ha byggts upp på många olika sätt. Studier av befintliga verksamheter, olika utvärderingar, är ett sätt. Genom ansträngningarna att förklara varför vissa interventioner lyckats och andra inte, kan bidrag lämnas till denna mera generella kunskap. Det framhålls också inom forskningen om utvärderingen, till exempel när Weiss i en tidig skrift framhåller att under ”appropriate condititions, it [evaluation] can also contribute to the development of basic knowledge […] Finding out how successful these efforts have been, and why, can lead to discoveries about basic concepts of human behavior and social structure – if this research is carried out with care and insight.62 Ett fjärde syfte för utvärdering kan alltså vara kunskapsgenererande och bidra till en slags grundkunskap, för att lite klumpigt, översätta det uttryck Weiss använde.
Detta innebär dock inte att utvärderingar av tidigare statliga insatser är det enda, eller kanske ens det huvudsakliga sättet, att producera sådan kunskap. De flesta, även utvärderingsforskare, skulle inte beskriva en studie av vilka faktorer som påverkar barns läsförmåga, som görs utan något samband med en statlig insats för att förbättra barns läskunnighet, som en utvärdering. Kunskap om varför människor och organisationer (kriminella, statstjänstemän, mindre företag och så vidare) handlar på ett visst sätt och om vilka faktorer som kan påverka deras handlande kan produceras genom forskning i laboratorier, studier av processer i klassrum och på en rad andra sätt som vi inte skulle beskriva som utvärdering, även med de breda definitioner av utvärdering som här har nämnts. Och detta är också fallet om sådan forskning i efterhand faktiskt skulle kunna användas för att konstruera statlig verksamhet. Detta innebär att bedömningar av huruvida ett visst skeende kan påverkas av statliga insatser
62 Weiss 1972a, s. Viii.
2017/18:URF2
83
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
och i så fall hur dessa ska konstrueras många gånger görs utifrån forskning om | |
biologiska, fysiska, psykologiska och andra mekanismer vars framtagande inte | |
har varit relaterat till en specifik intervention. Resonemanget är viktigt, inte | |
minst i detta sammanhang. Om utvärdering beskrivs som all kunskap som kan | |
vara av nytta vid till exempel beslut och genomförande av statliga verksam- | |
heter – ja, då blir det liktydigt med näst intill all kunskapsproduktion.63 En helt | |
annan sak är att utvärderingar kan använda kunskap från olika vetenskapliga | |
studier och att utvärdering i sin tur kan användas av forskare. | |
Att utvärderingar av statlig verksamhet kan ha olika syften är förvisso inte | |
märkligt. Mer intressant är att diskutera konsekvenserna av olika syften, det | |
vill säga på vilket sätt olika syften gör att olika undersökningar skiljer sig från | |
varandra, i avseende på vilka frågor som kan ställas, uppläggning och kanske | |
också användningen av undersökningen. Diskussionen om detta har ordnats | |
under fem underrubriker: Tillförlitlighet, generaliserbarhet, teorianknytning, | |
transparens och relationen mellan utvärderaren och det som utvärderas. |
4.2 Tillförlitlighet
När vi talar om tillförlitlighet kan vi mena olika saker. Läroböckerna talar om reliabilitet och menar med detta att vi ska få samma resultat om vi repeterar en mätning av någonting. Det är alltså viktigt att förändringar mellan mättillfällena ska bero på att det man vill mäta förändrats och inte förändringar i mätinstrumenten. I praktiken kan redan detta grundläggande krav vara svårbemästrat.
Anledningen till att detta avsnitt har tillförlitlighet som rubrik är dock att frågan om tillförlitlighet kan betraktas på ett vidare sätt. Den omfattande diskussion som förts om vad som menas med evidence har gällt just detta. Denna debatt rör teoretiskt svåra frågor. Det är dock möjligt att föra diskussionen utan att, om uttrycket tillåts, trassla in sig i dessa.
Vi ska göra detta genom att på ett mycket praktiskt sätt illustrera problemet. Vid beslut om olika reformer har mål sedan lång tid använts för att ange den bakomliggande politiska viljan. Ett exempel på detta är den studiesociala utredning som för drygt ett halvsekel sedan presenterade de grundläggande dragen i det studiemedelssystem som alltfort existerar. Ett av de mål utredningen angav och som här ska användas i resonemanget, var ”att med studiesociala åtgärder underlätta tillträdet till högre studier för ungdomar från hem med svag ekonomi”.64 En utvärdering som i dag skulle granska på vilket sätt det studiesociala systemet bidragit till förverkligandet av detta mål skulle förmodligen inte kunna leverera speciellt tillförlitliga resultat. Utvärderaren skulle snabbt ställas inför en rad klassiska problem som i princip existerar vid alla effektstudier. Hur ska vi kunna urskilja just effekterna av denna reform från alla de andra faktorer som påverkat utvecklingen och som också påverkar i ytterligt
63 En mera utförlig diskussion av detta förs av Furubo och Karlsson Vestman 2011, s. 4. För en mera principiell diskussion se också Mathison 2008:189.
64 Studiesociala utredningen 1963, s. 32.
84
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
svåröverblickbara processer? Detta problem är, ska det här sägas utan att en rad referenser förs in, centralt i utvärderingslitteraturen och beskrivs i termer av kausalitet, attribution, isolering och på en rad andra sätt.
Dessa svårigheter har ytterst att göra med förhållandet att effekter av en viss aktion inte är något som vi kan direkt observera eller mäta. När vi talar om effekter avses orsakssamband. Det handlar alltså inte enbart om utvecklingen på ett visst område. Att till exempel de mål som riksdagen angett i samband med en viss reform uppnåtts säger ingenting om att det beror på just denna reform. Vi kan föreställa oss att andra saker inträffade ungefär samtidigt som reformen sjösattes. Utvecklingen kunde helt, eller delvis, blivit densamma. Vi kan till och med tänka oss att det blivit ”ännu mera” som politikerna ville utan att till exempel ett visst styrmedel sattes in.65 Att effekter egentligen handlar om skillnaden mellan det som inträffat efter att en viss påverkande faktor satts in och det som skulle inträffat utan existensen av denna faktor har forskare varit medvetna om länge. Gunnar Myrdal framhöll 1934, i en statlig utredning, att verkningarna av en viss finansiell reglering gäller ”skillnaden mellan det ekonomiska händelseförlopp, som utlöser sig vid denna reglering, och det förlopp som utlöser sig vid en annan reglering. I en annan mening än såsom skillnaden mellan två förlopp vid alternativa finansiella regleringar är allt tal om verkningar utan bestämd innebörd”.66
Svårigheten att skaffa sig en bild av vad som skulle skett utan de statliga insatserna, eller vad som hänt om dessa sett annorlunda ut, påverkas av tiden. En tänkt alternativ utveckling skulle ha lett fram till andra handlingsmöjligheter än de som faktiskt förelegat. Den kontrafaktiska utvecklingen kan alltså inte beskrivas som ett förlopp utan blir snabbt ett vittförgrenat grenverk av alternativa utvecklingsförlopp. Lyckligtvis är dessa problem, som förvisso aldrig är okomplicerade, lättare att praktiskt hantera i vissa situationer än i andra.
I vissa situationer är det faktiskt så att vi genom en ingående analys av det aktuella fallet med betydande säkerhet kan säga att några andra faktorer inte kan ha påverkat utvecklingen än just den aktuella statliga insatsen – det är uppenbart att andra faktorer kan beskrivas som konstanta. Om en myndighet genomför, för att ta ett mera administrativt exempel, en teknisk förändring i syfte att påverka handläggningstiderna och andra faktorer som personalens kompetens, personalledning, ärendenas karaktär och så vidare inte förändrats, är det svårt att tänka sig att förändringar i hur lång tid det tar att handlägga olika ärenden påverkats av något annat än den tekniska förändringen. Det finns många situationer där vi kan sluta oss till att förändringar i huvudsak beror på just den åtgärd som är utvärderingens objekt. I andra situationer är läget det motsatta. Vi anser oss kunna vara tämligen säkra på att endast en liten del av
65Ett faktiskt exempel på detta möjliga förhållande gavs redan i en utvärdering genomförd under 1980-talets första del om de statliga insatserna för en bättre energihushållning, Statens Energiverk 1984, s. 103.
66Myrdal 1934, s. 8.
2017/18:URF2
85
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
utvecklingen, och förändringar i denna, kan tillskrivas den insats som utvär- | |
deras. | |
De praktiska problem som utvärderaren ställs inför när det gäller att be- | |
döma effekterna av en viss aktion varierar alltså. I nedanstående figur lyfts | |
fram två av de faktorer som påverkar våra svårigheter att praktiskt hantera | |
dessa problem. Den ena faktorn är det som faktiskt gjorts, den statliga verk- | |
samheten eller om man så vill interventionen, det är det som är Y-axeln i figu- | |
ren. Det staten gör kan vara alltifrån en avgränsad, begränsad insats som pla- | |
ceras längst ner på Y-axeln till ett ”helt paket” av åtgärder som vi placerar | |
avsevärt högre upp på Y-axeln. En informationsbroschyr om energisparande | |
riktad till hushållen får ses som exempel på en avgränsad åtgärd. Avsevärt | |
mera sammansatt är en rad olika informations- och rådgivningsinsatser riktade | |
till olika målgrupper. Än mer sammansatt är statens samlade åtgärder för ener- | |
gihushållning, som kan bestå av lagstiftning, ekonomiska stimulanser och så | |
vidare och riktas till aktörer inom olika samhällssektorer. | |
X-axeln i figuren representerar en tänkt effektkedja, alltså nödvändiga steg | |
i ett kausalt skeende för att det staten gör ska kunna leda fram till det som var | |
det långsiktiga målet. I detta fall antar vi att målet handlar om minskad miljö- | |
påverkan. Om vi vill fullfölja vårt exempel med informationsbroschyren har | |
vi längst till vänster uppmärksammande av information. I exemplet med in- | |
formationsbroschyren får denna antas vara tänkt att leda till vissa kunskaper | |
som i sin tur antas leda till exempelvis beteendeförändringar som leder till | |
minskad energianvändning och bättre miljö. Eftersom X-axeln har samband | |
med tid kan vi säga att ju längre vi förflyttar oss till höger i figuren desto längre | |
tid har gått sedan interventionen gjordes (eller påbörjades). | |
Vad gäller broschyren till hushållen kan vi förmodligen skaffa oss ganska | |
tillförlitlig information om på vilket sätt den kommit fram till hushållen och i | |
vilken omfattning mottagarna ”tagit del” av dess innehåll. Vi kanske till och | |
med kan få reda på hur den påverkat kunskaperna hos olika grupper. Att få | |
reda på hur informationen i broschyren påverkat beteenden är avsevärt svårare, | |
detta påverkas ju av en rad andra faktorer. Än svårare blir det förstås att veta | |
hur denna specifika broschyr påverkat utsläpp och miljön i stort. I de flesta fall | |
skulle en utvärdering av denna informationsbroschyrs effekter förmodligen | |
uppfattas som tillförlitlig enbart så länge utvärderingen håller sig i närheten av | |
a) i figuren. | |
Om vi förflyttar oss uppåt efter Y-axeln handlar det om allt mer samman- | |
satta statliga insatser för att påverka utvecklingen. Högst upp har vi någonstans | |
vad som kan beskrivas som det mera storslagna programmet. Kring detta ställs | |
rimligen också frågor som kan formuleras ungefär som: ”Gör allt staten gör | |
nytta, leder alla satsade miljarder till de mål som riksdagen sa sig vilja | |
uppnå?”. Det är alltså därför lätt att förstå att det politiska intresset många | |
gånger här riktas på punkt b). | |
För läsaren torde det vara uppenbart att påståenden om effekterna av kom- | |
plexa interventioner i än mer komplexa sociala processer har en helt annan | |
karaktär än de omedelbara effekterna av en avgränsad insats. | |
86 |
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
Figur 1: Olika utvärderingssituationer
Det som sagts kan sammanfattas så här:
•Ju längre fram i en effektkedja som man försöker utröna effekterna av en intervention – desto svårare och osäkrare.
•Ju mer aggregerad insats som man försöker utröna effekterna av – desto svårare och osäkrare.
4.2.1 Tillförlitlighet i förhållande till olika syften
Det resonemang som förts här kan nu kopplas med olika syften som utvärdering kan ha. Om syftet är kunskapsgenererande så är det centralt att utvärderingen kan relateras till tidigare kunskap och hypoteser om de mekanismer som påverkar till exempel individers eller företags handlande. Utvärderingen är ett sätt att använda en existerande eller avslutad verksamhet för att bidra till kunskapen om dessa mekanismer. Därmed ska forskare på olika områden bli bättre rustade när det gäller att svara på frågor om huruvida det är möjligt att påverka dessa mekanismer med statliga insatser och hur dessa i så fall kan konstrueras. Konkret innebär detta att om en viss typ av antimobbningsinsatser studeras, eller insatser mot en viss typ av brottslighet, och syftet är att bidra till att öka kunskaperna om olika mekanismer som leder till mobbning eller brottslighet så måste resultaten av studierna kunna återföras till de forskare som sysslar med dessa mekanismer. Även om resultatet är osäkert och öppnar för olika möjligheter (till exempel ”givet antagande si så är det sannolikt att utvecklingen förklaras av faktor X men givet antagande så är det mera sannolikt att faktor Y förklarar utvecklingen”) så kan utvärderingen leda fram till nya hypoteser när den prövas i förhållande till tidigare kunskap.
Syftet förutsätter alltså att kunskapen kan föras tillbaks till forskarsamhället och att det som framkommit i utvärderingen kan verifiera eller falsifiera tidigare antaganden och kanske leda fram till nya hypoteser. När vi här talar om tillförlitlighet handlar det därmed i hög grad om själva utvärderings- eller
2017/18:URF2
87
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
forskningsprocessen. Detta innebär att de tillvägagångssätt som använts i ut- | |
värderingen måste uppfylla vetenskapssamhällets krav. Exakt hur dessa ser ut, | |
och kring detta kan det förstås finnas olika uppfattningar ligger utanför denna | |
framställning. | |
Kraven på tillförlitlighet är andra om det handlar om att få underlag för att | |
bedöma huruvida de som haft ett ansvar har ”skött sig”, och pröva hur ansvaret | |
för att det inte ”gått som man ville” ska fördelas. Självfallet ställs även här | |
krav på processen, men det centrala är att en utvärdering som ska användas | |
som ett underlag för att bedöma olika aktörers ansvar och som därmed kunna | |
vara ett underlag för att utkräva ansvar måste vara tillförlitlig också i en mer, | |
det ligger nära till hands att säga, trivial mening. Det handlar om ett mera sub- | |
stantiellt tillförlitlighetskrav, det måste vara möjligt att säga att ett visst förlopp | |
väsentligen förklaras av den ena eller andra faktorn. Det resonemanget gäller | |
förstås oavsett om det gäller förhållanden inom det statliga produktionssyste- | |
met eller hur de prestationer som förts ut från detta påverkar samhället, även | |
om exemplen i huvudsak gällt det senare. | |
De två syften som senast tagits upp kan ses som ytterligheter och det är | |
tämligen lätt att komma fram till en uppfattning om hur synen på tillförlitlighet | |
påverkas av respektive syfte. Vad gäller de andra syftena är det något svårare. | |
Utvärderingar som görs med ett verksamhetsfrämjande syfte behöver många | |
gånger ge utrymme för olika tolkningar av vad som hänt. Här är ju ofta själva | |
tanken att den utomstående utvärderaren ska interagera med den grupp som på | |
olika sätt är involverad i verksamheten och olika tolkningar blir då kanske na- | |
turliga. När det gäller förbättring på mera övergripande nivå, det som beskri- | |
vits som policyinriktad eller policyfrämjande utvärdering, ställs krav på till- | |
förlitlighet i en mera substantiell mening men samtidigt förefaller det ofta | |
också finnas att en stor acceptans för att det som sägs i utvärderingen är osäkert | |
– inte sällan hänvisar utvärderaren själv till att det är ”för tidigt” och ibland | |
kanske ”för sent”. Mottagarna torde dock förutsätta att sådana utvärderingar | |
tagits fram med beaktande av olika vetenskapliga krav. |
4.3 Generaliserbarhet
Generaliserbarhet kan förstås på olika sätt. En form av generaliserbarhet är avgörande för många samhällsvetenskapliga, men också till exempel naturvetenskapliga, undersökningar. Det handlar om intern validitet. Intern validitet i en utvärdering innebär att den kan besvara frågan om den insats som utvärderingen handlar om faktiskt ledde till observerade effekter. Mera specifikt handlar intern validitet om de kvalitetskrav som följer av att man hämtar data från någon form av urval. Detta urval förutsätts, med viss angiven sannolikhet, kunna ge en bild av den företeelse som undersöks, alltså generalisera till den grupp från vilket urval gjorts.
Att detta kvalitetskrav är uppfyllt gäller i alla sammanhang där undersökningar använder urval. Om en undersökning om den äldre befolkningens resvanor visar att häften av alla individer som är mellan 65 och 70 år reser till
88
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
Italien minst en gång per år bör detta vara korrekt, givet angivna restriktioner, oavsett syfte. En resebyrå som arbetar med att utveckla sin verksamhet skulle förmodligen se det som bekymmersamt om man blev felinformerad.
4.3.1 En andra nivå
Med generaliserbarhet kan dock också menas något mera vittgående, vi kan tala om en andra nivå av generaliserbarhet. Det handlar om att det ska vara möjligt att ”generalisera resultaten utöver det specifika fallet”.67 I litteraturen används inte sällan uttrycket extern validitet. Innebörden förklaras av Cook och Campbell i en ofta citerad passus: ”To what populations, settings, treatment variables, and measurement variables can this effect be generalized?”68 Vad det innebär kan illustreras med ett exempel. En undersökning har gjorts av ett informativt styrmedel för att påverka alkoholkonsumtionen bland studenter vid en viss högskola. Undersökningen har baserat sig på ett urval av studenter vid högskolan och undersökningen uppfyller sådana kvalitetskrav, på den första nivån, att den kan generaliseras till studenterna vid den aktuella högskolan.
En helt annan fråga gäller dock möjligheterna att på grundval av denna studie säga något om vilka effekter en liknande styrinsats skulle ha på studenter vid andra högskolor, på ungdomar som inte bedriver högskolestudier, på medelålders statsanställda etc. För de flesta torde det vara uppenbart att det inte är möjligt att, utifrån denna enskilda studie, generalisera till andra grupper än undersökningspopulationen. Men, kan vi fortsätta att fråga, om det gjorts 23 studier kring liknande informationsinsatser, är det då möjligt att utifrån dessa 23 undersökningar dra slutsatser av mera generell giltighet? Har vi då möjlighet att ange under vilka betingelser och i vilka grupper informativa styrmedel verkar vara ett bra sätt att påverka alkoholkonsumtionen?
Svaret på den frågan är svårare att ge, och mycket av den evidensdebatten, som nyss berörts, har handlat just om detta. Det förefaller rimligt att möjligheterna att dra sådana generella slutsatser är störst då det kan antas att effekterna inte är särskilt beroende av den yttre kontexten. Möjligheterna är mindre om interventionens effekter kan antas vara beroende av den yttre kontexten. Om interventioner sker i dynamiska sociala processer tillförs därmed ytterligare en svårighet.
Det som nu beskrivits är en slags rumslig aspekt. Det är dock möjligt att också föra in en tidsdimension. Många statliga, eller andra, interventioner i samhället kan antas ge upphov till effekter som förändras över tiden. Om vi ännu en gång återvänder till de 23 undersökningarna och tänker oss att vi, faktiskt, lyckats med att dra ett antal specifika slutsatser om under vilka betingelser informationsinsatser kring alkoholkonsumtionen kan ha effekter, så vet vi inte om dessa också gäller i framtiden. Det finns alltså en begränsning i gene-
67Bryman 2011, s. 169.
68Campbell och Stanley, 1963, s. 5. Här citerat efter Mark 2011, s. 8..
2017/18:URF2
89
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
raliserbarheten som avser tid. Frågan är hur giltiga resultaten är inför framti- | |
den, det är ju avgörande om man utifrån de gjorda studierna ska lämna förslag | |
till fortsatta insatser. Det torde vara uppenbart att betydelsen av olika beting- | |
elser kan vara tidsspecifika. |
4.3.2 Generaliserbarhet i förhållande till olika syften
Resonemanget visar på att problemen med att generalisera utöver det enskilda fallets nivå är betydande. Hur viktigt är då denna andra nivå av generaliserbarhet i förhållande till olika syften? Om utvärderingens syfte är kunskapsgenerande, att ge sådan basic knowledge som Weiss talade om, är detta syfte av stor betydelse. Utvärderingen ska då bidra med kunskap som kan användas för att bedöma huruvida olika samhällsproblem kan påverkas av statliga verksamheter, och i så fall hur. För att kunna lämna detta bidrag är det av avgörande betydelse att det ska gå att göra generaliseringar på det som här beskrivits som den andra nivån. Om en utvärdering ska kunna användas för att diskutera hur alkoholkonsumtionen kan begränsas måste utvärderingen, som kanske gällt en insats riktad till en speciell grupp, ge kunskap som kan användas i andra situationer än den som specifikt undersökts. Undersökningen måste därför bygga på tidigare kunskap, och dess resultat måste kunna ställas mot denna tidigare kunskap om vad som kan påverka människor till att använda mindre alkohol. För att en utvärdering med ett kunskapsgenererande syfte ska möjliggöra en prövning av tidigare hypoteser, som på något sätt kan relateras till tidigare existerande kunskap om vilka mekanismer som påverkar ett visst skeende, förutsätts att resultaten kan generaliseras till en högre nivå än det enskilda fall som studerats. Detta gäller både om det handlar om vad som ibland beskrivs som yttre effekter, såsom i alkoholexemplet ovan, eller hur den statliga verksamheten ska organiseras, till exempel av samordning eller relationen mellan centrala och lokala nivåer och så vidare.
När det gäller verksamhetsutveckling och lärande bland dem som mera operativt genomför en verksamhet är nog grundsvaret det motsatta: denna form av generaliserbarhet är av underordnad betydelse. Hur just den specifika verksamheten ska bli bättre är den avgörande frågan. När det gäller att förbättra statliga verksamheter på mera övergripande nivåer, det som här också beskrivits som policyfrämjande utvärdering, är svaret mindre självklart. Re- kommendationer om till exempel avvägningen mellan olika styrmedel förutsätter oftast att man utgår från mera allmän kunskap och teoribildning. Resultaten i sådana granskningar kan därför i vissa fall återföras till forskning, men detta får uppfattas som något sekundärt. Även här är ju det avgörande att ge de som fattar beslut om olika verksamheter ett underlag för att här och nu förbättra det som görs.
Om syftet handlar om att bedöma hur organisationer och befattningshavare fullföljt sina skyldigheter, att ge underlag för ansvarsutkrävande, kan rimligen inte kravet på generaliserbarhet vara centralt. Det som underlaget kan avse är
90
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
ju ansvaret och hur det kan fördelas mellan de som på något sätt har till uppgift att genomföra den verksamhet som utvärderingen avser.
4.4 Teorianknytning
Detta avsnitt handlar om teorier som gäller den verksamhet som undersöks. Dessa teorier kan vara av många olika slag. rent praktiskt, snarare än principiellt, kan vi skilja mellan å ena sidan teorier som gäller de substansfrågor som den aktuella verksamheten är inriktad på och å andra sidan teorier som gäller organisering, mekanismer i organisationer, alltså teorier som kan användas för att analysera till exempel inomstatlig styrning. Teorier som gäller substansfrågorna kan vid en granskning av till exempel arbetsmarknadspolitik gälla hur arbetsmarknaden fungerar, vilka faktorer som påverkar inträdet på arbetsmarknaden etc. eller, om vi granskar en brottsförebyggande åtgärd, vad som motverkar olika typer av brott. De teorier som vi talar om kan hämtas från en rad olika kunskapsområden och traditioner.
Under många år har diskussionen om teorier varit central inom utvärdering. Detta är inte så självklart som det möjligen kan tyckas. I en mera experimentell tradition, som tidigt påverkade utvärderingsfältet och som delvis fått en renässans i delar av evidensrörelsen, hade förklarande teorier en underordnad roll. Redan under 1960-talet kom dock frågan om utvärderingens relation till olika former av teorier att diskuteras. Suchman beskrev vad som senare kom att kallas programteori 1967.69 Under 1980-talet kom diskussionen om teoriernas roll i utvärdering att intensifieras. Allt fler talade och skrev om vikten av ”theorydriven evaluation” och liknande.70 Och därefter har en ström av böcker och artiklar publicerats kring det som kommit att kallas programteori, och det finns en rad enskilda utvärderingsteoretiker som i dag förknippas med just programteori. Särskild betydelse har här realistic evaluation haft, en strömning som förknippas med Pawsons och Tilleys bok Realistic Evaluation som gavs ut 1997. I denna strömning poängteras att program är ”theories incarnate” och utvärderingen måste därför alltid återvända till ”the core theories about how a programme is supposed to work and then interrogate it - is that basic plan sound, plausible, durable, practical and, above all, valid?” Den centrala frågan för utvärderaren är inte ”What works” utan i stället ”What works for whom in what circumstances and in what respects, and how?”71
Program theory är svåröversatt till europeiska sammanhang. Ordet program uttrycker en annan syn på statlig verksamhet än den vi har i Europa. Flera förslag har också kommit på andra benämningar; Vedung står kanske för den bästa. Han har föreslagit att vi ska tala om interventionsteorier.72 Det är förvisso ett bättre uttryck därför att interventioner inte förknippas med någon särskild nivå och inte heller med någon särskild sändare.
69Suchman 1967, särskilt s. 51 – 56.
70Till exempel Chen 1990.
71Pawson and Tilley, 2004, s. 2 – 3.
72Till exempel i Vedung 1997, s. 138 – 139 samt Vedung och Dahlberg 2013, s. 75ff.
2017/18:URF2
91
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
En programteori handlar om antaganden om de olika stegen i den kausala process som gör att avsedda syften kan nås genom en specifik intervention. Rossi m.fl. definierar det som ”the set of assumptions about the manner in which a program relates to the social benefits it is expected to produce and the strategy and tactics the program has adopted to achieve its goals and objectives”.73 Diskussionen om programteorier kan, om en viss frihet i uttryckssättet tillåts, krånglas till avsevärt. För att illustrera en programteori har dock en mycket enkel sådan, översatt till effektkedja, hämtats från en 30 år gammal skrift från RRV. Exemplet handlar om Tullverkets kontrollverksamhet. Det är självklart att det är möjligt att avgränsa verksamheten ytterligare, till exempel till de hundar som tränats till att upptäcka narkotika och stegen mellan satsningen på dessa hundar och deras yttersta syfte – att påverka konsumtionen av narkotika.74 I exemplet har de kausala stegen kompletterats med inlagda antaganden som knyter an till olika forsknings- eller teoriområden. Det praktiska syftet framgår också av att det blir möjligt att föra in andra påverkande faktorer, inklusive statliga insatser. Det är också uppenbart att redan en enkel bild likt den nedanstående kan vara underlag för en diskussion om vilka effekter det över huvud taget är rimligt att försöka fånga in i en utvärdering.
Figur 2: En förenklad program- eller interventionsteori
En intervention är naturligtvis i verkligheten oftast mera komplex än vad som framgår av den förenklade bilden ovan. Delar av den kan träffa den slutliga mottagargruppen direkt, men interventionen kan också träffa olika mellanliggande grupper som i sin tur träffar den slutliga gruppen. Själva implementeringsprocessen kan inrymma olika återkopplingsmekanismer och interaktioner. I verkligheten är det förstås också så att en intervention, även en mycket enkel sådan, kan leda till olika kausala förlopp som leder fram till samma effekt. Det går också lätt att ge exempel på att en intervention kan ha olika mål som vart och ett ger upphov till olika kausala processer. Det är dessutom så att
73Rossi m.fl. 2004, s. 432.
74RRV 1987.
92
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
de kausala förloppen inte alltid är sekventiella på det sätt som figuren antyder. Olika kausala förlopp kan även inrymma spänningar.75
Olika steg i den kausala kedjan kan vara mer eller mindre omedelbart mätbara. Om hastigheten på vägarna har ökat eller minskat är till exempel lättare att få reda på än om föräldrar i ökad grad intresserar sig för sina barns skolarbete. Men oberoende av med vilken lätthet eller hur omedelbart vi kan observera förändringar i de kausala stegen hjälper oss programteorierna också att blottlägga de antaganden som måste vara helt eller åtminstone delvis korrekta för att det föregående steget ska orsaka en förändring i nästa steg. Med ett annat språkbruk handlar det om huruvida något som setts som en förutsättning verkligen är en förutsättning.
De olika antagandena om statlig verksamhet kan delas upp i olika kategorier och vetter åt olika forsknings- och kompetensområden. En grupp av antaganden kan till exempel gälla själva substansfrågan, till exempel sopsortering, start av företag och kalkning av sjöar. Staten vill att företag eller individer ska genomföra vissa handlingar därför att dessa beteenden till exempel påverkar miljön. Antaganden kan gälla till exempel biologiska förhållanden men också sociala eller psykologiska processer. Men statlig verksamhet bygger också på antaganden om vilka mekanismer som leder fram till dessa handlingar. Vad är det som gör att individer kan fås att minska på solandet eller påverkar kommunernas vilja att kalka sjöar? Vad är det som får villaägare att investera i energisparåtgärder? Antagandena handlar oftast om psykologi, organisationsteori, diffusionsteorier etc. Slutligen kan vi tala om antagandena om vad som påverkar förekomsten av faktorer som styr beslut eller beteenden, det vill säga antaganden om utvecklingen av de olika styr- eller påverkansfaktorerna. Hur påverkas till exempel andra finansiärers och informationsgivares agerande av den statliga verksamheten. Många antaganden i denna grupp kan därför också handla om undanträngningseffekter.
4.4.1 Teorianknytning i förhållande till olika syften
Med ett kunskapsgenererande syfte är det förstås avgörande att utvärderaren utifrån existerande kunskap identifierar centrala antaganden om verksamheten. Därmed kan också resultaten av utvärderingen bidra till att pröva riktigheten i dessa antaganden och därmed bidra till förbättrad kunskap om statens möjligheter att påverka en viss utveckling också i framtida situationer som väsentligen skiljer sig från dagens. Detsamma torde i hög grad gälla mera policyfrämjande utvärdering. Även här är det viktigt med en teorianknytning som gör att de frågor som ställs verkligen avspeglar vad som kan ses som relevant och aktuell forskning. Om det handlar om att skapa förutsättningar för att bedöma och fördela ansvar är det viktigt att förstå de kausala antagandena bakom de verksamheter som studeras för att kunna fixera vilka frågor som ska ställas och därmed valet av metoder. Detta blir särskilt viktigt om man, vilket inte är
75 Se till exempel diskussionen om causal paths hos Rogers 2008.
2017/18:URF2
93
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
ovanligt, inte kan undersöka ”hur det gått” med det som anses vara verksam- | |
hetens överordnade mål utan i stället undersöker hur det gått i avseende på | |
förhållanden som kan ses som förutsättningar för det man egentligen vill | |
uppnå. Här handlar det alltså om att kunna troliggöra att det man menar är en | |
förutsättning för något annat verkligen är det. Detta kommer också att disku- | |
teras i följande avsnitt. | |
Endast om syftet är verksamhetsutveckling blir detta krav mera problema- | |
tiskt. Med detta syfte kan det vara naturligt att det genom utvärderingen förs | |
in forskningsbaserad kunskap i verksamheten. Det centrala för utvärderaren är | |
dock att förstå erfarenheterna hos dem som ska genomföra verksamheten. När | |
en rektor tillsammans med lärare och föräldrar beslutat om ett antimobbnings- | |
program och vill ha hjälp att förbättra detta, är det centrala inte hur skolans | |
insatser kan bidra till generell kunskap om sociala och psykologiska mekanis- | |
mer utan om hur mobbningen kan motverkas i den aktuella skolan. |
4.5 Transparens
Transparens översätts ibland med genomsynlighet. I detta sammanhang handlar det om att det ska vara möjligt att förstå de olika stegen i utvärderingsprocessen och varför vissa val träffats framför andra. Det är viktigt i relation till åtminstone tre av de syften som tagits upp här. Vad gäller utvärdering med ett verksamhetsutvecklande syfte framstår kravet som något problematiskt. En utvärdering med detta syfte måste givetvis vara transparent för dem som deltar i den aktuella verksamheten. Det är kanske dock lika viktigt att den är transparent för utomstående. Det kan till och med vara så att själva utvärderingen inte dokumenteras, det viktiga är i stället processen och de diskussioner som förs inom dess ram för att utveckla synsätt och metoder.
Vad gäller de tre övriga syftena är det dock mera självklart. En utvärdering med ett kunskapsgenererande syfte måste vara transparent för forskare som ska kunna relatera utvärderingens analys till tidigare kunskap och de förklaringsmodeller som finns inom olika vetenskapsområden. Detsamma gäller utvärderingar som syftar till att ge underlag till mera övergripande beslut om statens verksamhet på olika områden. För en undersökning med ett ansvarssyfte är kravet på transparens minst lika avgörande. Hur utvärderaren resonerat ska inte behöva rekonstrueras och det ska också gå att förstå varför olika vägval gjorts, varför vissa metoder valts och på vilka grunder olika operationaliseringar gjorts. Det ska gå att utläsa från den skriftiga rapporten. I alla dessa tre sammanhang har kravet också en demokratisk betydelse. Bristande genomsynlighet gör det helt enkelt svårt för alla de som vill följa samhällsutvecklingen, inklusive politiker, att på olika sätt förstå och använda utvärderingar. Detta är ett kvalitetskrav som kan te sig självklart, i praktiken är det förstås inte alltid självklart att det uppfylls, något som kommer att beröras senare i denna promemoria (7.5).
94
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
4.6 Relationens karaktär – oberoende eller involverad
Många av dem som förespråkar att utvärdering kan ha en viktig roll i löpande verksamhetsutveckling framhåller vikten av att den utomstående utvärderaren eller forskaren är starkt involverad i själva verksamheten. Det framhålls också att de som ansvarar och genomför den verksamhet som utvärderas måste vara med och lägga upp utvärderingen, välja frågor, metoder och påverka slutsatser. Det är viktigt att de ”äger” undersökningen. Denna syn på utvärderingens roll är förvisso inte ny, den förknippas i hög grad med Guba och Lincoln och deras diskussion snart 40 år tillbaka.76 Deras diskussion har starka beröringspunkter med än tidigare diskussioner om forskningens roll i förhållande till det som studeras och diskussionen av det som ibland beskrevs som aktionsforskning.
Det som på svenska kommit att kallas löpande utvärdering, eller följeforskning som den också ofta kallats, är ett exempel på en sådan interaktiv syn på utvärderingens och utvärderarens roll. Löpande utvärdering har fått betydelse genom att den kommit att förespråkas av Europeiska kommissionen under benämningen on-going evaluation. Den lärande ansatsen som betonas i löpande utvärdering innebär ett mera interaktivt utförande av utvärderingsinsatserna.77 Ofta framhålls därför att följeforskare/utvärderare behöver träffa och föra en dialog med uppdragsgivare, projektledare, styrgrupper, beslutsfattare med flera för att kunna fullgöra sitt uppdrag. I arbetsuppgifterna ingår att löpande återföra och diskutera upptäckter och slutsatser med involverade aktörer. Program och projektägare ska utifrån nya insikter och kunskaper om sitt program eller projekt kontinuerligt kunna styra om där så behövs, för att bättre kunna uppnå sina mål, alternativt revidera sin målsättning om det krävs.
Graden av oberoende för utvärdering med ett verksamhetsutvecklande syfte kan naturligtvis variera, men det som starkt betonas är en deltagande utvärderarroll där utvärderarens förmåga att ”facilitating learning” är en nyckelfaktor för framgång.78
Helt annorlunda ser situationen ut om vi ser på utvärdering med ett ansvarsinriktat syfte. Vi ska mera utförligt diskutera aspekter på detta i det följande kapitlet. Redan här ska dock framhållas att en prövning och fördelning av ansvar i en verksamhet förutsätter att utvärderaren som har detta uppdrag har en särskild grad av oberoende i förhållande till de som haft ansvar för verksamheten. Självfallet finns här en relation mellan utvärderaren och de som beslutar om och genomför verksamheten. De senare grupperna måste lämna information och ha möjlighet att framföra sina bedömningar men det är långt från den relation som finns, om syftet beskrivs som verksamhetsutvecklande.
Vad gäller mera policyinriktad utvärdering, och också kunskapsgenererande utvärdering, kan det möjligen framstå som självklart att utvärderaren kan beskrivas i termer av oberoende. Här finns dock olika traditioner bland forskare. Oberoendet kan även avse olika saker. Diskussion om oberoende tar
76Guba och Lincoln 1981.
77Vedung och Dahlberg, 2013, s. 116–117.
78Patton 2008, s. 140.
2017/18:URF2
95
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
oftast upp frågan om det kan ses som institutionellt oberoende. Det är dock möjligt att diskutera oberoendet också i termer av utvärderarens relation till den verksamhet som utvärderas. Det handlar om på vilket sätt utvärderaren är präglad av samma synsätt och teorier om verksamheten som dominerar bland dem som beslutar om och genomför verksamheten. Inte minst problematiskt kan detta vara på områden där kontakterna är omfattande mellan utvärderare och forskare å ena sidan och myndigheterna och deras personal å den andra. Denna diskussion tas bland annat upp i en skrift publicerad av the European Group for Public Administration – en skrift med artiklar av olika forskare inom Public Administration. Wim van de Donk diskuterar här att forskarna ofta har ”a close relationship with their object of knowledge”. Han framhåller:
We often see the same movements in the circles of the object as in the circles of the holders of knowledge […]
There was in my view sometimes a fatal symbiosis between the object of knowledge and the scientific study thereof. That was very clearly visible with the advent of the so called ‘new public management’[…] It is surprising to see how much the method and the object of knowledge that was declared applicable to it almost continuously ran into each other.79
Citatet illustrerar att oberoendet har en rad olika aspekter och att varje diskussion om graden av det faktiska oberoendet kan problematiseras. Till en del av detta ska framställningen återkomma.
4.6.1 En sammanfattande bild
Det som nu har diskuterats ska sammanfattas i en enkel bild. Självklart kan styrkan i de krav som följer av olika syften variera och diskuteras. Det viktiga är att kraven på och utformningen av en analys påverkas av analysens syfte. Uppfattningen om effektivitetsrevisionens grundläggande uppdrag, som ska diskuteras i nästa kapitel, påverkar därför också i hög grad kraven på effektivitetsrevisionens produkter.
79 Van de Donk 2010, s. 12.
96
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET 2017/18:URF2
Figur 3: Analys av statlig verksamhet – syften och krav
Olika syften | Verksamhets- | Policy- | Ansvars- | Kunskaps- |
Olika krav | främjande | främjande | inriktad | genererande |
utvärdering | utvärdering | utvärdering | utvärdering | |
Tillförlitlighet | Inte självklart | Process: | Process: | Process: |
Viktigt | Viktigt | Mycket viktigt. | ||
Substantiell: | Substantiell: | Substantiell: | ||
Ganska viktigt | Mycket viktigt | Mindre viktigt | ||
Generaliser- | Ej viktigt | I viss mån | Ej viktigt | Mycket viktigt |
barhet | ||||
Teori- | I viss mån | Mycket viktigt | Mycket viktigt | Mycket viktigt |
anknytning | ||||
Transparens | I viss mån | Mycket viktigt | Mycket viktigt | Mycket viktigt |
Relation | Involvering | Kan variera, | Oberoende | Kan variera, |
viktigt | olika synsätt | mycket viktigt | olika synsätt | |
97
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | |
5 Effektivitetsrevisionens roll och syfte | ||
Hur vanligt förekommande effektivitetsrevision är i olika länder beror förstås | ||
på definitioner och olika avgränsningar. Det förefaller dock vara klart att långt | ||
ifrån alla nationella revisionsorgan bedriver effektivitetsrevision.80 Put och | ||
Bouckaert framhåller att ”on a wordwide scale performance audits are only | ||
conducted by a miniority of SAIs (Supreme Audit Institutions)”.81 Även om vi | ||
enbart ser på OECD-länderna så kan en nyligen genomförd OECD-studie tol- | ||
kas som att performance audit inte heller bedrivs i alla dessa.82 Detta förhål- | ||
lande, tillsammans med det faktum att det som beskrivs som performance au- | ||
dit kan vara något mycket skiftande, kan motivera en mera allmän diskussion | ||
om vad effektivitetsrevision är. | ||
Även om effektivitetsrevision, som framgått av det föregående kapitlet, kan | ||
sorteras in under den övergripande benämningen utvärdering bortfaller inte | ||
behovet av att definiera effektivitetsrevisionen. Förhållandet att en mera av- | ||
gränsad företeelse ingår i en större kategori gör ju inte att behovet av att defi- | ||
niera den specifika företeelsen bortfaller. Och varför, kan det spörjas, måste | ||
en särskild organisation ges en speciellt exklusiv konstitutionell position för | ||
att bedriva just denna form av utvärdering? Frågan kvarstår därmed: Vad är | ||
effektivitetsrevision? | ||
Alla som pläderat för en statlig effektivitetsrevision menar nog att en sådan | ||
bidrar till en bättre statlig verksamhet. Argumenten för effektivitetsrevisionen | ||
skiljer sig därmed inte från till exempel andra former av utvärdering. Gemen- | ||
samt för sådana verksamheter är att de inte i första hand görs för att bygga upp | ||
en allmän kunskap om olika företeelser i naturen eller i samhället. Eftersom | ||
syftet med dem snarare är att förbättra något är också gemensamt för dem att | ||
användningen står i centrum. Produkterna (rapporter, granskningar, artiklar | ||
och så vidare) ska i första hand kunna användas för att beslut om, och genom- | ||
förandet av, statlig verksamhet ska bli bättre. Produkterna, som utvärdering | ||
levererar, ska bidra, för att hämta en formulering från en lärobok i utvärdering | ||
”to social betterment by providing assisted sense-making to the democratic | ||
institutions that are directly charged with defining and seeking that better- | ||
ment”.83 Detta utesluter inte att utvärdering kan ge detta stöd till de demokra- | ||
tiska institutionerna också på ett indirekt sätt genom att forskare kan använda | ||
den kunskap som producerats genom utvärderingar när de ger råd till politiker | ||
och andra beslutsfattare. | ||
På detta plan är det därför svårt att se att effektivitetsrevision skiljer sig från | ||
andra former av utvärdering som har statens verksamhet och statens organi- | ||
sationer som objekt. Det är inte heller möjligt att finna ut vad som är speciellt | ||
80 Angleryd 2014, s. 79. | ||
81 Put och Bouckaert 2013, s. 227. | ||
82 OECD 2016. | ||
83 Mark m.fl.2000, s.7. | ||
98 |
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
med effektivitetsrevision genom att se på det som konkret görs under etiketten effektivitetsrevision. Det är alltså föga märkligt att skiljelinjen mellan effektivitetsrevision och annan utvärdering kanske är den fråga som, åtminstone under de senaste 25 åren, diskuterats mest i olika inlägg som sökt ringa in vad effektivitetsrevision handlar om.
Ett sätt att nalkas frågan är, givet utgångspunkten att olika former av utvärdering syftar till förbättring, ställa frågan om det finns skillnader i uppfattningen om hur denna förbättring kan komma till stånd. Och det är möjligen just i synen på vilka olika mekanismer som kan leda till förbättring vi kan finna effektivitetsrevisionens särart.
I litteraturen om utvärdering, och också den som specifikt är inriktad på effektivitetsrevisionen, besvaras frågan om hur sådana verksamheter kan leda till förbättring efter två olika linjer. Den första framhäver kontrollelementet och tanken att de som har fått ett ansvar för att göra något måste kontrolleras. Den andra linjen framhäver kunskapselementet. Den kunskap som tas fram, och som bibringas människor som deltar i olika processer, leder till lärande och som följd av detta fattas klokare beslut och verksamhet genomförs bättre. I forskningen om effektivitetsrevision ses inte sällan kontroll och lärande som motsatspar. Till exempel diskuterar Lonsdale och Bemelmans-Videc hur olika former av utvärdering och effektivitetsrevision i förhållande till hur de står ”with regard to accountability and learning”.84 Förhållandet mellan kontroll och lärande har även under de allra senaste åren tagits upp i flera forskningsbidrag rörande effektivitetsrevisionen. Det finns därför anledning att mera utförligt diskutera grunderna för dessa olika synsätt på effektivitetsrevision och också att ställa frågan om på vilket sätt de är förenliga.
Det som diskuteras i det följande är det vi kan tala om som effektivitetsrevisionens raison d’être eller existensmotiv. Diskussionen om detta måste dock skiljas från de faktiska effekterna av effektivitetsrevisionen. Även något som i första hand görs för att öka kunskaperna eller stödja utvecklingen av en verksamhet kan identifiera brister i verksamheten som i sin tur kan leda till konsekvenser för befattningshavare. Även med ett renodlat ansvarsperspektiv måste den enskilda granskningen läggas upp på ett sådant sätt att man blottlägger praktiska svårigheter och alternativa lösningar som kan leda till förbättringar.
5.1 Kontrollinjen
Behovet av kontroll inom staten finns uttryckt genom dokument skrivna långt innan demokratins framväxt. Accountability blir dock viktig också i diskussionen om demokratins funktionssätt. Tanken att en agent har, för att låna en formulering från Lewins bok Democratic Accountability en ”duty to account for his actions to his principal, who in turn can punish him if he fails to perform
84 Lonsdale och Bemelmans-Videc 2007, s.12.
2017/18:URF2
99
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | |
according to expectation”85 får en annan innebörd när det är folket som är prin- | ||
cipal. I den tidiga diskussionen om USA:s styrelseskick framhölls att legisla- | ||
turen är ”…at the same time accountable to the society over which they are | ||
placed”.86 Året efter att, förmodligen, Madison skrev detta förklaras i den fem- | ||
tonde artikeln i 1789 års deklaration om människans och medborgarnas rättig- | ||
heter, anslagen på central plats i Cour des Comptes i Paris, vikten av att alla | ||
som innehar ett offentligt uppdrag är skyldiga att redovisa för sitt uppdrag87. | ||
Resultatet från den aktuella forskningen kring accountability ligger långt | ||
från dessa mera högstämda deklarationer. Inte sällan handlar forskningen om | ||
de negativa konsekvenserna av olika former av system som byggts upp i syfte | ||
att stärka möjligheterna att hålla olika befattningshavare accountable och ge | ||
underlag för ansvarsutkrävande. Innan något mera sägs om detta ska dock en | ||
fråga som inte sällan väcks behandlas. Det påpekas inte sällan att ansvarsut- | ||
krävande och accountability inte alls täcker varandra. Detta är naturligtvis en | ||
viktig synpunkt eftersom det påverkar hur den forskning som handlat om till | ||
exempel system för accountability kan överföras till vår svenska diskussion | ||
om ansvarsutkrävande. Det kan därför finnas anledning att något kort disku- | ||
tera vad som skiljer och vad som förenar de två orden. | ||
Både accountability och ansvarsutkrävande har ett bakåtriktat ansvarspers- | ||
pektiv. Det handlar om att någon som har ansvar – i en framåtriktad mening – | ||
för att ”sköta om” en uppgift också har att bära konsekvenserna för olika till- | ||
kortakommanden. Orden gör det dock med olika ”ingångar”. Accountability | ||
börjar med informationsfrågan. Den som är accountable är enligt Oxford Dic- | ||
tionary: ”Required or expected to justify actions or decisions”.88 Behn påpekar | ||
också att de formella språkliga definitionerna inte innehåller någonting om | ||
”punishment”.89 En mera korrekt översättning av ”to be accountable” skulle | ||
alltså vara ungefär ”att vara redovisningsskyldig”. Men som Flint framhåller, | ||
accountability handlar också om sanktionsmöjligheter90, något Lewin också | ||
påpekade i citatet ovan. Marie-Louise Bemelmans Videc framhåller, efter en | ||
genomgång av litteraturen på området, att accountability inte bara handlar om | ||
en skyldighet att ge information. Hon konstaterar att ”to sanction is a vital part | ||
of that relation” (kursiverat i original).91 | ||
När vi använder det svenska ordet ansvarsutkrävande är vår ingång i stället | ||
just sanktionsfrågan, de möjliga konsekvenserna (som också kan vara posi- | ||
tiva). Ansvarsutkrävande säger, formellt språkligt, ingenting om att det före- | ||
ligger någon form av informationsskyldighet. Men för att ansvar ska kunna | ||
utkrävas skapas olika arrangemang som säkrar att den underordnade nivån, | ||
eller personen, har en skyldighet att lämna information om utförandet av olika | ||
85 Lewin 2007, s. 4. | ||
86 Federalist Papers, nr. 55, 15 februari 1788. Beträffande nr. 55 av Federalist Papers är det | ||
inte helt klar om Madison eller Hamilton var författare, kongressens hemsida anger båda som | ||
möjliga. De flesta forskare förefaller dock anse att det var Madison. | ||
87 La Société a le droit de demander compte à tout Agent public de son administration. | ||
88 Oxford Dictionary 2005. | ||
89 Behn 2001, s. 4. | ||
90 Flint 1988:24. | ||
91 Bemelmans-Videc 2007, s. 24. | ||
100 |
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
uppgifter. Att termen ansvar har en tydlig etymologisk koppling också till skyldigheten att redovisa och försäkra framgår av Hellquists etymologiska ordbok92 och också den tämligen omfattande artikeln om ansvar i Svenska akademiens ordbok.
De engelska och svenska orden kan därmed sägas täcka olika delar i en process. Engelskans term tydliggör kravet på redovisning men implicerar sanktioner om det som sägs i redovisningen, eller framkommer på annat sätt, inte är tillfredsställande. Svenskans term tar fasta på sanktionerna men implicerar också skyldigheten att lämna redovisning.
Oavsett dessa olika ingångar finns det i dag en omfattande forskning om de bieffekter som uppträtt i samband med de reformer som syftat till att skapa bättre accountability och ansvarsutkrävande. Redan för tio år sedan kunde Styrutredningen referera till en omfattande forskning. Denna forskning tar särskilt upp de negativa effekterna av olika former av mätningar av prestationer. Det får anses som välkänt att krav på sådana mätningar skapar incitament för strategiska beteenden som gör att produktionssystemet ökar mängden prestationer i förhållande till vissa kriterier, trots att dessa prestationer inte är de som är mest ändamålsenliga i förhållande till målen med verksamheten. Verksamheten riktas mot sådana typer av ärenden, eller grupper av människor, där det är lätt att kvantifiera att verksamheten är framgångsrik. Forskningen har pekat på att sådana mätningar kan motverka innovationer, att förhållanden som inte är jämförbara ställs mot varandra och så vidare. Den omfattande forskningen kring dessa negativa sidoeffekter och fenomen som goal displacement refereras i Styrutredningens betänkande för tio år sedan.93 Därefter har detta belysts ytterligare av olika forskare.94 Under de allra senaste 2 – 3 åren är det också uppenbart att debatten om de effekter som här berörts har kommit att spridas till fler grupper och också kommit att bli en del av en mera spridd och allmän diskussion.
I den kritiska diskussionen av ansvarsutkrävande – för att använda det svenska ordet – pekas också på riskerna för ett ”se-bakåt-tänkande” och jakt på syndabockar. Det viktiga nu, har vi hört företagsledare – och ibland politiker – säga, är inte att se bakåt utan i stället se vad som kan göras för att saker och ting ska fungera bättre i framtiden. Samtidigt har allmänheten konfronterats med en rad avslöjanden, inte minst gjorda av journalister, om missförhållanden i inte sällan skattefinansierad verksamhet. Upprördheten är ofta betydande och ibland ställs också frågor om varför statens organ inte själva upptäckt missförhållandena.
Mot denna bakgrund är det ofrånkomligt att i en diskussion om den grundläggande synen på effektivitetsrevisionen något utförligare diskutera innebörden av ansvar och ansvarsutkrävande och också förhållandet mellan lärande och kontroll.
92Hellqvist 1980.
93Styrutredningen 2007, s. 167–169.
94Till exempel Lindgren 2014, Pollitt och Bouckaert 2011, Leeuw 2011 och Perrin 2018.
2017/18:URF2
101
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
5.1.1 Innebörden av ansvar och ansvarsutkrävande
Ovan berördes innebörden av ansvarsutkrävande i samband med diskussionen om hur detta svenska ord förhöll sig till accountability. Om innebörden av ansvarsutkrävande något utvecklas förutsätter ansvarsutkrävande att en uppdragsgivare ställer krav på en utförare eller uppdragstagare och att uppdragsgivaren har rätt att vidta åtgärder som kan vara negativa för uppdragstagaren om inte denne fullgjort sina skyldigheter (och förstås positiva åtgärder i motsatt fall). Denna relation ger en dubbel innebörd åt ansvar. Ansvar har en framåtriktad dimension och kan därmed översättas med uppgift eller skyldighet.95 (se till exempel Norstedts synonymordbok 2004 och Svenska akademiens ordbok). Men ansvar används också i en bakåtriktad betydelse. Det handlar om, som framhålls ovan, någon form av konsekvenser som kan följa om genomförandet av dessa skyldigheter brustit. Synonymordboken ger här bland annat alternativen ”bära följderna” och ”stå till svars”.
De två innebörderna har ett tydligt samband. Det är först om det finns ett ansvar i den framåtriktade betydelsen som vi kan anse att någon ska stå till svars eller bära konsekvenserna när skyldigheten inte fullföljts eller att den som hade att genomföra den på något sätt felat. Ansvar kan alltså inte utkrävas av en person (eller institution) för något mer allmänt missförhållande, även om detta missförhållande alldeles uppenbart står i strid mot olika förväntningar och till exempel uppdragsgivarens beslut. De konstaterade problemen måste gå att koppla samman med agerandet hos någon person eller institution. Den som hålls ansvarig måste ha haft befogenhet att agera, och det är detta agerande, eller bristen på agerande, som ska visas ha orsakat missförhållandet.
Det som här sagts innefattar ett slags befogenhets- eller kapacitetsprincip. Att utkräva ansvar för något av någon som inte haft någon möjlighet, inte ens potentiellt, att påverka det som skett skulle anses stötande. Men ansvarsutkrävande bygger också på en kausalitetsprincip, det måste gå att visa att det som har skett har samband med det som den ansvarige gjort eller underlåtit att göra.
Ansvarsutkrävande förutsätter också att uppdragstagaren har getts en bild av vad han eller hon förväntas göra, vilka krav som ställs på beteenden, verksamhet, prestationer, information som lämnas och så vidare. Kraven som ställs på uppdragstagaren måste alltså – på någon nivå – ha existerat i förväg. Detta ”förvägskriterium” innebär inte att kraven måste vara uttryckta i detalj. I en diskussion om ansvar, revision, accountability och ansvarsutkrävande talas ibland om förväntningar.96 Vissa krav kan anses ligga i ett uppdrags natur. Det kan förutsättas att den som åtagit sig ett visst uppdrag också accepterat vissa krav även om de inte tydliggjorts. Det går också, för att låna en formulering från Katastrofkommissionen, att diskutera huruvida till exempel politiker och tjänstemän levt upp till de krav som ”situationen ställt dem inför”.97
Det är alltså inte självklart, något som diskuteras på annan plats i denna promemoria, att bedömningar av brister i uppdragstagarens agerande enbart
95Se till exempel Norstedts synonymordbok 2004 och Svenska akademiens ordbok.
96Se till exempel Flint 1988 och Behn 2001.
972005 års Katastrofkommissionen, s. 65.
102
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
ska baseras på kriterier som mer explicit följer av de beslut uppdragsgivaren har fattat om den specifika verksamheten eller beslut som fattats som gäller till exempel alla myndigheter. Sådana krav måste kompletteras med professionella eller yrkesmässiga krav. Det kan också antas att riksdagen förutsätter att statlig verksamhet inte ska underskrida vad som betraktas som normal standard, givet olika expertnormer, vad gäller de aktuella prestationerna. I vissa fall finns sådana professionella normer uttryckta som ett slags ”överkrav” i olika verksamheter, till exempel när man i medicinska sammanhang talar om ”vetenskap och beprövad erfarenhet”.
Vi föreställer oss också att hur detaljerat kraven uttrycks till en del beror på vilken hierarkisk nivå det handlar om. Ju ”högre upp” desto fler handlingsalternativ står till buds. Det som är en förutsättning på en lägre nivå kan den högre chefen undanröja. I sin klassiska bok Speaking Truth to Power illustrerar Wildavsky detta med att ett beslut på en högre nivå kan gälla fördelningen av resurser mellan ”national parks and urban recreation” medan de som har ansvaret för att ”run the parks” fattar beslut om fördelningen av resurser ”within parks”.98
En annan aspekt är att kraven kan tänkas avse företeelser som är mer eller mindre direkt kopplade till den verksamhet som bedrivs. Dessa delas in på olika sätt i olika sammanhang. En aspekt av detta fångas dock in om vi tänker oss skalan från olika former av finansiella krav, to ”account for the money”99 till effekter av verksamheten. Rent principiellt kan ansvarsutkrävande kopplas till vad som helst på denna skala. Det bör dock framhållas, som senare kommer att diskuteras, att det kan vara avsevärt svårare att koppla effekter av en myndighets verksamhet till vad en myndighetsledning gjort än till exempel formerna för representation i myndigheten. Krav kan också stå i konflikt med varandra. Forskare menar, som här nämnts, att ett starkt betonande av procedurer och hantering av pengar kan stå i konflikt med innovativitet och flexibilitet som – kanske – positivt skulle kunna befrämja verksamheten. Efterlevnaden och uppfyllandet av kraven kan också vara mer eller mindre svåra att kontrollera.
Kontroll kan kanske beskrivas som bryggan mellan det framåtsyftande och det bakåtriktade ansvaret. För att utkräva ansvar måste det finnas en kontroll av om den som tilldelats ett ansvar levt upp till de krav som ställs. Kontrollen kan gälla både vad uppdragstagaren faktiskt gör och hur denne beskriver det som gjorts. Det innebär också att det är svårt att tänka sig styrning utan kontroll. Om uppdragsgivaren helt lämnar uppdragstagaren åt sitt öde skulle vi knappast kunna tala om styrning. I realiteten skulle ju en sådan situation innebära att uppdragstagaren, åtminstone när uppdragstagaren inser att det inte förekommer kontroll, kan göra precis det han eller hon behagar.
Kontroll har både beskrivande och förklarande inslag. Det är självklart att kontroll förutsätter att vad som faktiskt hänt reds ut. Det gäller både om frågan
98Wildavsky, 1979, s. 217.
99Behn 2001, s. 7.
2017/18:URF2
103
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
handlar om till exempel ärendehandläggningen i en myndighet eller om det | |
gäller utvecklingen av miljöfarliga utsläpp. Men kontroll förutsätter också att | |
det som skett förklaras, det måste gå att koppla det som skett till en eller flera | |
aktörers agerande. Det innebär att det ska vara möjligt att påvisa om konstate- | |
rade brister i en verksamhet skulle ha kunnat undvikas om den som haft ett | |
visst uppdrag har haft faktiska möjligheter att agera annorlunda och på ett sätt | |
som gjort att dessa brister skulle ha kunnat undvikas eller begränsas. I kontroll | |
finns dessutom ett värderande inslag: Hur allvarliga är bristerna och kan de | |
ursäktas? |
5.1.2 Ansvarsperspektivet i revision
Det vi kan tala om som vanlig revision bygger på tanken att de som anförtros att sköta något för någon annans eller några andras räkning måste kontrolleras.100 Diskussionen av kontrollinjen kan därför börja med att försöka att beskriva revision i allmänhet på ett så renodlat sätt som möjligt. En sådan renodling innebär att vi försöker beskriva revisionen som en idealtyp (Gedankenbild) för att använda Webers term, bortseende från alla de variationer och reservationer som måste föras in när vi talar om hur revisionsverksamhet praktiskt bedrivs.101
En sådan renodling förutsätter att vi går tillbaka till vad som kan ses som grundläggande postulat gällande revision. I Philosophy and Principles of Au- diting (1988) gör David Flint ett försök att konstruera ett antal postulat för revision. Hans första postulat är ”the primary condition for an audit is that there is a relationship of accountability or a situation of public accountability”.102 Han delar upp detta första postulat i flera delar. Den första delen (1a) är att det finns ”a relationship of accountability between two or more parties in the sense that there is a duty of acceptable conduct owed by one party to the other party or parties”.103 Den enklaste formen av en sådan relation ”is a situation in which two parties can be specifically identified”.104
Den relation Flint talar om kan existera på olika nivåer och kan också ses som en kedja av accountability relations. I sin bok Rethinking Democratic Accountability utvecklar Robert. D. Behn resonemanget genom att tala om accountability holder or holdees och konstaterar att vi kan vara accountability holder i en relation och accountability holdee i relation till en överordnad nivå.105 I denna kedja är det i demokratiska samhällen väljarna som ytterst utkräver ansvar.
I alla relationer i denna kedja finns ett essentiellt element och det är ”that the actions of the first party […] are subject to scrutiny by another group or
100 I redovisningsrevision används ordet kontroll ofta på ett annat sätt än vad som görs här
och avser ofta intern kontroll inom en organisation. 101 Weber 1949, s. 90.
102 Flint 1988, s. 23.
103 Flint 1988, s. 22.
104 Flint 1988, s. 23.
105 Behn 2001.
104
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
groups who are in the position to invoke or impose some sanction or penalty if the performance falls short of what can be expected by reference to the criteria that have been established. The first parties are required to give an account, provide information or provide access to information as a basis of decision by the group or the groups to whom they are accountable”.106
Emellertid täckte Flints första postulat också situationer ”of public accountability” i vilka någon eller några har ett berättigat krav att få information utan att mottagaren av information kan ”invoke or impose some sanction”. De som har detta berättigade krav på information kan vara ”a specified group or groups of which the members may not be constant or individually identifiable”.107 Det kan vara fråga om potentiella investerare, anställda etc. Dessa indirekta relationer är – även om de inte här ska diskuteras vidare – många gånger av central betydelse och har haft betydelse vid utformningen av lagstiftningen på flera olika områden.
Dessa (del) postulat säger ingenting om behovet av revisorer. Flints andra postulat för in dessa: ”The subject matter of accountability is too remote, too complex and/or of too great significance for the discharge of the duty to be demonstrated without the process of audit”. Flint betraktar också independence som ett postulat. Med viss tolkning av Flint kan detta ses som en nödvändig följd givet de två första postulaten. Accountability förutsätter independence och ”freedom from investigatory and reporting constraints”.108 En rimlig tolkning av Flint är att han här i första hand avser relationen till den som granskas. Hans resonemang om olika indirekta relationer, som togs upp i föregående stycke, gör dock att hans uppfattning ligger nära den som Cassel hävdat. Cassel menar att revisorn inte bara har sin vanliga uppdragsgivare utan också, för att använda Cassels ordval, en generaliserad uppdragsgivare som kan utgöras ”av en marknad eller någon annan teoretiskt konstruerad företeelse, som har revison av högre kvalitet och större omfattning än de existerande individuella uppdragsgivarna”.109 Revisorn har därmed, menar Cassel, ett mera komplext förhållande till sin uppdragsgivare än till exempel andra tjänstemän. Det gäller också den statliga revisionen.
Det som här har sagts torde ses som självklart för de flesta. Få ifrågasätter att det behövs en tredje part för att kontrollera till exempel ett företags räkenskaper och de beskrivningar ledningen lämnar om dess ekonomiska ställning. Att vi anser att detta är självklart har inget att göra med att vi misstror enskilda individer. Vi kan ha mycket stort förtroende för kassören i till exempel bostadsrättsföreningen och anse oss veta att hon eller han aldrig skulle göra något oärligt men samtidigt anse att det på ett mera allmänt plan är mera sannolikt att den som vet att han eller hon inte kontrolleras kan komma att fuska eller ”plocka ut lite extra” i kassan.
106Flint 1988, s. 24.
107Flint 1988, s. 22.
108Flint 1988, s. 22.
109Cassel 1996, s. 106.
2017/18:URF2
105
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
Om vi något närmar oss den praktiskt bedrivna effektivitetsrevisionen har | |
en viktig fråga varit vad revisionen faktiskt ska granska eller vad den ska uttala | |
sig om. Det säger sig självt att revisionen måste granska andra ting om det är | |
en liten förening jämfört med en stor och komplex verksamhet med mängder | |
av intressenter som har berättigade krav att veta att den information som läm- | |
nas är riktig och att olika åtgärder är rimliga. Revision är alltså något som | |
undan för undan förändrats både när det gäller synen på vilka som har berätti- | |
gade krav på information och vad den granskar. Effektivitetsrevisionen kan | |
ses som en sådan utvidgning av traditionell revision, vilket innebär att de | |
grundläggande krav som gäller för vanlig revision kan appliceras på effektivi- | |
tetsrevisionen. Och diskussionen om vad effektivitetsrevision är skulle under- | |
lättas av om det var på detta sätt – effektivitetsrevision är inget annat än revi- | |
sion – det följer ju till och med av själva namnet. | |
Tyvärr, är det frestande att säga, är det inte riktigt så enkelt. Det är i stället | |
omdiskuterat om effektivitetsrevision kan definieras på samma sätt som annan | |
revision. Barzelay menar att ”performance auditing is therefore something of | |
a misnomer. Performance auditing is an evaluative activity of a particular sort | |
whose name happens to include the word ’auditing’ ”.110 Det är också möjligt | |
att se performance auditing som ett sätt att utvidga de nationella revisionsor- | |
ganens ambitioner till ett område som ligger utanför vad som vanligen menas | |
med revision. Power påpekar att ”to call something an ’audit’ places it within | |
a field of social and economic relations which would be different if it was | |
called ’assessment’ or ’evaluation’. Labelling activities as audit makes it pos- | |
sible for them to acquire the idealized characteristics of audit over time”.111 | |
Och på en mera anekdotisk nivå: Många av dem som arbetar som effekti- | |
vitetsrevisorer skyndar sig snabbt att påpeka att de förvisso inte är revisorer. | |
De beskriver sig i stället som utvärderare, analytiker, utredare o.s.v. |
5.2 Kunskapslinjen
Den andra linjen har sin utgångspunkt i en tankegång som är grunden för många idéer kring hur statlig verksamhet bör beslutas och styras. Den handlar i grunden om att kunskap om hur statlig verksamhet fungerar gör att den undan för undan kan bli bättre. Det finns därför ett behov av institutionella lösningar som säkrar att sådan kunskap tas fram. De länder som är någorlunda jämförbara med Sverige har alla också byggt upp olika institutionella arrangemang för att se till att sådan kunskap tas fram på ett mera systematiskt sätt. I framställningar av utvärdering i olika länder beskrivs effektivitetsrevisionen också som en del i detta vidare landskap av utvärdering. Effektivitetsrevision beskrivs av dessa också som en producent bland flera andra av utvärdering.112
110Barzelay 1996, s. 19.
111Power 2000, s. 116.
112Jacob m.fl. 2015.
106
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
Emellertid är det uppenbart att även ett starkt betonande av vikten av utvärdering, eller mera allmänt uttryckt vikten av ökad kunskap om hur statlig verksamhet fungerar och kan förbättras, inte automatiskt leder fram till att denna verksamhet ska bedrivas av det nationella revisionsorganet och att ordet revision därmed naturligen ingår i benämningen på den. Det är lätt att, åtminstone i några länder, identifiera en argumentation som handlade om att det var ett sätt att ge utvärderingsverksamheten en kraftfull skjuts. Det nationella revisionsorganet hade en storlek och en möjlighet att rekrytera experter som gjorde att utvärderingsverksamheten kunde utvecklas på bred front.
Det är dock möjligt att argumentera för effektivitetsrevision efter denna kunskapslinje med ett mindre kvantitativt och tidsbundet argument. Det handlar om att det behövs ett särskilt utvärderingsorgan som inte är knutet till någon sektor utan kan utgå från ett helhetsperspektiv och sätta in insatserna där de behövs. Det som sägs av det nationella revisionsorganet får också en särskild tyngd till följd av det institutionella oberoendet. En tidigare medarbetare i Riksrevisionen uttrycker detta med stor klarhet: ”Någon med överblick och insyn men utan ideologiska eller andra partshänsyn behöver ha rätten och makten att granska för att kunna se det andra inte ser, våga säga det andra inte säger samt kunna ifrågasätta det andra tar för givet”.113 Andra organ inom staten producerar kunskap som visserligen ofta är väl underbyggd, men ”den är samtidigt perspektivbunden och partiell”.114
Denna argumentation tar fasta på att det i dag produceras kunskap om statlig verksamhet på en rad olika håll och just detta gör att det behövs någon som producerar kunskap som inte är ”perspektivbunden och partiell”. När Barzelay talar om performance auditing som en misnomer skulle de som företräder denna linje kunna svara: ”Jodå, låt vara att benämningen performance auditing är en misnomer. Det viktiga är dock att denna ’evaluative acitivity’ gör att det finns kunskap om statlig verksamhet som inte skulle finnas annars”.
5.2.1 Kunskapslinjen rymmer flera strategier (eller sublinjer)
I en beskrivning av det som här kallats kunskapslinjen bör också framhållas att det är möjligt att tala om främjande på olika nivåer och med olika förutsättningar. Det är därför möjligt att tala om olika främjandestrategier. Dessa strategier tangerar också den diskussion som fördes vid finansutskottets konferens den 15 mars 2017.
Strategierna avspeglar tre av de syften som diskuterades i föregående kapitel. När diskussionen om spänningen mellan främjande och kontroll diskuteras i mera konkreta termer handlar det vanligen om hur effektivitetsrevisionen kan bidra till att förbättra det som görs på en operativ eller professionell nivå, det som här tidigare beskrivits som verksamhetsfrämjande. Mottagarna eller kunskapsanvändarna är alltså här chefer och medarbetare som praktiskt ska genomföra verksamheten på ett område. Det handlar om att främja en pågående
113Angleryd 2014, s. 72.
114Angleryd 2014, s. 74.
2017/18:URF2
107
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
verksamhet, identifiera svagheter och styrkor och visa på hur verksamheten | |
kan utvecklas av dem som på ett mera direkt sätt deltar i den. Men det är också | |
möjligt att argumentera för att effektivitetsrevisionens granskningar kan | |
främja statlig verksamhet genom att ge kunskap som kan vara för mera över- | |
gripande ställningstaganden om den statliga verksamheten. Det handlar då om | |
att ge kunskap som är till hjälp vid avvägningen mellan olika styrmedel och | |
verksamhetens mera allmänna inriktning. Oftast handlar detta om beslut som | |
fattas av riksdagen, om än vanligen efter förslag från regeringen. Det kan | |
också hävdas att effektivitetsrevision bör ha till uppgift att bidra till att bygga | |
en mera allmän kunskap om förutsättningar, villkor, tillvägagångssätt och så | |
vidare gällande statlig verksamhet. Med andra ord ska effektivitetsrevisionen | |
ha ett kunskapsgenererande syfte. Sådan kunskap kan handla om de mekanis- | |
mer som en viss intervention syftar till att påverka och hur dessa i sin tur kan | |
påverkas av statliga interventioner och vilka faktorer i omvärlden som stärker | |
eller försvagar interventionen. En sådan syn innebär att effektivitetsrevisionen | |
kan bidra till att bygga kunskap om mekanismer som är viktiga för att kunna | |
lösa problem genom statliga åtgärder, till exempel om hur företag påverkas av | |
olika regleringar, hur terrorism uppstår och kan påverkas och så vidare. |
5.3 Olika verkansteorier
Både det som här beskrivits som kontrollinjen och kunskapslinjen syftar till att det som effektivitetsrevisionen gör ska möjliggöra och leda fram till förbättring. Förbättringen sker dock på olika sätt. Det handlar om hur man föreställer sig att organisationer och människor handlar och hur detta handlande kan påverkas. Det är möjligt att säga att de olika linjerna leder till olika verkansteorier för effektivitetsrevisionen. Detta avsnitt behandlar därmed teorier om effektivitetsrevision och hur den kan påverka olika skeenden. En annan sak är hur teorier kan användas i effektivitetsrevision, alltså teorier om det som granskas. Betydelsen av sådana teorier har diskuterats i föregående kapitel och kommer också att tas upp i kapitel 7.
En utgångspunkt för det som här kallats kunskapslinjen är att beslutsfattare och genomförare är villiga att använda kunskap. Det är ett antagande som är viktigt för förståelsen av framväxten av utvärdering. Utvärdering skulle ge svaret på viktiga frågor som beslutsfattare och genomförare hade. Weiss pekade på att policy makers ville veta om ett program skulle fortsätta eller avslutas, högsta programchefen ville veta vilka strategier som var framgångsrika och vilka som inte var det och den personal som svarar för den konkreta verksamheten ville veta vilka delar av den som skulle betonas”, och så vidare.115 Svaret på dessa frågor skulle leda fram till klokare beslut och förbättrad verksamhet. Det bör dock åter sägas att utvärderingsforskarna tidigt insåg, inte minst Weiss, att användningsprocessen kunde vara komplex och att det fanns många former av användning av utvärdering, och också olika former av mis-
115 Weiss 1972a, s. 14.
108
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
use. Barriärer och problem i användningsprocessen har varit ett centralt tema den teoretiska diskussionen om utvärdering som till exempel framgår av historiska exposéer, till exempel de två upplagorna av Evaluation Roots.116 Grundantagandet handlar dock om att kunskapen som sådan kan bidra till att bättre beslut fattas och bättre verksamhet genomförs. Denna syn har också starkt påverkat effektivitetsrevision i olika länder, inte minst genom att många som bidragit till utvecklingen av det vi i Sverige talar om som effektivitetsrevision haft en bakgrund i andra utvärderingsorganisationer.
Kontrollsynen bygger på en mindre optimistisk föreställning om de drivkrafter som finns bland de som ska förverkliga de beslut som till exempel riksdagen fattat. Även här handlar det om förbättring. Men det som leder till förbättring är att den som granskas eller kan komma att granskas är medveten om existensen av utomstående granskare. Denna medvetenhet gör att tjänstemannen eller myndigheten kommer att hantera sina plikter och förvalta offentliga resurser bättre än vad som annars skulle ha blivit fallet. Kontroll medverkar till bättre beteenden och bättre beslut och leder fram till en effektivare användning av gemensamma resurser och påverkar nivån av förtroende i samhället. Det kan möjligen ses som en paradox: Eftersom vi som medborgare har anledning att hysa misstroende mot makten och dess utövande i statens institutioner blir det möjligt att hysa förtroende för statens institutioner enbart då vi vet att de kontrolleras av en part som – i någon rimlig mening – är oberoende av dessa institutioner.
Synen på effektivitetsrevision, och även mera konkreta ställningstaganden kring den, har alltså att göra med frågan om förvaltningens drivkrafter eller dess behov av yttre kontroll. Detta är förvisso ingen ny fråga. Den har diskuterats under lång tid och har varit föremål för en omfattande forskning. Inte sällan nämns dock fortfarande, möjligen beroende på den tydlighet med vilken de olika ståndpunkterna framfördes, den debatt som fördes 1940 och 1941 mellan två europeiska statsvetare, Finer och Friedrich, som vid tidpunkten för sitt meningsutbyte levde i USA. Bakgrunden till debatten var den tilltagande komplexiteten i den moderna statsapparaten och ökningen av förvaltningens ”befogenhetsutrymme” (diskretionära utrymme).
Friedrich menade att det är möjligt att föra in mekanismer i själva förvaltningen som gör att den använder den kunskap som finns ”concerning the technical issues involved” men också att förvaltningen måste ta hänsyn till ”existing preferences in the community, and more particularly the prevailing majority”.117 Friedrich positiva syn på att föra in vad vi kan tala om som olika interna korrigeringsmekanismer i förvaltningen gör att dess vidgade utrymme blir förenligt med demokratin.
Finer delade inte denna optimistiska syn. Han menar att de valda politikerna ges ökade möjligheter att påverka även det som enligt Friedrich bör anförtros byråkratin. Bakom Finers ståndpunkt ligger i grunden uppfattningen att olika
116Alkin 2004 och Alkin 2013.
117Friedrich 1965, s. 169.
2017/18:URF2
109
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | |
former av makt måste övervakas. Han hänvisar till att den politiska och admi- | ||
nistrativa historien ”of all ages” visat att alla styrelseskick – också ”the | ||
benevolent”– utan minsta tvivel kommer att visa att ”there is an abuse of po- | ||
wer when external punitive controls are lacking”.118 Detta beror inte bara på | ||
svagheter och mänskliga tillkortakommanden inom förvaltningen. Han är lika | ||
bekymrad när det handlar om ”genuine, sincere, public-spirited zeal”. Med ett | ||
citat från Montesquieu konstaterar han att formuleringen ”virtue itself hath | ||
need of limits” förtjänar att sättas i centrum av diskussionen om ”public re- | ||
sponsibility”. Han konstaterar att ”we in public administration must beware of | ||
the too good man as well as the too bad, each in his own way may give the | ||
public what it doesn’t want.119 Det handlar alltså, för att tolka resonemanget, | ||
bland annat om risken att tjänstemän i förvaltningen väljer att driva vissa verk- | ||
samheter med oproportionerlig kraft och på ett sätt som avviker från de prio- | ||
riteringar som till exempel riksdagen avsåg när de beslutade om en viss verk- | ||
samhet. | ||
Hur kan man då se på denna diskussion 70 år senare? Finer själv skulle, | ||
gissningsvis, hänvisa till den forskning som förknippas med public choice och | ||
han skulle mena att den gett honom rätt. Vad Friedrich skulle säga är mindre | ||
självklart. Det som dock kan konstateras är att det centrala antagandet i många | ||
av de idéer om offentlig administration som har dominerat de senaste årtion- | ||
dena har byggt på att beslutsfattarna är villiga att följa upp och justera det som | ||
görs till följd av ny information. | ||
Inom utvärderingsdiskussionen har också denna positiva syn varit viktig för | ||
många ledande teoretiker. Detta betyder inte att de har värjt för alla de problem | ||
som försvårar användningen av utvärdering inom politik och förvaltning. | ||
Tvärtom diskuteras med stor utförlighet frågor som gäller barriärer för använd- | ||
ning och olika former av användning. Detta kan snarast beskrivas som ett | ||
centralt tema i utvärderingslitteraturen. Trots detta är det svårt att se på utvär- | ||
dering som annat än ett utflöde av en stark rationalistisk syn på politik och | ||
statlig verksamhet. Utvärdering som en mer specifik verksamhet växer fram | ||
under starkt betonande av att utvärdering handlar om att förbättra. Weiss fram- | ||
håller att ”almost all authors agree that the purpose of evaluation research is | ||
to provide information for decision making about programs”.120 Owen inleder | ||
en lärobok i utvärdering med att klargöra att premissen för utvärdering är att | ||
den kan ”enhance the quality of interventions (policies and programs) de- | ||
signed to solve or ameliorate problems in social and corporate settings […] | ||
Evaluation should be seen as a process of knowledge production, which rests | ||
on the use of rigorous empirical inquiry”.121 Citaten vill dock inte på något sätt | ||
antyda att användningen sågs som en rätlinjig process. Tvärtom. Det viktiga | ||
är dock att tanken att det var kunskapen i sig, och kanske för en del själva | ||
processen med att ta fram kunskapen, som skulle påverka inte rädslan för att | ||
118 Finer, 1965. s. 179. | ||
119 Finer 1965, s. 180. | ||
120 Weiss 1972b, s. 14. | ||
121 Owen 2007, s. 1. | ||
110 |
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
någon annan ska kontrollera oss och till exempel peka på vår bristande effektivitet eller bristande kompetens.
Diskussionen om förvaltningens drivkrafter kan inte ses som avslutad, och det skulle vara dumdristigt att ens försöka döma i denna fråga. Här ska i stället hävdas att även om vi antar att de flesta byråkrater och byråkratiska institutioner i de flesta situationer agerar med det allmännas bästa för ögonen, kan vi inte utgå från att detta alltid är fallet. Och även om det finns olika internaliserade och professionella mekanismer som innebär att administrativa system blir ”självkorrigerande” så kan vi inte utgå från att dessa alltid är tillräckliga.
5.3.1 Motsättningen mellan lärande och kontroll
Innan vi lämnar denna renodling av olika synsätt på effektivitetsrevision finns det anledning att något diskutera den grundläggande motsättningen mellan å ena sida kontroll, å andra sidan lärande och förbättring. Är det verkligen riktigt att se detta som en dikotomi? Ett alternativt sätt att se saken är att se lärande som en förutsättning både för förbättring och ansvarsutkrävande. Lärande kan alltså också ses som en förutsättning för alla former av användning av utvärdering, effektivitetsrevision och andra undersökningar av statlig verksamhet.
Detta har naturligtvis att göra med hur vi förstår lärande. Forss och Rebien definierar, utifrån Bateson, Piaget and Perris, i ett första steg ”learning as changes in knowledge structures.” De definierar därefter kunskapsstrukturer genom att säga att de ”are complex patterns that arise as the human brain receive stimulus from life experiences. These stimuli are received interpreted, processed and stored. So knowledge structures are the root of learning; they are the result of learning and at the same time they shape learning.”122 Med detta betraktelsesätt är det svårt att ställa ansvarsutkrävande och lärande mot varandra. Om man tänker sig att en utvärdering som görs med det uttalade syftet att förbättra en särskild verksamhet upptäcker problem i verksamhetens genomförande och pekar på hur dessa kan lösas är det självklart att de som är involverade i genomförandet måste lära sig för att verksamheten ska förbättras. Emellertid, om vi i stället tänker oss en utvärdering som genomförts med syftet att möjliggöra ansvarsutkrävande förutsätts att denna utvärdering inte bara identifierar utan också redogör för i vilken utsträckning dessa problem eller fel kan förklaras av hur personer eller institutioner agerat och om de skulle haft möjligheter att agera annorlunda.
Redan detta exempel visar att även när det handlar om ansvarsutkrävande måste den information som en effektivitetsrevision eller någon annan ger, bli ”interpreted, processed and stored.” Ansvarsutkrävande, oavsett om det handlar om elektoratet som utkräver ansvar av de som valts eller någon annan relation i ansvarskedjan, kan inte beskrivas i termer av en mekanisk relation mellan två parter. Det är svårt att tänka sig ansvarsutkrävande utan lärande.
122 Forss och Rebien 2006, s. 236.
2017/18:URF2
111
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
5.4 Betydelsen av oberoendet
De två olika sätten att resonera om effektivitetsrevisionen, som vi här försökt renodla, har ett samband med synen på oberoendet. Oberoende uppfattas ofta som en kvalitet i sig. När vi talar om att ”oberoende forskare visar i en rapport” föreställer vi oss att det oberoende det hänvisas till gör att kan vi lita mera på informationen i rapporten än om forskarna har knytningar till företag eller individer med intressen i den fråga forskningen avser. Det är alltså möjligt att tänka sig att en studie, vars syfte är att ge förslag på hur en verksamhet kan förbättras, uppfattas som mera trovärdig om det kan visas att den som gjort den står fri från bindningar till verksamheten. Och de som företräder kunskapslinjen menar att det förhåller sig på detta sätt. Just genom att den statliga effektivitetsrevision som del av ett nationellt revisionsorgan, har ett konstitutionellt garanterat oberoende så kan den ställa frågor som inte ställs av andra producenter av kunskap om statlig verksamhet. Det gör också att revisionens uppdragsgivare och andra kommer att känna att de kan lita på den information de får av effektivitetsrevisionen.
Kunskapslinjen leder därmed fram till empiriska frågor. Den första gäller om det faktiskt är så att ett nationellt revisionsorgan ställer helt andra frågor än till exempel forskare eller olika expertorgan och om rapporterna i någon mening kan anses bättre än andras. Denna empiriska fråga är det dock inte möjligt att besvara i denna promemoria, någon tillförlitlig forskning att åberopa finns inte heller. Den andra frågan gäller om förtroendet för den kunskap som revisionen tar fram är större än för annan kunskap. Litar man mera på de studier som görs av ett organ som Riksrevisionen än om motsvarande studier görs av till exempel olika forskningsinstitutioner, framstående enskilda forskare, specialistmyndigheter och så vidare? Ordet man kursiverades i syfte att peka att svaret kanske kan variera beroende på om vi talar om riksdagsledamöter, tjänstemän i Regeringskansliet, föräldrar, tjänstemän på socialkontor eller ytterligare någon annan grupp. Denna fråga ska tangeras i kommande avsnitt, men det ska dock redan här sägas att det även när det gäller denna fråga inte finns några studier som svarar på frågan.
Det ska också, som tangerats i tidigare diskussion, framhållas att det ter sig svårt att mera allmänt hävda att just oberoendet skulle göra att effektivitetsrevisionen har förutsättningar att vara mera främjande än andra som undersöker och föreslår förändringar i statlig verksamhet. Flera forskare framhåller att just beroendet, i stället för oberoendet, kan vara viktigt om syftet är att bidra till användning och förbättringar på operativ nivå. Som tidigare framhållits gäller detta bland annat Patton.123 Att oberoendet inte är något självklart värde torde också vara uppenbart om vi ser på till exempel hur olika organ som sysslar med rådgivning och organisationsförbättring arbetar.
En rad olika utvärderingsansatser som syftar till att vara stöd för de som på olika nivåer, till exempel en myndighetsledning, en chefsgrupp eller medarbetarna på en enhet, vill förbättra den verksamhet som de svarar för bygger på
123 Patton 2009, s. 140 och 168.
112
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
att chefer och medarbetare är involverade i valet av utvärderingens inriktning och uppläggning. Nyckelorden i diskussionen om hur studier ska komma till nytta för lärande och förbättring av en verksamhet är ofta ”interactive”, ”participatory”, ”involving” och att utvärderaren ska verka för till exempel ”closeness” och ha en roll som ”facilitator”, snarare än att vara den som värnar sitt oberoende. Innebörden av detta är att oberoende ibland är viktigt när det ska tas fram kunskap som mera direkt syftar till att användas för att förbättra en verksamhet. Men ibland är det inte det – oberoendet kan med andra ord diskuteras i instrumentella termer. Bidrar det eller bidrar det inte till förbättring?
Det finns här anledning att peka på att många utvärderingar görs i ett sammanhang av kontroll och ansvarsutkrävande. Många utvärderingsforskare har också framhållit att utvärdering kan ha detta syfte.124 En utomstående utvärderare – till exempel en forskare eller konsult – kan kallas in av en ledning för att granska underlydande organs eller befattningshavares verksamhet. Oberoendet, i förhållande till den verksamhet som utvärderas, kan alltså vara betydande, men det gäller just det tilldelade uppdraget. Den tillkallade utvärderaren agerar inte utifrån en ”egen” institutionell plattform som gör det möjligt att till exempel själv välja vad som ska granskas samt när och hur och hur kontraktsrelationen ser ut i varje enskild situation. Om vi talar om den som har ett uppdrag att granska en verksamhet eller institution i ett kontrollsyfte är detta oberoende knutet till den granskande institutionen. De egenskaper som vi uppfattar som centrala för oberoendet måste vara knutna till den granskande institutionen som sådan.
Synen på oberoendet skiljer sig alltså på ett avgörande sätt mellan de två linjer eller verkansteorier som här diskuterats. Om syftet är att kontrollera hur någon sköter sitt uppdrag kan inte oberoendet ses i instrumentella termer, det är inte en villkorlig, och kanske tillfällig, egenskap utan en avgörande förutsättning för verksamheten. Oberoende blir en del av definitionen av effektivitetsrevision eftersom kontrollsyftet inte är möjligt utan oberoende. Om det handlar om verksamhet som finns till för att öka kunskapen om statlig verksamhet blir vikten av oberoende beroende på svaren på ett antal empiriska frågor. Värdet av att det finns en effektivitetsrevision vars oberoende, som en del av Riksrevisionen, är särskilt reglerat blir då beroende på hur väl den bidrar till förbättring, ökad kunskap och så vidare och gör detta i högre grad än alternativa lösningar skulle göra.
5.4.1 Oberoende och förtroende
Om effektivitetsrevision motiveras utifrån det som här omtalats som kontrolllinjen är alltså oberoendet ofrånkomligt. Det är också detta som gör att effektivitetsrevision, på ett skenbart paradoxalt sätt, kan bidra till att stärka förtroendet för den offentliga verksamheten. Revisionens utgångspunkt är visserligen misstro, dess existens bygger på att det inte kan uteslutas att makt och
124 Alkin och Christie 2004, s. 12.
2017/18:URF2
113
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
befogenheter kan missbrukas. Demokratin förutsätter till en del denna misstro, | |
men om misstron blir för stor kan inte samhället fungera. Just det förhållandet | |
att medborgarna vet att någon kontrollerar den statliga förvaltningen bidrar | |
därför till att det skapas balans mellan misstro och förtroende. |
114
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | 2017/18:URF2 |
6 Riksrevisorernas syn på uppdraget
I ett försök att ringa in ”vad effektivitetsrevision handlar om” bör rimligen en bild ges av riksrevisorernas syn på effektivitetsrevisionens uppdrag. En sådan beskrivning kan göras på olika nivåer. Bäst, ligger det i alla fall nära till hands att tycka, vore en systematisk undersökning av de granskningar som gjorts. En sådan undersökning borde ge en klar bild av riksrevisorernas syn, men är en omfattande forskningsuppgift som inte är möjlig inom ramen för denna promemoria.
En annan nivå är att gå igenom vad riksrevisorerna skrivit om dessa ting. Riksrevisorerna formulerar sina ambitioner och synsätt i flera olika sammanhang. Av särskilt intresse är granskningsplanerna. Det är det enda dokument, vid sidan av årsredovisningen, som enligt lag ska beslutas gemensamt av de tre riksrevisorerna. I lagen om revision av statlig verksamhet m.m. och olika kommentarer sägs dock ingenting mera precist om vad detta dokument ska innehålla. Riksrevisorerna har dock, alltsedan myndighetens start, låtit dokumentet inte bara vara en lista över vad som ska göras utan har också i det försökt precisera sin uppfattning i mera principiella inriktningsfrågor.
En strävan i detta kapitel har varit att fokusera sådant som har relevans vid en diskussion om effektivitetsrevisionens uppdrag i demokratin. Kapitlet är uppdelat i två avsnitt. I det första och mest utförliga avsnittet behandlas hur riksrevisorerna beskrivit effektivitetsrevisionens uppdrag. Det är också den fråga som kan bedömas vara mest relevant i detta sammanhang fokus riktas mot spänningen mellan de två linjer, kunskapslinjen och kontrollinjen, som diskuterats i tidigare kapitel (kap. 5). Oavsett hur uppdraget uppfattas av riksrevisorerna ligger det dock i sakens natur att förskjutningar skett under åren beträffande vad man de facto granskar. Etablering och integration har till exempel inte oväntat tagits upp oftare under senare år än under de tidigare. En analys av dessa förskjutningar, som förvisso är en viktig del i riksrevisorernas ansvar, ligger dock utanför denna framställning. Det finns dock ett antal mera principiella frågor kring valet av granskningar som lyfts fram i granskningsplanerna. Några av dessa diskuteras i avsnitt två i detta kapitel.
6.1 Uppdraget
Av granskningsplanerna framgår tydligt att riksrevisorerna alltsedan Riksrevisionens bildande velat tydliggöra vad de sett som kärnan i effektivitetsrevisionens uppdrag och – möjligen lite högtidligt uttryckt – dess roll i det demokratiska systemet. Det intresseväckande är att vi möter en långt ifrån enhetlig syn på detta under de knappt femton år Riksrevisionen funnits. Det är i stället möjligt att se att synen påtagligt förändrats.
115
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
6.1.1 Granskningsplanerna 2004–2008: Skapa förutsättningar för ansvarsutkrävande
Den första granskningsplanen som läggs fram avser år 2004 och beslutades i december 2003. I detta dokument möter vi ett antal principiella ställningstaganden. Det är alldeles uppenbart att den första uppsättningen riksrevisorer strävar efter att mycket tydligt tala om vad de tycker att effektivitetsrevision handlar om.
Deras sätt att beskriva effektivitetsrevisionen kan tolkas som ett uttryck för uppfattningen att även effektivitetsrevisionen på ett grundläggande plan måste ses som revision och att det inte är fråga om en misnomer för att använda Barzelays karakterisering av performance audit (kap. 5). I vad som rimligen får uppfattas som det mest centrala avsnittet fastslår riksrevisorerna i den första granskningsplanen i avsnittet Mandat och inriktning för effektivitetsrevisionen:
Revisionen skall utgå från en faktiskt bedriven verksamhet och bedrivs därför alltid i efterhand. Vidare bör granskningarna ta fram underlag som möjliggör ansvarsutkrävande. De revisionella iakttagelserna måste kunna utgöra underlag för att fördela kritik och ansvar. Detta innebär att de revisionella iakttagelserna skall visa var eventuella brister finns och därmed ge underlag för beslut om konkreta åtgärder. Revisionsfrågorna skall kunna formuleras och besvaras i förhållande till fastställda normer. När riksdagen angivit sådana utgör dessa alltid utgångspunkter för granskningen.
Granskningarna kan täcka hela verkställighetskedjan från regering till underlydande verksamheter. De revisionella iakttagelserna skall ha en hög grad av tillförlitlighet (kursiveringar i original).125
Kravet på att granskningarna ska kunna utgöra underlag för ansvarsutkrävande och att det handlar om en faktiskt bedriven verksamhet kan ses som uttryck för en hållning som innebär just att effektivitetsrevisionen i grunden uppfattas som all annan revision. Implicit finns tanken på uppdragsgivare och uppdragstagare och revisionen som en tredje part. Att det som granskas ska vara faktiskt bedriven verksamhet kan ses som ett poängterande av att revisionen inte mera allmänt ska utgå från vad staten bör göra för att komma till rätta med olika problem, det måste avse genomförandet av någonting.
Den tydlighet med vilken riksrevisorerna framför sin syn kan tolkas som ett sätt för dem att klargöra att de nu önskade inta en annan position till effektivitetsrevisionen än den som präglade både Riksrevisionsverket (RRV) och Riksdagens revisorer. Det råder nämligen ingen tvekan om att denna position innebar ett trendbrott i den svenska effektivitetsrevisionen. Stöd för detta ges särskilt av Bringselius i hennes avhandling men också i en senare bok. Hon visar med stor tydlighet att det här var fråga om ett medvetet val av de tre första riksrevisorerna att förändra den tradition som fanns inom RRV och Riksdagens revisorer av vad hon beskriver som ”breda granskningar” till att ”omtolka effektivitetsrevisionens inriktning till en fråga om primärt ansvarsutkrävande och regelefterlevnad. Utvecklingen var, som denna studie visar,
125 Granskningsplan för Riksrevisionen 2004, s. 5.
116
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
resultatet av ett medvetet systematiskt arbete från de första riksrevisorernas sida”.126 Bringselius bild av en starkt förändrad syn på effektivitetsrevisionen stöds av de observationer Pollitt med flera gjorde i sin studie 1999. Pollitt pekade på att RRV, som var en av de nationella revisionsorgan som omfattades av studien, i ökande grad hade glidit mot den roll som beskrevs som researcher/scientist men också mot rollen som management consultant. Han framhåller att ”within this role, both the scientific niceties and the demands for transparency are less to the force than securing improvements in the management of public agencies”. Innebörden illustreras med ett citat från RRV:s årsredovisning för 1995/96. ”In its work the RRV shall provide a transfer of know-how, advisory services and support to the Cabinet Office and government agencies to ensure that appropriate measures are taken”. Innebörden av en sådan roll är att effektivitetsrevisionen för att bli ”useful […] needs to be close to the auditee, to understand its problems and work with its members to achieve reform”.127
Det som kan ses som de centrala momenten i detta stycke återkommer under de följande åren. När granskningsplanen för 2005 anger vilka kriterier ”valet och genomförandet av granskningarna […] i allt väsentligt” ska utgå från läggs ett par ting till. Riksrevisorerna slår fast att ”det måste finnas aktörer med definierade befogenheter och dessa kan inte kritiseras för det som ligger utanför deras ’påverkanssfär’” innan det upprepas att rapporterna ska utformas så att de kan utgöra underlag för ansvarsutkrävande, något som nu kallas ansvarskriteriet.128 Även vad som sägs om det som nu kallas bedömningsgrunderna har utvecklats då det fastslås att ”bedömningsgrunderna för granskningen måste kunna anges. De ska följa antingen av direkta beslut av riksdagen (eller i förekommande fall regeringen) eller kunna härledas från riksdagens direkta eller indirekta ställningstaganden (kravkriteriet)”.129
Till de kriterier som introducerades redan i den första granskningsplanen läggs redan i granskningsplanen för 2005 till ett femte kriterium. Det är: ”Granskningen ska ta sin utgångspunkt i ett förmodat problem (problemkriteriet)”.130 Vad det innebär kommer att diskuteras senare i detta kapitel.
Den syn på effektivitetsrevisionen som framträder i de första granskningsplanerna är alltså påtagligt konsekvent. De tillägg, och smärre förändringar, som görs kan rimligen sägas vara en naturlig utveckling från en grundposition. Mera oklart är dock den närmare innebörden av det som sägs. De olika kriterierna är långt ifrån självklara, tvärtom torde de i så gott som samtliga fall kunna leda till olika tolkningar. Kriterierna tangerar i flera fall, för att inte säga samtliga, frågor som också har varit föremål för diskussion i akademiska och andra sammanhang. Riksrevisorerna väljer dock, trots att granskningsplanen är det enda framåtriktade dokument som de gemensamt beslutar om, att inte utveckla innebörden av de olika kriterierna.
126Bringselius 2013, s. 11.
127Pollitt med flera 1999, s. 211–212.
128Granskningsplan för Riksrevisionen 2005, s. 7.
129Granskningsplan för Riksrevisionen 2005, s. 7.
130Granskningsplan för Riksrevisionen 2005, s. 7.
2017/18:URF2
117
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
De problem detta medför, åtminstone vid en analys ett antal år efteråt, är | |
att det inte är möjligt att gå till andra dokument, som beslutats gemensamt av | |
riksrevisorerna, för att få hjälp i tolkningen av det som sägs. Såvitt bekant | |
valde inte heller de första riksrevisorerna att på andra sätt, till exempel i arti- | |
kelform, utveckla och klargöra hur de resonerade. |
6.1.2 Granskningsplanerna 2009–2010: Början på en omsvängning
Granskningsplanen för 2009 innebar en förändring. Den starka ambitionen att klargöra vad effektivitetsrevision är tonas ner. I stället väljer riksrevisorerna att lyfta fram på vilka grunder de väljer vad som ska granskas. Även tidigare hade det funnits en argumentation för vilka områden (teman, frågeställningar) som stod i fokus. I 2009 års granskningsplan uttrycks dock detta som vad som rimligen kan kallas fem principer för valet av vad som ska granskas. Det är uppenbart att dessa ersätter de tidigare kriterierna i de tidigare granskningsplanerna. De är i likhet med de tidigare kriterierna placerade direkt efter det stycke som beskriver lagstiftningen och anger att effektivitetsrevisionen enligt riksrevisorernas beslut ska vara inriktad på för ”samhället väsentliga frågeställningar där det finns klara risker för effektivitetsbrister” och att granskningen ska avse hela verkställighetskedjan.131 De fem principerna var följande:
• Främst ska genomförandet av statlig verksamhet granskas: Riksrevisorerna framhåller att innebörden av att effektivitetsrevision, enligt lagen om revision av statlig verksamhet, ska ta sikte på genomförandet och resultat är att det som ska granskas är ”prestationer och effekter i förhållande till mål och syften som ställs upp för verksamheten. Att även genomförandet av verksamheten ska granskas innebär att Riksrevisionen inte bara ska upptäcka brister i effektiviteten inom olika verksamheter utan även försöka klarlägga var i genomförandekedjan, vare sig det är på regerings- eller myndighetsnivå, som orsaken till dessa brister uppkommit.
• Anknytningen till statens budget ska beaktas i de flesta fall: Revisionslagens formulering om anknytning till statens budget ska enligt riksrevisorerna ses som ”en markering att de finansiella konsekvenserna av olika brister […] ska lyftas fram” och formuleringen i lagen utgör därmed ett väsentlighetskriterium. ”Allt annat lika bör således granskningar prioriteras som rör verksamheter med stora anslag, eller med risk att betydande statliga medel används ineffektivitet.”
• Granskningar ska utgå från allmänna samhällsintressen: Riksrevisorerna framhåller här att innebörden är att granskningen ”inte bör bedrivas utifrån olika typer av särintressen. I praktiken betyder detta att utgångspunkten för granskningsverksamheten ska vara riksdagens, såsom främsta
131 Punkterna är hämtade från Granskningsplan för Riksrevisionen 2009, s. 11–12. Texten är i stort likalydande följande år. I den näst sista punkten har i näst sista raden ordet ”högre” lagts. Det finns inte med i granskningsplanerna vilket här antagits bero på tryckfel.
118
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
uttolkaren av det allmänna samhällsintresset, intentioner med den granskande verksamheten. Granskningarna ska utgå från de mål och/eller syften som riksdagen ställt upp för verksamheten i fråga eller från generella mål för effektivitet såsom de uttrycks i budgetlagen. De bör följa av direkta beslut av riksdagen eller kunna härledas från riksdagens ställningstaganden.”
•Granskningarna ska främja ett effektivt utbyte av statens insatser:
Det som revisionslagen här säger tolkas av riksrevisorerna som ”en förväntan att revisionen bör ha en viss inriktning mot ekonomiska förhållanden, med fokus på resultat och effektivitet i förhållande till uppsatta mål och anslagna resurser. Betoningen på främjande tolkar vi som att revisionen inte bara ska blottlägga brister utan också konstruktivt bidra till att verksamheten kan bli effektivare genom väl avvägda rekommendationer och därigenom nå en högre verkningsgrad. Detta förutsätter i sin tur ett tydligt ställningstagande till vem som bär ansvaret för att undanröja konstaterade brister.”
•Rapporterna ska medge underlag för ansvarsutkrävande: ”Riksrevisionens rapporter ska utformas så att de kan utgöra underlag för ansvarsutkrävande. Det är därför viktigt att i granskningarna kunna fördela ansvar och kritik mellan berörda aktörer. Huruvida ansvar faktiskt utkrävs eller i vilka former detta görs är däremot inte en fråga för Riksrevisionen.”
Vad gäller de fyra första principerna hänvisas, i något fall mera indirekt, till lag om revision av statlig verksamhet m.m. På vilket sätt det som faktiskt sägs i granskningsplanen representerar en förändrad tolkning av denna är inte alldeles lätt att se. Det som sägs i den första punkten om att klargöra till vilken nivå brister i genomförandet kan hänföras kan rimligen inte ses som en omorientering. Detsamma gäller kravet på att granskningarna ska vara inriktade både på prestationer och de effekter dessa ger upphov till. Det som sägs i övrigt i granskningsplanerna för 2009 och 2010, och även i de följande granskningsplanerna, ger inte heller uttryck för ståndpunkten att alla granskningar skulle ha denna dubbla inriktning. Det väsentlighetskriterium som införs genom den andra principen är uppenbarligen ett sätt att nalkas frågan om på vilken grund riksrevisorerna väljer vad som ska granskas även om den mera precisa innebörden av den knappast framstår som särskilt klar. Den tredje principen genom vilken det klargörs att effektivitetsrevisionen inte bör bedrivas utifrån olika särintressen utan utifrån vad riksdagen beslutat kan möjligen uppfattas som självklar men får ses som ett sätt att klargöra innebörden av ”allmänna samhällsintressen”. Betonandet av vikten av rekommendationer, i den fjärde principen, får uppfattas som ett sätt att tydligare än tidigare markera att detta är en viktig del av effektivitetsrevisionen.
Ingen av dessa fyra principer har alltså en karaktär som gör det svårt att föreställa sig att de, i huvudsak, skulle ha kunnat föras in i de tidigare granskningsplanerna. Det notabla är i stället vad som inte står i granskningsplanerna
2017/18:URF2
119
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
för 2009 och 2010. Ansvarskriteriet förs visserligen in som den femte princi- | |
pen men är placerat i en uppräkning av kriterier som även i övrigt kan ses som | |
ett uttryck för viljan att placera effektivitetsrevisionen i ett sammanhang av | |
ansvarsutkrävande. Här har också, möjligen för att klargöra missuppfattningar, | |
förts in att utkrävandet av ansvar inte tillkommer Riksrevisionen. | |
För fullständighetens skull bör det nämnas att 2009 års granskningsplan | |
också innehåller ett särskilt stycke om ”krav på granskningar”. De krav som | |
nämns följer av framställningen i övrigt med undantag av att ”granskningen | |
ska vara problemorienterad” som alltså motsvarar det problemkriterium som | |
infördes redan 2005.132 |
6.1.3 Granskningsplanerna 2011/12 – 2014/15: Främjare av statens verksamhet
De följande fyra granskningsplanerna avviker inte bara i layout (från 2012/13 också i format) från de föregående. De innehåller flera hänvisningar till Intosai och internationella standarder – det är uppenbart att det finns en ambition att visa att man uppfyller de krav som ställs i Intosai:s dokument. Det är också påtagligt att analyser av ”förändringar och trender i omvärlden” ses som en viktig del i arbetet med att ta fram granskningsplanen.
Det är också tydligt att riksrevisorerna i dessa granskningsplaner, mer än i de närmast föregående, klart vill formulera vad man ser som Riksrevisionens uppgift. Om de första granskningsplanerna beskriver att effektivitetsrevisionens granskningar måste utformas så att de möjliggör ansvarsutkrävande, framträder här i stället en mera pluralistisk hållning. I avsnittet om utgångspunkter för effektivitetsrevision fastslås både i granskningsplanerna för 2011/12 och 2012/13 att ”effektivitetsrevision har som uppgift att granska och lämna förslag till förändringar så att den statliga verksamheten bedrivs effektivare, med högre kvalitet och/eller till lägre kostnader. Genom granskningsrapporter ger Riksrevisionen underlag som möjliggör för riksdagen att utkräva ansvar (jämför det engelska uttrycket accountability). Genom att inrikta granskningen på indikerade problem, redovisa tydliga iakttagelser samt ge rekommendationer försöker revisionen uppnå förbättringar i syfte att främja effektivitet och resurshushållning”.133
Det är dock notabelt, oavsett hur detta kan tolkas, att det redan nästa år sker en form av återgång till en mera renodlad ansvarslinje. Här är det inte längre fråga om att peka på olika syften. Själva medlet, som Riksrevisionen förfogar över, för att öka effektiviteten i den statliga verksamheten är nu ”att lämna underlag som gör det möjligt för riksdagen att utkräva ansvar av såväl regeringen som dess myndigheter, bolag och stiftelser för de effektivitetsbrister som identifieras i granskningen”.134 Detta gör det förstås än mera intressant att det är i den därpå följande granskningsplanen som tanken på att effektivitetsrevi-
132 Granskningsplan för Riksrevisionen 2009, s. 13
133 Granskningsplan för Riksrevisionen 2011/12 och 2012/13 s. 9 resp. 17–18. 134 Granskningsplan för Riksrevisionen 2013/14 s. 18.
120
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
sionen ska möjliggöra ansvarutkrävande försvinner och främjandelinjen helt ersätter ansvarslinjen. I ingressen till avsnittet Effektivitetsrevision under huvudavsnittet Utgångspunkter för granskningsverksamhet ersätts den tidigare nyss citerade texten av en text med ett radikalt annorlunda innehåll: ”Effektivitetsrevisionen syftar till att öka effektiviteten i den statliga verksamheten. Detta görs genom att Riksrevisionen påtalar brister i den statliga verksamheten och klargör huruvida dessa hade kunnat undvikas om de som haft ansvar för att utföra verksamheten hade handlat annorlunda inom ramen för sina faktiska möjligheter. Det innebär att Riksrevisionen också, genom att lämna rekommendationer, klargör på vilket sätt olika verksamheter skulle ha kunnat bedrivas bättre. Därmed får Riksrevisionen en främjande roll.”135 (2014/15, s. 20). Den mellersta meningen i citatet får väl möjligen ses som ett slags indirekt hänvisning till ansvarsutkrävandet. Att se om de som haft ansvar ”haft faktiska möjligheter” att handla annorlunda har ju onekligen relevans i en prövning av någons ansvar.
Trots detta snabba kast är det tydligt att granskningsplanerna undan för undan blir dokument som uttrycker en mera pluralistisk syn på effektivitetsrevisionen, men där ansvarslinjen undan för undan trängts undan. I granskningsplanen för 2014/15 möter vi en effektivitetsrevision som i första hand får beskrivas som främjande och rekommenderande genom att berätta om hur saker kan göras bättre.
6.1.4 Granskningsplanerna 2015/16 och 2016/17: Den främsta kunskapsproducenten
Dessa två granskningsplaner, de sista som genomgången omfattar, påminner i hög grad om de allra första i ett alldeles särskilt avseende. Det är uppenbart att granskningsplanen för 2015/16 beslutats av tre riksrevisorer som vill klargöra att det är fråga om en ny inriktning av effektivitetsrevisionen.136 Målsättningen för Riksrevisionen, fastlås i granskningsplanen, är att den ska bidra till ”ett högt förtroende för det offentliga åtagandet och att det statliga åtagandet bedrivs med högsta möjliga kvalitet och att det är långsiktigt hållbart”.137 Detta är förvisso inte något som ter sig frapperande i en diskussion om effektivitetsrevisionen. I hög grad, som också framgått av denna promemoria (kap. 5) har diskussionen handlat om på vilket sätt effektivitetsrevisionen kan bidra till att vi, som medborgare, kan känna förtroende för staten och dess verksamhet.
I granskningsplanen 2015/16 och efterföljande år kopplas dock detta direkt till en konkret uppgift. I granskningsplanerna framhålls att i det långsiktiga perspektivet ska Riksrevisionen kunna uttala sig generellt om huruvida det ”offentliga åtagandet åtnjuter högt förtroende, dvs. om det offentliga åtagandet är effektivt och om det bedrivs med högsta möjliga kvalitet givet tillgängliga
135Granskningsplan för Riksrevisionen 2014/15 s. 20.
136Granskningsplan för Riksrevisionen 2016/17 beslutades av endast en riksrevisor, Margareta Åberg.
137Granskningsplan för Riksrevisionen 2015/16, s. 9.
2017/18:URF2
121
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | |
resurser samt om det är långsiktigt hållbart”.138 Det är en intresseväckande for- | ||
mulering. Det implicerar att högt förtroende följer av att det offentliga åtagan- | ||
det är effektivt, har hög kvalitet samt är långsiktigt hållbart. Resonemanget | ||
utvecklas dock något med hänvisning till den forskning som finns om den be- | ||
tydelse kvaliteten i offentlig förvaltning har för ett lands välstånd och det fram- | ||
hålls att genom ”att en oberoende instans granskar att det statliga åtagandet | ||
håller vad det lovar, är effektivt och oklanderligt, kan medborgarnas vilja att | ||
bidra till det gemensamma åtagandet stärkas”.139 | ||
Riksrevisionens roll blir därmed att uttala sig i förtroendefrågan genom | ||
egna men också andras analyser. Det handlar om att ”på grundval av Riksre- | ||
visionens granskningar, kompletterade med andra aktörers utvärderingar och | ||
uppföljningar återkommande kunna ge ett samlat uttalande om allmänhetens | ||
förtroende för och hållbarheten i det statliga åtagandet”.140 Den närmare inne- | ||
börden av dessa uttalanden är inte självklar. Rimligen innebär det inte att Riks- | ||
revisionens centrala uppgift är att på grundval av olika mätningar uttala sig om | ||
vilket förtroende allmänheten de facto har för hållbarheten i det statliga åta- | ||
gandet utan snarare att uttala sig om huruvida den statliga verksamheten be- | ||
drivs på ett sådant sätt att allmänheten kan antas känna förtroende för det stat- | ||
liga åtagandet. | ||
Det som kan ses som centralt är dock att effektivitetsrevisionen placeras in | ||
i ett sammanhang med andra kunskapsproducenter inriktade på statens verk- | ||
samhet. I syfte att kunna ge en ”nyanserad värdering av det statliga åtagandet” | ||
gäller det att använda kunskap framtagen på olika håll. Effektivitetsrevision- | ||
ens uppgift är att ”åstadkomma en heltäckande och nyanserad värdering av det | ||
statliga åtagandet. Därmed skapas förutsättningar för att också dra lärdomar | ||
av de goda exemplen.”141 Ambitionen formuleras likartat i granskningsplanen | ||
för 2016/17 där det konstateras att Riksrevisionen planerar en ”systemgransk- | ||
ning av samtliga utgiftsområden som, om några år, kommer att rapporteras till | ||
riksdagen. Syftet är att ge en samlad bedömning av utveckling, resultat, fram- | ||
tida risker och angelägna åtgärder inom alla viktiga samhällsområden där sta- | ||
ten har ett ansvar samt där staten helt eller delvis finansierar verksamheten. | ||
Rapporten ska baseras på tidigare granskningsrapporter, utvärderingar, forsk- | ||
ningsrapporter, Riksrevisionens omvärldsanalys m.m.”142 Förvisso har uttryck | ||
som heltäckande och liknande även förekommit i tidigare granskningsplaner. | ||
Det har även tidigare påpekats att enskilda studier sällan möjliggör uttalanden | ||
om effekterna av statliga verksamheter och att det därför måste genomföras | ||
flera granskningar inom ett område.143 Skillnaden är att det tidigare var fråga | ||
om ett tillvägagångssätt för att kunna ge en bild av situationen på ett område | ||
eller kring en viss verksamhet, nu gällde det staten som helhet. | ||
138 Granskningsplan för Riksrevisionen 2015/16, s. 9. | ||
139 Granskningsplan för Riksrevisionen 2015/16, s. 12. | ||
140 Granskningsplan för Riksrevisionen 2015/16, s. 10. | ||
141 Granskningsplan för Riksrevisionen 2015/16, s. 10. | ||
142 Granskningsplan för Riksrevisionen 2016/17, s. 11. | ||
143 Granskningsplan för Riksrevisionen 2013/14, s. 19. | ||
122 |
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
Effektivitetsrevisionen ges i dessa två granskningsplaner rollen att vara det organ som fördjupar kunskapen om staten och förutsättningarna för statliga interventioner och under vilka förutsättningar dessa bäst kan leda till effektivitet och hållbarhet i det statliga åtagandet. Det är en främjande roll som inte handlar om att sätta fokus på de områden där det kan misstänkas finnas problem och där effektivitetsrevisionen kan bidra med kunskaper om hur verksamheten kan bli bättre. Grunden för valet av granskningar är i stället att ”säkerställa” att Riksrevisionen kan åstadkomma denna heltäckande och nyanserade bild (2015/16, s. 10). Detta beskrivs också som en tyngdpunktsförskjutning mot att värdera effekter och samhällsnytta av de statliga insatserna samt att i större utsträckning analysera de bakomliggande orsakerna. Det är ett sätt som, för att använda de termer som introducerades i kapitel 4 i denna promemoria, kan beskrivas som policyfrämjande eller kunskapsgenererande. Det handlar om att bygga ett slags grundkunskap som svarar på frågan, som det uttrycks i granskningsplanen för 2015/16, ”om det statliga åtagandet är hållbart”.144
6.2 Valet av vad som ska granskas
I de olika granskningsplanerna beskrivs mer eller mindre utförligt den planeringsprocess som leder fram till riksrevisorernas ställningstaganden till vad som ska granskas och beskrivs redan i granskningsplanen för 2006 som ”en kontinuerlig process som är integrerad i verksamheten”.145 Vikten av den egna omvärldsanalysen framhålls i ökande grad och blir under några år (särskilt 2011/12–2014/15) en central del i granskningsplanen, och pekar på övergripande faktorer som påverkar statens roll och verksamhet (globalisering, den demografiska utvecklingen, välfärdens finansiering och hållbarhet och så vidare) som kan påverka förutsättningarna för statens verksamhet och utgöra risker för olika verksamhetsområden. På vilket sätt dessa beskrivningar de facto har varit styrande för urvalet av granskningar och deras närmare inriktning kräver dock en avsevärt mera ingående analys än vad som här har varit möjligt att genomföra.
I granskningsplanerna diskuteras dock vissa fall principiella frågor kring valet av vad som granskas. Några ska beröras här.
6.2.1 Problemkriteriet
Redan i granskningsplanen för 2005 infördes som ett särskilt kriterium för valet av vad som skulle granskas att ”granskningen ska ta sin utgångspunkt i ett förmodat problem”.146 Kriteriet, som på ett eller annat sätt återkommit i de olika granskningsplanerna fram till 2015/16, formuleras i granskningsplanen för 2012/13 att lagens krav om att effektivitetsrevisionen ska främja att staten
144Granskningsplan för Riksrevisionen 2015/16, s. 13.
145Granskningsplan för Riksrevisionen 2006, s. 10.
146Granskningsplan för Riksrevisionen 2005, s. 7.
2017/18:URF2
123
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
med hänsyn till allmänna samhällsintressen får ett effektivt utbyte av sina in- | |
satser innebär att ”effektivitetsrevisionen primärt bör identifiera områden där | |
det finns risker för ineffektivitet i synnerhet om detta kan få konsekvenser för | |
statsbudgeten eller allmänna samhällsintressen. Granskningen är därmed pro- | |
blemorienterad och inriktas vanligen mot områden där riksdagens mål och in- | |
tentioner inte uppnås.”147 Uppfattningen att ett problem i huvudsak definieras | |
i statsbudgetstermer uttrycks än starkare nästföljande år. Med hänvisning till | |
samma lagrum konstaterar riksrevisorerna att detta innebär ”att effektivitets- | |
revisionen primärt bör identifiera risker för ineffektivitet inom områden i sta- | |
tens verksamhet som ur ett principiellt eller kvantitativt perspektiv har stor | |
betydelse för statsbudgeten. Granskningen är därmed problemorienterad.”148 | |
Tolkningen av problemkriteriet, när det nu definieras, är inte självklar. En | |
fråga är förstås innebörden av ett ”principiellt eller kvantitativt perspektiv”. | |
Hur mäts vikten i statsbudgeten, uttryckt på något sätt, i förhållande till andra | |
aspekter. Det är också ofrånkomligt att frågor kan ställas om vad som påverkar | |
möjligheterna att identifiera dessa risker och vilka faktorer som påverkar att | |
det framkommer information som kan indikera bristande ineffektivitet. Oav- | |
sett den närmare innebörden av detta kriterium är det dock viktigt att notera | |
att det ger uttryck för en föreställning som dominerat inom Riksrevisionen – | |
sökarljuset ska riktas dit där det finns problem. Det är inte fråga om att ge en | |
heltäckande bild av staten liknande den som principiellt sett genomförs av den | |
finansiella revisionen och som uttalar sig om hur rättvisande redovisningen är | |
i samtliga revisionsobjekt. | |
Problemkriteriet är dock inte självklart. Synen på detta påverkas av upp- | |
fattningen om vad som är uppdragets kärna. Det är därför följdriktigt att riks- | |
revisorerna i granskningsplanen för 2015/16 intar en mera reserverad hållning | |
då de konstaterar att ambitionen att åstadkomma en heltäckande och nyanserad | |
värdering av det statliga åtagandet innebär att grunden för urvalet av gransk- | |
ningar ”inte nödvändigtvis [är] att det förekommer ett problem”.149 |
6.2.2 Mindre kända problem
Andra urvalsgrunder har inte samma permanens. En sådan, som särskilt tydligt tas upp i granskningsplanen för 2011/12 oh 2012/13, är att effektivitetsrevisionen har ett särskilt ansvar för ”att täcka områden där få andra aktörer befinner sig för att på så sätt även kunna lyfta fram mindre kända problem och inte endast de där det finns en aktuell diskussion, gott om kunskap och beredskap att ompröva verksamheten”.150 Den bakomliggande tankegången synes vara att vissa områden bevakas av många andra aktörer, inom staten men kanske också till exempel av intresseorganisationer och att revisionen därför bör rikta in sig på att granska det som kommer i skymundan. Denna förmodan stärks då
147 Granskningsplan för Riksrevisionen 2012/13, s. 19.
148 Granskningsplan för Riksrevisionen 2013/14, s. 19. Formuleringen är likartad i den följande granskningsplanen, s.21.
149 Granskningsplan för Riksrevisionen 2015/16, s. 10.
150 Granskningsplan för Riksrevisionen, 2011/12, s. 11.
124
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
det också sägs: ”Dels ligger det i revisionens fria roll att kunna söka denna typ av problem, dels är det i ett medborgarperspektiv viktigt att belysa mindre uppmärksammade problem för individer och grupper i samhället.” Effektivitetsrevisionen sätts härmed in i ett maktperspektiv, den har ett särskilt uppdrag att granska sådant som är viktigt för grupper som inte företräds av organisationer vilka slår larm när den egna gruppens intressen kommer i kläm. Det är en tankegång som inte självklart låter sig förenas med problemkriteriet; just problemet med dessa områden, med svaga andra bevakare, kan ju just vara att problem inte påtalas.
6.2.3 Handlingsfrihet
I granskningsplanen för 2011/12 och 2012/13 tas en form av rådighetsprincip upp. ”Ju större handlingsfrihet de olika aktörerna i ansvarskedjan har getts, i förhållande till verksamhetens mål och intentioner, desto större intresse bör revisionen ägna åt verksamheten i fråga”.151 (2011/12, s. 11). I samma resonemang förs frågan om komplexiteten i verksamhetens genomförande in och det framhålls att det kan handla om att många aktörer är inblandade i implementeringen, kommunal eller privata etc.
Båda dessa aspekter har förstås en principiell betydelse. Varför de kommer in under ett par år för att därefter försvinna framgår inte. Det finns inte heller under de efterföljande åren några resonemang som mera indirekt kan användas för att förklara detta.
6.2.4 Oklara bedömningskriterier
I några granskningsplaner tas frågan upp om vad den ”typiska effektivitetsgranskningen” är. I granskningsplanen för 2011/12 framhålls att effektivitetsrevision kan sträcka sig från ”utvärderingar av politiska reformer till granskning av om myndigheterna följer lagar och regler”.152 Dessa ytterlighetsformer ska dock enligt riksrevisorerna utgöra undantag. Riksrevisorerna framhåller att den typiska effektivitetsgranskningen därför väl i linje med revisorslagen, det vill säga granskning av genomförande av statlig verksamhet i syfte att bedöma om riksdagens mål och intentioner uppnås. De kriterier som granskningens slutsatser bedöms mot utgår ofta från riksdagens effektivitetskrav i form av mål, syften och intentioner för den aktuella verksamheten som granskas. De kan dock även utgå från till exempel god praxis, rimlighetsbedömningar eller vad som kan bedömas som kunskapsfronten inom området.153
Resonemanget ger uttryck för den grundhållning som kan sägas ha präglat granskningsplanerna sedan Riksrevisionens tillblivelse. I grunden härleds olika bedömningskriterier från vad riksdagen har sagt, men de kan också
151Granskningsplan för Riksrevisionen, 2011/12, s. 10.
152Granskningsplan för Riksrevisionen, 2011/12, s. 10.
153Granskningsplan för Riksrevisionen, 2011/12, s. 10. Se också 2012/13, s. 19, 2013/14, s.
19och 2014/15, s. 21
2017/18:URF2
125
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
bygga på det som i citatet beskrivs som kunskapsfronten eller rimlighetsbe- | |
dömningar, som – får här skjutas in – det kan antas att riksdagen också vill att | |
verksamheten ska bygga på. Den närmare innebörden av dessa bedömnings- | |
kriterier är dock inte självklara. Rimligen kan det sägas att de får bedömas | |
utifrån en tolkning av det som görs i granskningsverksamheten. Det kan dock | |
noteras att det ingenstans i granskningsplanerna finns resonemang om inne- | |
börden av centrala nyckelbegrepp som till exempel effektivitet och målupp- | |
fyllelse. |
6.3 Några kommentarer
Granskningsplanen är ett betydelsefullt dokument; det enda framåtsyftande dokument som enligt lag beslutas gemensamt av de tre riksrevisorerna. Detta har sin särskilda betydelse. I de flesta myndigheter finns det ett drag av förhandling och kompromiss när det gäller denna typ av dokument. Olika intressen, inte sällan sammanfallande med till exempel avdelnings- och enhetsgränser, ska samsas. Vanligen är dock slutresultatet fastställt av en högsta chef, meningsskiljaktigheter döms alltså av under processens gång. I Riksrevisionen beslutas granskningsplanen av tre personer som är, om uttrycket tillåts, tillsagda att komma överens om just detta dokument. Till en del torde detta förklara att dokumentet innehåller så lite av resonemang av karaktären ”vad betyder nu detta”, resonemang där kanske skillnader i ståndpunkter skulle framträda.
Detta kan uppfattas som bekymmersamt. Givet den mycket speciella roll Riksrevisionen har, och inte minst att de tre riksrevisorerna genom val av riksdagen har fått ett särskilt förtroende, är det av stor betydelse att de tre riksrevisorerna är tydliga med hur de avser att bruka detta förtroende. För att framföra en normativ ståndpunkt bör alltså riksdagens ledamöter, men också intresserade medborgare, genom granskningsplanen kunna få en avsevärt tydligare bild av hur riksrevisorerna ser på sitt uppdrag än vad som hitintills varit möjligt. I synnerhet gäller detta om denna syn skiftar över tid och mellan olika grupper av riksrevisorer.
En genomgång av granskningsplanerna ger lätt intryck av att effektivitetsrevisionens verksamhet är resultatet av en mycket genomtänkt planeringsprocess och att valet av granskningar bygger på omfattande analyser. Det är också uppenbart att riksrevisorerna gärna själva vill förmedla en sådan bild. I flera granskningsplaner beskrivs med viss utförlighet själva planeringsprocessen. Detta kan möjligen skapa en överdriven bild av betydelsen av dessa processer eller, om man så vill, det rationella draget i beslut om vad som till exempel ska granskas och därigenom också skyla över betydelsen av riksrevisorernas egna personliga preferenser. Att riksrevisorernas personliga hållning och värderingar har en stark påverkan på effektivitetsrevisionen bör dock inte ses som ett problem. Tvärtom kan det anses vara en naturlig konsekvens av det särskilda förtroende riksdagen gett riksrevisorerna.
126
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
Det bör också slutligen återigen framhållas: Det som här beskrivits kan ses som den retoriska nivån – vad riksrevisorerna sagt om sitt uppdrag. Hur effektivitetsrevisionens praktik påverkats vet vi alltså mindre om. De kvalitetsbedömningar av effektivitetsrevisionens granskningsrapporter som genomförts av en forskargrupp i Uppsala har inte haft i uppdrag att besvara denna fråga. Forskargruppen pekar dock på förändringar i granskningsrapporterna; 2015 konstaterar de att de funnit fler rapporter som håller högre kvalitet jämfört med tidigare men också att de funnit ”en större bredd i granskningarnas karaktär i form av inriktning och metodologiska ansatser”.154 Vi vet dock inte något om sambandet mellan dessa förändringar och förskjutningar på den retoriska nivån. Retoriska kast kan rimligen inte ha lett till lika tvära kast i verksamheten inom effektivitetsrevisionen. Även om detta inte kan ledas i bevis så tyder nog mycket på att effektivitetsrevisionens granskningar varit betydligt mer lika över åren än vad som kan förmodas efter en genomläsning av granskningsplanerna.
154 Uppsala Universitet 2015, s. 14.
2017/18:URF2
127
2017/18:URF2 BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
7 Avgörande frågor för effektivitetsrevisionen
Riksrevisorerna har över tid haft skiftande förväntningar på vad effektivitetsrevision kan åstadkomma. Detta har kommit till uttryck i de olika dokument riksrevisorerna beslutat rörande verksamhetens inriktning (kap. 6). Det är också tydligt att även utredningstexter och betänkanden i samband med tillkomsten av Riksrevisionen och senare beslut i riksdagen präglas av skiftande förväntningar. Även de förväntningar som kom till uttryck i den offentliga debatten, i samband med och efter händelserna 2016, gick i olika riktningar. I de föregående kapitlen har också visats att de olika synsätten på effektivitetsrevisionen är en central fråga i den forskning som finns om effektivitetsrevision.
Tidigare i denna promemoria har jag försökt att tydliggöra olika uppfattningar om effektivitetsrevisionen och vilka konsekvenser de kan få för effektivitetsrevisionens praktik. Det är nu dags att på ett mera sammanfattande sätt diskutera ett antal frågor som är avgörande för vilka förväntningar det är rimligt att ha på effektivitetsrevisionen. Några av dessa kan vara av sådan betydelse att de kanske bör påverka de förväntningar riksdagen har på den verksamhet de uppdragit åt Riksrevisionen att genomföra. Oavsett detta ligger det i sakens natur att riksrevisorernas befogenhetsområde är så stort att Riksrevisionens hållning kan skifta över tid även när det gäller viktiga inriktningsfrågor. I dessa fall är det dock viktigt att riksrevisorerna klargör sin syn på sådana frågor. Det kan, för att föra in en normativ ståndpunkt, hävdas att just det förhållandet att riksrevisorerna har fått ett särskilt förtroende av riksdagen, och en särskilt skyddad position, innebär att de med tydlighet bör kunna klargöra till vad de ska använda detta förtroende. Det som lyfts fram i det följande kan beskrivas som uppmärksamhetspunkter. Det är sådant som bör uppmärksammas just därför att en diskussion om dem kan leda fram till olika ställningstaganden och påverka förväntningarna på effektivitetsrevisionen.
Uppdelningen i olika frågor gör att det är svårt att undvika vissa upprepningar. Förhoppningsvis kan läsaren överse med detta.
7.1 Vad är effektivitetsrevisionens särart?
Det har tidigare visats att det finns olika synsätt på effektivitetsrevisionens roll och vad som skiljer effektivitetsrevision från andra liknande verksamheter. Det behöver dock inte självklart innebära att det är nödvändigt att ge ett synsätt på effektivitetsrevisionen företräde framför andra. Det kan invändas att det är fullt möjligt att samtidigt bedriva effektivitetsrevisionen med olika syften och också låta revisionens syfte och roll förändras över tiden. En sådan tanke kan till och med hävdas ha stöd i regeringsformen som ju ger riksrevisorerna vidsträckta befogenheter. Behovet av att klargöra effektivitetsrevisionens särart,
128
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
i avseende på syfte och roll, skulle därmed falla bort. Invändningen är viktig och förtjänar en något utförligare diskussion.
7.1.1 Kan olika syften förenas?
Att hävda att det allmänt sett inte går att i en och samma organisation förena olika synsätt på verksamhetens grundläggande syfte ter sig vanskligt. Det skulle förmodligen inte heller vara helt lätt att empiriskt leda detta i bevis. Alldeles uppenbart finns det utvärderande organisationer vars verksamhet kan falla under de olika syften som diskuterades i kapitel 4.
Olika syften leder dock till olika förhållningssätt, teoretiskt och praktiskt, till verksamheten. I samband med den stora norska NAV-reformen, för vilken det norska forskningsrådet fick ett övergripande utvärderingsansvar, tillsattes en särskild expertgrupp för att genomföra en så kallad metaevaluering. Expertgruppen diskuterade spänningarna mellan olika syften, och särskilt då verksamhetsutveckling och kunskapsgenerering mot bakgrund av att det norska forskningsrådet ansågs ha betonat den långsiktiga kunskapsutvecklingen. Metautvärderingen antar att Forskningsrådet förmodligen har ”tenkt at man sikrer både evalueringens kvalitet og legitimitet ved at forskningen foregår i henhold til armlengdeprinsippet fra oppdragsgiver. Samtidig inngår det ogs […] at formålet med evalueringen er å bidra med å løpende gjøre evalueringens resultater anvendelige i forbindelse med implementeringen”.155 Metautvärderingen uppfattar detta som ett problem:
Løpende anvendelse av evalueringsresultatene kan finne sted på flere nivåer, fra det å stilling på et mer overordnet nivå til selve fordelingen av oppgaver og ansvar mellom ulike aktører, og til forandringer i de lokale kontorenes arbeidsmåte. De delene av evalueringen som gjennomføres med tanke på løpende tilbakemelding, må derfor målrettes mot disse ulike nivåene. En slik evaluering krever en tett relasjon mellom de som evaluerer og de forskjellige aktørene som skal gjøre bruk av evalueringsresultatene (Hansen, 2005), og dette kan være en utfordring i forhold til autonomi og armlengdeprinsippet […]. Vi mener derfor at det her er snakk om et paradoks, i betydningen tilsynelatende motsetning, når målsetningen både er løpende tilbakemelding og langsiktig kunnskapsutvikling. Det hersker delte meninger om hvorvidt det er snakk om en genuin konflikt mellom kravene til autonomi ved langsiktig kunnskapsutvikling og kravene til brukbar løpende tilbakemelding. Vi mener likevel at det finnes logistiske og praktiske problemer som kan gjøre det vanskelig å la en evaluering romme så forskjellige anvendelsesmålsetninger.156
Citatet belyser spänningen mellan skilda syften och också att den förhärskande uppfattningen i en organisation om varför en utvärdering ska göras sätter en prägel på både vad som ska göras och hur det görs. Grundläggande för detta är förstås också, som visats i kapitel 4, att olika syften har konsekvenser för synen på centrala frågor som påverkar metodval, relation till de som beslutar och deltar i den verksamhet som står i fokus och så vidare.
155Norges Forskningsråd 2014, s. 43–44.
156Norges Forskningsråd 2014, s. 44.
2017/18:URF2
129
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | |
Frågan om möjligheterna att låta effektivitetsrevisionens olika syften bli en | ||
lämplighetsfråga, som kan besvaras olika från fall till fall, handlar dock i grun- | ||
den inte om de praktiska möjligheterna att i samma organisation förena olika | ||
syften. För även om detta skulle vara fullt möjligt kvarstår frågan om på vilket | ||
sätt olika syften förutsätter den typ av konstitutionella arrangemang som om- | ||
gärdar den statliga effektivitetsrevisionen. De många utvärderingar av statlig | ||
verksamhet som genomförs vid olika forskningsinstitutioner, myndigheter, | ||
konsultföretag, intresseorganisationer och så vidare har, som nämnts, olika | ||
syften. Ett av dessa kan förvisso vara att ta fram underlag som kan användas | ||
även för att utkräva ansvar (eller kanske belöna). En utomstående utvärderare | ||
– till exempel i form av en forskare eller konsult – kan kallas in av en ledning | ||
för att granska underlydande organs eller befattningshavares verksamhet. | ||
Många utvärderingar görs alltså, som framhållits tidigare, i en kontext av an- | ||
svarsutkrävande och accountability. Oberoendet för den konsult eller annan | ||
som deltar i en sådan process kan vara betydande i utförandet av den enskilda | ||
granskningen, men det gäller just det tilldelade uppdraget. Den tillkallade ut- | ||
värderaren agerar inte utifrån en ”egen” institutionell plattform som gör det | ||
möjligt att till exempel själv välja vad som ska granskas samt när och hur. | ||
Den fråga som här diskuteras är en annan. Utgångspunkten är här att det | ||
inte handlar om ett tillfälligt arrangemang eller om något som är föremål för | ||
löpande förhandlingar mellan – i detta fall – riksdagen och Riksrevisionen. | ||
Det är i stället en position, med särskilda friheter och rättigheter, som är regle- | ||
rad på den högsta lagnivån. Det måste vara utgångspunkten för diskussionen | ||
om vad som särskiljer Riksrevisionens effektivitetsrevision från annan utvär- | ||
dering eller, om man så vill, andra verksamheter som kan te sig likartade. | ||
Den avgörande frågan är alltså vilket syfte som motiverar en så speciell | ||
position och omvänt – till vad en sådan position kan förväntas användas. När | ||
syftet är att ta reda på hur väl olika verksamheter sköts, vilka brister som finns, | ||
hur ansvarsförhållandena ser ut, hur ansvar för olika brister och tillkortakom- | ||
manden kan föras tillbaka på organisationer och befattningshavare och i vilken | ||
grad dessa haft möjlighet att agera annorlunda, är det svårt att se annat än att | ||
det krävs ett särskilt oberoende i förhållande till den organisation eller verk- | ||
samhet som är analysens objekt. Detta följer av att det kan antas att det åt- | ||
minstone ibland kan finnas en risk för att de som har ansvaret för en organi- | ||
sation eller en verksamhet har ett intresse av att vissa frågor inte ställs och att | ||
vissa förhållanden inte blottläggs. Insikten formuleras av Schwartz då han | ||
sammanfattar den aktuella forskningen: ”Administrators’ interest in organiza- | ||
tional stability, budget maximization, and the promotion of a favourable image | ||
contribute to general desire to refrain from conducting evaluations which | ||
might show agency programmes in a bad light”.157 Om det finns ett demokra- | ||
tiskt intresse av att också sådana frågor ställs krävs det därför att granskaren | ||
har getts en starkt konstitutionell position. | ||
157 Schwartz 1999, sid. 511. | ||
130 |
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | 2017/18:URF2 |
7.1.2 Raison d´être och andra effekter – ett sätt att förena olika synsätt
I kapitel 5 gjordes en viktig distinktion, nämligen mellan det som kan ses som motivet till att ha en effektivitetsrevision, som diskuterats ovan, och på vilket sätt en effektivitetsrevision på ett mera konkret plan kan bidra till att förbättra den statliga verksamheten. Åtskillnaden är viktig, och ska därför diskuteras något ytterligare. Diskussionen kan möjligen bidra till att överbrygga skillnaden mellan de olika synsätten som varit upphängda kring nyckelord som ansvar och ansvarsutkrävande å ena sidan och främjande och lärande å den andra. Distinktionen kan te sig trivial. I rader av sammanhang, från beslut i privatlivet till beslut om stora politiska reformer, bestäms saker därför att det antas att ett visst handlande, en viss aktion, leder fram till något man vill uppnå, aktionens mål eller syfte. I litteraturen framhålls emellertid att också en rad andra saker kan inträffa, och det finns till och med en rad kategoriseringar av dessa andra möjliga effekter. I ett vanligt språkbruk beskrivs dessa andra effekter ofta som negativa eller positiva sido- eller bieffekter.
Uttryckssättet kan lätt leda till uppfattningen att det handlar om något vid sidan av och något som därför är mindre viktigt, eller mindre relevant, i en diskussion om effektivitetsrevision. Och ord som sido- eller bieffekter kan lätt uppfattas just så, som något mindre viktigt eller underordnat. I själva verket är det inte sällan så, som berörts tidigare, att de effekter som ligger vid sidan av de avsedda effekterna och som utgjorde själva grunden för till exempel en politisk reform kan vara minst lika betydelsefulla. Inget hindrar heller att sådana effekter ibland är förutsedda och har ”räknats in” när ett visst beslut fattats.
Distinktionens betydelse i diskussionen om just effektivitetsrevisionen illustreras av Lonsdale och Bechberger i deras behandling av de olika syften och funktioner effektivitetsrevision kan ha:
[…] it is important to emphasise that the advice and guidance that the NAO generates is a spin-off from its primary accountability role; without its stature audit functions it would not have the knowledge to share, gained from its access and accumulated work. This is a reminder that the learning role will always be secondary […] if the prime purpose of the evaluative work is learning, you would not choose the format of performance audit.158
Tanken att ingen skulle välja att inrätta en effektivitetsrevision om lärande och verksamhetsutveckling skulle vara det främsta syftet bygger på att verksamhetsutveckling leder till en kollision med synen på oberoende och den särskilda konstitutionella position som är central för statlig revision. I en diskussion som specifikt gäller effektivitetsrevision framhåller Barzelay:
Suppose an audit body takes on the goal of performance improvement and believes that organizations need to “own” solutions in a psychological sense to implement them. This stance at a minimum would place a premium on consultation with auditees, perhaps even with those deeps inside bureaucratic structures. Consultation might concern terms of reference for
158 Lonsdale and Bechberger 2011, s. 285.
131
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
the audit, validity of data and interference about performance, identification of root causes of performance problems, and the canvassing solutions. To pursue the goal of performance improvement thus seems to require a more intimate relationship between auditors and auditees than characterrizes the traditional pattern.159
Uppfattningen som Barzelay, och även Lonsdale och Bechberger, utgår från, nämligen den att relationen till det granskade måste vara präglad av närhet, och snarast av beroende, om syftet är performance improvement delas av många forskare. Det kan dock finnas olika uppfattningar om detta. I en diskussion om synen på effektivitetsrevision är det dock inte avgörande vilken uppfattning som, empiriskt sett, är den riktigaste. Det centrala är i stället, att värdet av en effektivitetsrevision blir just en empirisk fråga om argumenten för att en sådan, är att den bidrar till lärande och bättre resultat. Om det kan visas att andra modeller är bättre för att få till stånd sådana resultat är det naturligtvis inte rimligt att satsa resurser på effektivitetsrevisionen.
Flera forskare har explicit tagit upp detta problem. Om effektivitetsrevisionens värde bedöms utifrån dess omedelbara nytta hamnar den lätt i en situation där dess existens och de resurser som satsas på den kan sättas i fråga. Det är uppenbart att de nationella revisionsorganen i dag pekar på att de gör nytta genom att visa på det omedelbara ekonomiska värdet av sin verksamhet. NAO i Storbritannien framhåller i sin årsrapport: ”We have delivered a strong programme of work to support Parliament and achieved the highest level to date of financial savings for the tax payer, of £1.21 billion, equivalent to £19 saved for every pound spent, all while reducing our costs and achieving further efficiencies”.160
Detta sätt att argumentera för det omedelbara, mera instrumentella, värdet av sin verksamhet förefaller att ha blivit mera betydelsefullt för flera nationella revisionsorgan. Put och Bouckert pekar på att New Public Management (NPM) har påverkat hur SAIarna motiverar sin existens: ”The degree to which SAIs have adopted performance measurement mirrors the extent to which the NPM reforms have been adopted in the country concerned”.161
Att detta i längden kan skapa problem påpekades av Pollitt och Summa flera år tidigare i en artikel med den talande titeln Reflexive Watchdogs? How Supreme audit institutions account for themselves? De menar att de nationella revisionsorganen (Supreame Audit Institutions, SAI) som har ”a strong need to justify by giving details of the results achieved and by the value-added for the public sphere”162 hamnar i en situation ”in which a SAI had no distinctive raison d’être. Its continuing existence would depend on its measured performance, on whether the savings their improvements prompted among auditees exceeded its cost”.163
159Barzaly 1997, s. 253.
160NAO 2016, s. 8.
161Put och Bouckert 2013, s. 231.
162Pollitt och Summa 1997, s. 323.
163Pollitt och Summa 1997, s. 334.
132
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
7.1.3 Ett tankeexperiment
Diskussionen leder ofrånkomligen till ett tankeexperiment. Om nu inte effektivitetsrevision var en del av det nationella revisionsorganet, hur skulle de som ville skapa en sådan ordning argumentera? Det bör påpekas att även om detta är ett tankeexperiment så kan argumentation för inrättandet av en effektivitetsrevision också påverka uppfattningen om hur mycket resurser som bör läggas ned på effektivitetsrevision, när nu en sådan finns.
Det framstår som osannolikt att de som skulle ställa sig bakom inrättandet av en effektivitetsrevision skulle göra det med argumentationen att detta vore en bra modell för att hjälpa myndigheter att utveckla sin verksamhet eller för regeringen att utveckla sin styrning av olika verksamheter. Troligen skulle väl detta argument te sig mindre användbart eftersom ett sådant syfte kan antas förutsätta, eller åtminstone underlättas, om de som ska ha hjälp har ett starkt inflytande över vad som ska analyseras, vilka frågor som ska ställas och så vidare. Det oberoende som effektivitetsrevisionen skulle åtnjuta som en del av ett nationellt revisionsorgan skulle därmed kunna ses som ett problem.
Ett argument för att inrätta en effektivitetsrevision som möjligen skulle kunna framföras är att det behövs ett organ för att öka kunskapen om olika samhällsproblem, vad som är dess orsaker och hur dessa kan påverkas genom olika styrmedel. Ett led i argumentationen skulle då kunna vara att oberoendet, som effektivitetsrevisionen skulle ha som en del av ett nationellt revisionsorgan, är viktigt för att säkra objektivitet och en särskilt hög kvalitet. Olika forskare kommer ju också, skulle det kanske framhållas, till olika slutsatser. Det behövs därför någon som utan några egna intressen objektivt kan tala om hur det ligger till. Argumentet skulle rimligen möta invändningar. I grunden förutsätter dock detta argument att det empiriskt kan visas, eller åtminstone troliggöras, att en sådan effektivitetsrevision, i jämförelse med olika vetenskapliga organisationer, skulle producera rapporter av särskilt hög kvalitet, vara särskilt objektiv och med särskild skicklighet avgöra konflikter mellan olika synsätt.
Om diskussionen i stället börjar med frågan hur till exempel riksdagen kan säkra att den får information om hur de politiska besluten verkställs och om olika missförhållanden, blir situationen en annan. Det som då skulle framhållas är att den lösning som skapas måste minimera risken för att olika organs institutionella intressen kan snedvrida den information som tas fram. Detta förutsätter arrangemang som gör att granskaren har exklusiva möjligheter att inhämta information och att den granskade svarar på de iakttagelser som görs och att de rapporter som tas fram hanteras i en särskild ordning. Argumentationen skulle ta fasta på att en sådan granskande verksamhet måste kunna välja vad som ska granskas och genomföra sina granskningar med ”freedom from investigatory and reporting constraints”. Frågan om oberoende är i detta fall inte en empirisk fråga. Det organ som ges en sådan roll måste vara och även uppfattas som oberoende. Oberoendet blir därmed en del av själva definitionen av effektivitetsrevision.
2017/18:URF2
133
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
Resultatet av detta tankeexperiment innebär att det är svårt att se att grun- | |
den för den exklusiva positionen effektivitetsrevisionen de facto har kan vara | |
någon annan än att den ska ställa frågor, och på olika sätt kontrollera, hur de | |
som har fått i uppdrag att genomföra statens verksamheter hanterar detta an- | |
svar. Detta innebär dock inte att effektivitetsrevisionens produkter enbart kan | |
användas för att möjliggöra ansvarsutkrävande. Det har tidigare påpekats att | |
just ett sådant syfte förutsätter att analyser av verksamheten kan visa på för- | |
bättringsmöjligheter. Påståenden om att något är bristfälligt förutsätter att det | |
kan visas att det skulle ha varit möjligt att undvika dessa brister och också på | |
vilket sätt organisationer eller människor haft möjlighet att agera annorlunda | |
än de har gjort. | |
Ett bejakande av att revisionen ytterst finns till för att det behövs någon som | |
granskar hur de som anförtrotts uppdraget att genomföra de folkvaldas beslut | |
hanterar detta ansvar, innebär att det är detta existensmotiv som avgör hur ef- | |
fektivitetsrevisionens särart ska beskrivas. Det hindrar dock inte att effektivi- | |
tetsrevisionen kan ge upphov till andra effekter än de som följer av detta syfte. | |
I ställningstagandet till mera grundläggande frågor kring effektivitetsrevision- | |
ens inriktning och vid utmejslandet av effektivitetsrevisionens roll är det dock | |
ytterst själva existensmotivet som utgör probersten. |
7.2 Vem är effektivitetsrevisionens uppdragsgivare?
Diskussionen om revisionens oberoende har i första hand handlat om revisionens oberoende i förhållande till uppdragstagarna i ett uppdragsgivare – uppdragstagare förhållande (principal – agent). Granskaren måste stå fri i förhållande till uppdragstagaren när det ska bestämmas vad som ska granskas, när det ska ske och vilka frågor som ska ställas. Förändringen 2003 hade sin bakgrund i detta. Om regeringen och dess underlydande verksamheter skulle kunna granskas måste revisionen vara självständig i förhållande till regeringen och därför vara en myndighet under riksdagen.
7.2.1 Oberoendet i ett parlamentariskt system
På ett allmänt plan kan detta te sig tämligen självklart. I denna trepartsrelation är dock inte heller förhållandet till uppdragsgivaren självklart.
En sida av saken är i vilken utsträckning uppdragsgivaren bör påverka granskaren. Vad gäller Riksrevisionen är regeringsformen tydlig, det är varje enskild riksrevisor som bestämmer vad som ska granskas. Det är en bestämmelse som kan te sig särskilt viktig i ett parlamentariskt system likt det svenska. Skälet till detta är att den faktiska relationen mellan parlament och regering i ett parlamentariskt system har en komplexitet som inte fångas in i modellen av en överordnad uppdragsgivare och en underordnad uppdragstagare. I sådana system kan parlamentets majoritet ha ett intresse av att försvara regeringens politik och därmed så att säga agera som ombud för agenten. Im-
134
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
plikationen av detta är att oberoendet inte bara kan diskuteras i termer av oberoende i förhållande till det verkställande systemet. En revision vars granskningar av regeringens verkställande av riksdagens beslut kan påverkas (vad som ska granskas, när det ska granskas och vilka frågor som ska ställas) av de riksdagsledamöter som samtidigt utgör denna regerings parlamentariska underlag, eller kanske den föregående regeringens, skulle åtminstone kunna misstänkas för att hålla inne med kritik. Regeringsformens formulering innebär dock att risken att revisionen skulle kunna bli misstänkliggjord på denna grund inte föreligger.
7.2.2 Relationen till medborgarna
Det framhålls många gånger också att Riksrevisionen agerar på medborgarnas uppdrag. Det sker i artiklar av forskare men tanken tangerades också till exempel vid de två konferenser som arrangerades av finansutskottet respektive konstitutionsutskottet under våren 2017. I viss mening är detta självklart; den grundläggande konstruktionen av den svenska demokratin är att medborgarna lämnat sitt mandat till riksdagen.164 I en indirekt mening är det därför sant att Riksrevisionen, och i övrigt alla andra statliga organ, har fått sitt uppdrag från medborgarna. Vad gäller staten har dock medborgarna, på ett mera direkt sätt, inte lämnat något mandat till någon annan än riksdagen. Det är denna tanke som Förvaltningsutredningen gav uttryck för när den, med hänvisning till de åtta första orden i regeringsformen, skriver: ”För att realisera denna princip binder regeringsformen samman statsförvaltningen med folket genom en uppdrags- och ansvarskedja.165
Detta leder till att frågan om Riksrevisionens relation till medborgarna ter sig mera komplex än vad den i förstone gjorde. Den principiella frågan här är om Riksrevisionen i sitt val av vad som ska granskas och i sitt val av bedömningskriterier på ett mera allmänt sätt kan hänvisa till ”medborgarintresset”. Är det möjligt för revisionen att välja att genomföra en granskning därför att den anser att ett visst problem har särskild betydelse för medborgarna eller en viss verksamhet är särskilt angelägen ur ett medborgarperspektiv? För revisionen är detta en problematisk fråga därför att detta att välja vad som ska granskas, och kanske välja bedömningskriterier, på grundval av en uppfattning om vad som är särskilt betydelsefullt för medborgarna ligger nära vad som kan ses som en politisk bedömning. Den representationskedja som omnämndes tidigare bygger på tanken att medborgarnas vilja och deras uppfattning om vad som är viktigt eller oviktigt enbart kan tolkas av riksdagen.
En helt annan sak är att det i en rad sammanhang kan vara viktigt att ta reda på hur människor som på något sätt påverkas eller har ett intresse i en verk-
164Eftersom medborgare används i olika betydelser och under senare år har getts en mycket allmän innebörd så ska det här sägas att här talas om medborgare i betydelsen ”medstyrande”, alltså samma betydelse som medborgare har när vi talar om representationskedjan.
165Förvaltningsutredningen 1983, s. 16.
2017/18:URF2
135
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | |
samhet ser på denna. Undersöks till exempel servicenivån i en statlig verksam- | ||
het är det rimligt att fråga användarna/klienterna/brukarna om deras syn- | ||
punkter. Vilken vikt dessa synpunkter ska tillmätas avgörs dock ytterst av en | ||
tolkning av riksdagens beslut och vad riksdagen har velat uppnå med en viss | ||
verksamhet. | ||
I diskussionen om det är effektivitetsrevisionen själv som bör ta på sig upp- | ||
giften att konstruera vad som är medborgarintresset, kan det vara värt att på- | ||
peka att det har funnits vissa undantagssituationer då det politiska systemet | ||
ansett det viktigt, eller kanske ofrånkomligt, att låta ett skeende bedömas av | ||
en oberoende instans utifrån en egen konstruktion av medborgarintresset. Det | ||
kanske kan sägas att dessa situationer karakteriseras av att det ”vanliga syste- | ||
mets” (till exempel myndigheternas, domstolarnas och politikernas) förtroen- | ||
dekapital förbrukats. I vissa extrema situationer har därför sedan lång tid, här | ||
kan erinras om 50-talets rättsaffärer, särskilda kommittéer getts sådana upp- | ||
gifter. Hirschfeldt, som själv ledde 2005 års katastrofkommission, har i ett par | ||
uppsatser diskuterat dessa kommissioner.166 Ett intressant påpekande i den | ||
senare av dessa uppsatser är att det i dag finns särskilda bestämmelser om | ||
dessa undersökningskommissioner i 42 kap. 9 och 10 §§ sekretesslagen | ||
(209:400).167 De har alltså blivit ett, i viss mening, reglerat inslag eller en ”sä- | ||
kerhetsventil” i demokratin. | ||
Under senare år har också ordet medborgarkommissioner i vissa fall an- | ||
vänts för denna typ av kommittéer.168 Osmo Vallo-utredningen betonar också | ||
att det inte bara gäller att se på om förfaranden överensstämmer med gällande | ||
”författningar och rättspraxis” utan att det också handlade om en värdering | ||
”utifrån medborgarnas berättigade förväntningar på rättssystemet”.169 Även | ||
den senare katastrofkommissionen diskuterade betydelsen av medborgarkom- | ||
missioner: ”En medborgarkommissions verksamhet utmynnar i en offentlig- | ||
gjord granskning. I en sådan granskning ligger en ansvarsdiskussion inbyggd. | ||
Med de uppgifter en medborgarkommission getts följer att en sådan ansvars- | ||
diskussion inte strikt ska begränsas av rent rättsliga perspektiv. I en sådan dis- | ||
kussion bör enligt kommissionens mening också ingå att – utifrån ett mera | ||
allmänt perspektiv där medborgarnas förväntningar är grundnormen – sakligt | ||
värdera hur politiker och högre tjänstemän i sin verksamhet för det allmänna | ||
svarat upp mot de krav som situationen ställt dem inför. Det är detta som här | ||
kallas för en ansvarsdiskussion.”170 | ||
Det uppdrag dessa undersökande organ de facto haft att mera allmänt sett | ||
tolka medborgarintresset har enbart varit aktuellt i extrema och avgränsade | ||
situationer. Det är svårt att uppfatta att revisionen skulle ha en sådan roll. | ||
Den principiella ståndpunkt som intagits här innebär att revisionen inte kan | ||
granska i vilken omfattning regeringens ”parlamentariska underlag” håller | ||
sina löften till väljarna. Revisionen kan rimligen inte heller granska hur en | ||
166 Hirschfeldt 1999, Hirschfeldt 2013. | ||
167 Hirschfeldt 2013, s. 159. | ||
168 Hirschfeldt 2013, s. 159. | ||
169 Osmo Vallo-utredningen 2002, s. 37. | ||
170 2005 års katastrofkommission 2005, s.65. | ||
136 |
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
regerings handlande på ett område förhåller sig till vad de partier som utgör regeringens underlag uttryckte till väljarna före valet. Att en regerings politik granskas på detta sätt är förvisso centralt i demokratin och nödvändigt för att medborgarna ska kunna utkräva ansvar av de valda. Det kan dock inte anses vara revisionens uppgift att ta fram underlag för detta. Demokratin förfogar över andra instrument för denna granskning. I demokratin förutsätts oppositionen ha möjligheter att granska regeringens politik. Det förutsätts också att det finns andra organisationer som kan granska regeringen i mera specifika avseenden, liksom en fungerande press och andra medier. Resonemanget innebär att effektivitetsrevisionens granskningar inte kan motiveras med att väljarna bör få veta hur en regering sköter sig i förhållande till det som regeringspartierna lovat att göra. En helt annan sak är att en sidoeffekt av en granskning är att den kan ge information som kan hjälpa väljarna att bilda sig en uppfattning om hur de ska värdera detta.
7.3 Underlag för vems ansvarsutkrävande?
Av kapitel 6 framgick att riksrevisorerna till och med har ansett att det är motiverat att påpeka att ”huruvida ansvar faktiskt utkrävs eller i vilka former detta görs är däremot inte en fråga för Riksrevisionen”. Att det har ansetts behövligt att särskilt påpeka detta motiverar ett kortare resonemang.
Ibland har det påpekats att det är ett problem för effektivitetsrevisionen att det inte finns klara procedurer för hur effektivitetsrevisionens rapporter ska användas som underlag för ansvarsutkrävande, utöver riksdagens behandling av den skrivelse som regeringen har att lämna till riksdagen inom fyra månader efter det att den mottagit en granskningsrapport. I denna skrivelse ska regeringen redovisa vilka åtgärder den har vidtagit eller avser att vidta med anledning av iakttagelserna i rapporten.171 Avsaknaden av ytterligare bestämmelser gör dock att det kan ligga nära till hands att anta att rapporterna inte alls, eller i begränsad omfattning, används som underlag för ansvarsutkrävande. Avsaknaden av sådana procedurer behöver dock inte alls leda till denna slutsats utan illustrerar snarare komplexiteten i olika processer. Det är naturligtvis möjligt att tänka sig att granskningsrapporter skulle kunna komma till användning som underlag för konstitutionsutskottets bedömningar i mera betydelsefulla frågor och därmed leda till krav på misstroendeförklaringar och liknande. För det allra mesta har dock ansvarsutkrävande, inte bara i detta sammanhang, en mera vardaglig karaktär. Mattson konstaterar, om än med stor försiktighet, i en uppsats skriven efter Riksrevisionens första tio år, att ”det går att hävda att en ganska stor del av granskningsrapporterna följs upp genom interpellationer som i sin tur leder till att det blir debatt i kammaren om det ämne som granskningsrapporterna tagit upp”.172 Han konstaterar vidare att ”med risk för att överdriva iakttagelsernas betydelse skulle man kunna se en förskjutning i
1719 kap. 19§ riksdagsordningen.
172Mattson 2014, s. 152.
2017/18:URF2
137
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
funktionen för riksdagens användning av revisionen från policyfrämjande till ansvarsutkrävande”.173
När Riksrevisionen tar fram underlag för ansvarsutkrävande kan det också handla om användning på andra nivåer och i andra relationer än den mellan riksdag och regering. I alla relationer av ansvar och ansvarsutkrävande handlar det om flera nivåer. Den som är uppdragstagare i en relation är uppdragsgivare i en annan. Regeringen kan, och förutsätts också, kunna använda Riksrevisionens granskningar på olika sätt. Rimligen finns det också situationer där granskningsrapporterna de facto också använts som underlag i regeringens ansvarsutkrävande. Det ligger i sakens natur att det är svårt att få grepp om omfattningen av detta ansvarsutkrävande. Styrutredningen diskuterade frågan 2007 och framhöll att regeringens ansvarsutkrävande förmodligen var mera omfattande än vad som vanligen antogs, men framhöll också att en stor del av ansvarsutkrävandet skedde i icke offentliga former.
Diskussionen om ansvarsutkrävande måste bygga på vilka faktiska redskap regeringen förfogar över… Situationen här är densamma inom staten som inom flera andra delar av samhället. Förflyttningar av verkställande direktörer eller organisationsförändringar som innebär ändrade positioner för olika befattningshavare kan bygga på att överordnade beslutsfattare är missnöjda med en befattningshavare utan att detta deklareras offentligt. Vår uppfattning är att det även inom staten de facto förekommer detta slag av avskedanden eller förflyttningar av myndighetschefer. Regeringen kan också på mindre drastiska sätt visa sitt missnöje, t.ex. vid lönesättning eller genom allvarliga samtal.
Det är svårt att få en bild av detta faktiska ansvarsutkrävande; alla inblandade kan ha skäl att tona ner dimensionen av ansvarsutkrävande i sådana åtgärder, och de når sällan offentligheten.
Vår uppfattning är dock att omfattningen och betydelsen av detta faktiska ansvarsutkrävande torde vara högst reell. Vi tror att det i verkligheten omfattar en rad åtgärder alltifrån olika faktiska ingripanden till att ett missnöje markeras med hur en verksamhet sköts. – – –
Vi tror oss alltså veta att det i dag krävs ut ansvar från regeringens sida på flera olika sätt och att det finns ett belönings- och sanktionssystem.174
Det finns goda skäl att utgå från att effektivitetsrevisionens rapporter kommer till användning också i regeringens ansvarsutkrävande. Någon mera utförlig analys av detta har veterligen dock inte gjorts.
7.4 Vilket förhållande har effektivitetsrevisionen till politiken?
Frågan om effektivitetsrevisionens förhållande till politiken har redan berörts ovan. Den är central både i litteraturen om effektivitetsrevision och i olika nationella revisionsorgan dokument. Frågan anses betydelsefull inte minst ur ett förtroendeperspektiv: Om effektivitetsrevisionen antas kunna bidra till att
173Mattson 2014, s. 156.
174Styrutredningen 2007, s. 218-219.
138
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
skapa förtroende för förvaltningen, genom att medborgarna vet att förvaltningen granskas av en oberoende instans, skulle detta förtroendeskapande äventyras om denna instans misstänks agera med politiskt syften.
Intosais:s Standards for Performance auditing slår fast att:
Many topics in performance auditing are politically sensitive because they may relate to the performance of public programmes prioritized by the government. Performance auditing examines whether decisions by the legislature or the executive are efficiently and effectively prepared and implemented, and whether taxpayers or citizens have received value for money. It does not question the intentions and decisions of the legislature, depending on the SAI´s mandate, but examines whether any shortcomings of the laws and regulations or their implementation have prevented the specified audit objectives from being achieved.175
För Intosai är alltså gränsen mellan politiken och dess genomförande central. Det är lätt att hitta uttalanden av olika nationella revisionsorga i vilka det betonas att man inte uttalar sig om politiken utan kan uttala sig objektivt och faktabaserat. I Algemene Rekenkamers senaste årsrapport ges denna tanke en dagsaktuell form.
Fake news, alternative facts and fact-free politics: expressions that were unknown not so long ago but quickly became symptomatic of 2016. It is the Netherlands Court of Audit’s task to clarify and make sense of the mass of information that is threatening to overwhelm us in the digital age. What is fact and what is fiction? What is relevant and what is safe to ignore?176
Pollitt med flera pekar i sin jämförande studie 1999 på att denna gränsdragning inte är okomplicerad när den i praktiken ska tillämpas:
In theory, the line between questioning policy objectives and only asking questions related to the ’three Es’ in the implementation of policies may sound a clear cut and unambiguous way of defining the mandate for performance audits, In practice, however, if performance audits projects is extended into analytical questions on why the observed effectiveness of an audited programme is unsatisfactory, it may not be easy to keep away from explanations that raise questions or relevance or realism in the specification of objectives.177 (kursivering i orginal)
Tanken på en skarp gräns mellan politiken och dess genomförande är förvisso inte ny. En uppsats som den amerikanska statsvetaren Wilson, senare mer känd som USA:s president, skrev 1887 är även i dag en vanlig referens i diskussionen om separationen mellan politiken och dess implementering. Denna separationstanke har under åtskilliga decennier problematiserats och har periodvis varit tillbakaträngd.178 Intressant är dock att tanken på en klar åtskillnad mellan politik och opolitiskt verkställande har dominerat de förvaltningspolitiska strömningarna just under den period utvärdering, effektivitetsrevision och programbudgetering blev redskap i styrning och förvaltning. Tanken innebar en vetenskaplig och teknisk syn på statens verksamhet, statliga program
175ISSAI 3000, s. 7
176Algemene Rekenkamer 2016, s. 1.
177Pollitt 1999, s. 27.
178En diskussion av detta förs i Stame 2018.
2017/18:URF2
139
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
kunde konstrueras med hjälp av vetenskaplig forskning. Det är mot denna bakgrund vi kan förstå Kennedys uttalande om att landets problem nu var ”technical rather than political issues”.179 House pekar, i en diskussion om det intellektuella klimatet under ”the time that the contemporary practice of evaluation developed” på att synsättet var att ”social problems could be solved like industrial problems” och att ”social engineering, guided by social science freed from politics and popular superstition, could eliminate the ugly remnants of a less enlightened age […] Put another way, certain activities would produce certain outcomes and solve central problems.180
Separationstanken fick snarast en renässans genom de tankar kring offentlig förvaltning som förknippas med mål- och resultatstyrning och den utveckling av offentlig förvaltning under 1980-talet som Hood i en artikel 1991 sammanförde under etiketten NPM.181 Uppdelningen gjorde också att det var möjligt för de nationella revisionsorganen att konstruera en form av egen normativ föreställningsram baserad på effektivitet. Behn påpekar att betonandet av ”efficiency […] implies that the policy implementation can, indeed be separated from policy decisions. If there exists a one best way (and thus a most efficient way) to carry out any policy decisions, and if there exists an organizational apparatus for deploying all of these best ways, government can, indeed separate administration from policy”.182 Med viss tillspetsning kan det sägas att separationstanken passar en verksamhet som sysslar med att bedöma den statliga verksamheten ”opolitiskt”.
Möjligen är detta en av anledningarna till att frågan om effektivitetsrevisions förhållande till politiken, som förvisso är starkt närvarande på mera retorisk nivå, inte tagits upp till mera omfattande diskussion. Några forskare har dock tagit upp detta, en av dem är Robert Schwartz. Han diskuterar i en artikel 1999 de politiska implikationerna av intresset inom en del nationella revisionsorgan, som då kunde noteras, att bedömning av effectiveness påverkar relationen till politiken.
A number of commentators note that the conduct of effectiveness evaluation endangers the political neutrality of auditors and can place them at the heart of political controversy. … These dangers stem from (1) difficulties in distinguishing between a determination that a programme is ineffective and the questioning of the merits of policy objectives; (2) the room for subjectivity at each stage of the measurement of effectiveness.183
Citatet illustrerar vilka problem, både principiella och praktiska, gränsdragningen till politiken ställer effektivitetsrevisionen inför. Tanken att det går att dra en skarp och allmängiltig gräns mellan politiken och dess genomförande framstår inte som särskilt rimlig. Den förutsätter att vi skulle kunna dra en linje genom olika mål- och medelkedjor och på ena sidan av denna linje skulle vi ha det som är politiskt laddad och på den andra det som är teknisk icke-politik.
179Fischer 2003, s. 6, not 8.
180House, 1993, s. 138.
181Hood 1991.
182Behn 2001, s.41.
183Schwartz 1999, s. 512.
140
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
I verkligheten är det ju så att när vi jämför olika samhällsområden ser vi att vissa verksamheter uppfattas som starkt politiskt laddade avsevärt längre ned i mål – medel-kedjan än andra verksamheter. Även något som, i ett visst perspektiv, kan uppfattas som mycket tekniskt kan samtidigt, i ett annat perspektiv, ses som starkt politiskt värdeladdat. Och det som under en viss tid uppfattats som politiskt värdeladdat kan senare komma att uppfattas som en teknisk fråga.
Ofta handlar de politiska motsättningarna snarare om det som kan ses som medel snarare än om målen. Få, om några, politiska grupper ifrågasätter värdet av att reducera brottslighet, förbättra skolbarns kunskaper i matematik och minska spridningen av sexuellt överförbara sjukdomar. Det kan emellertid finnas många olika uppfattningar om hur detta ska gå till.
Och var gränsen ska dras mellan det politiskt laddade och det mera tekniska genomförandet följer inte av någon styrningsdoktrin; i demokratin kan den endast dras av politikerna själva. Och var politikerna kommer att dra denna gräns varierar från område till område och från tid till annan.184
För effektivitetsrevisionen, och dess uppdragsgivare, gäller det att förhålla sig till detta. Det kan hävdas att revisionen inte bör kritisera valet av medel om den politiska diskussionen handlat just om detta medel. Men, kan det invändas, detta skulle antagligen leda till en tämligen ointressant effektivitetsrevision som skulle avstå från att granska valet av medel så fort detta val har en politisk laddning. En lösning på detta problem skulle kunna vara en strikt formalistisk hållning. Allt riksdagen beslutar är politik, allting annat är implementering. En sådan uppdelning blir dock orimlig av skäl som hänger samman med hur riksdagen arbetar. Ibland väljer riksdagen att reglera verksamheter ganska så detaljerat utan att det som regleras framstår som politiskt viktigt eller kontroversiellt. Även om alla riksdagens beslut per definition, eftersom de ju är fattade av en politiskt sammansatt församling, kan uppfattas som politiska kan de ha olika politisk signifikans. En revision som valde en så strikt hållning skulle få ett mandat som varierade från område till område. På vissa områden skulle det vara mycket begränsat eftersom riksdagen har valt att vara mycket detaljerad i sin styrning. På andra områden skulle det vara ett omfattande mandat eftersom riksdagen varit avsevärt mindre detaljerad.
Möjligen ligger lösningen här i att ha ett både kontextuellt, och därmed också temporalt förhållningssätt. Revisionen måste urskilja vad som är det politiskt signifikanta i politiken. Innebörden av detta är att Riksrevisionen, eller snare de tre riksrevisorerna, måste tolka var denna gräns ska dras vid varje särskilt tillfälle. Ett sådant förhållningssätt innebär att riksdagens beslut inte alltid ska ses som ingångsvärden. Ibland kan de ses som redskap för att nå något som riksdagen, med en rimlig tolkning, kan uppfattas tillmäta ännu större politisk signifikans.
184 Denna normativa syn diskuteras i Styrutredningens betänkande Att styra staten (SOU 2007:75).
2017/18:URF2
141
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
7.5 Effektivitetsrevisionens bedömningskriterier
Effektivitetsrevision innebär att något bedöms, och bedömningar sker alltid i förhållande till något. En mängd problem som effektivitetsrevisionen möter hänger därför samman med det som vi kan tala om som ”normkomplexet”.185 Olika kriterier kan vara uttalade eller icke-uttalade, de kan härröra från olika källor, de kan vara generella eller specifika och de kan gälla det som görs eller det man vill uppnå med det som görs. Vilka kriterier som revisionen baserar sina bedömningar på är självklart av stor betydelse inte bara för den som granskas utan också för den som är mottagare av granskningen. Innan diskussionen förs vidare ska det framhållas att de olika synsätten på effektivitetsrevision kan påverka argumentationen kring olika bedömningskriterier. Detta innebär dock inte att de olika uppfattningar som i kapitel 5 beskrevs som kunskaps- eller kontrollinjen, är förknippade med varsin uppsättning av bedömningskriterier. Oavsett syn på effektivitetsrevisionen är det svårt att undvika frågor som rör varifrån effektivitetsrevisionen ska hämta sina normer, hur den ska hantera politiska mål, innebörden av economy, efficiency, effectiveness och deras relation till andra kriterier.
Riksrevisionen har fått sitt uppdrag av riksdagen. Det är därför rimligt att i en diskussion om effektivitetsrevisionens bedömningskriterier börja med två centrala frågor. En fråga gäller i vilken utsträckning revisionen behöver ”hänga upp” sina bedömningskriterier på vad riksdagen explicit sagt. Den andra frågan är om effektivitetsrevisionen kritiskt kan pröva det riksdagen sagt. Med andra ord: Är riksdagens beslut sakrosankta för en revision under riksdagen?
7.5.1 Målen
Inte sällan kan explicita kriterier hämtas från riksdagens behandling och beslut gällande en viss verksamhet. Detta sker bland annat genom att mål som ska gälla för en verksamhet ställs upp. Det finns en inte helt kristallklar gräns mellan dessa mål och de krav som riksdagen ställt på förvaltningens verksamhet, till exempel genom regeringsformen och förvaltningslagen.
Mål kan ses som ett sätt att beskriva det man vill uppnå. Målet innebär ofta någon form av förändring, men det kan också handla om att en befarad förändring ska undvikas. Målen är en central del i politiska dokument, i offentliga utredningar, propositioner och så vidare. Det är dock inte fråga om en nymodighet som introduceras som en del av moderna administrativa styrsystem, till
185 Normer används här som synonymt med ordet krav. Nationalencyklopedin (NE) ger ursprunget i det latiska no’rma med betydelsen rättesnöre, regel och fortsätter att tala om att norm betyder handlingsregel, påbud eller om hur något bör vara beskaffat. Dock, fastslår NE, kan det också handla om det ”normala” eller godtagna beteendet i till exempel en social grupp; konvention, praxis. Krav och normer kan alltså ses som synonymer, det handlar med andra ord om kriterier med vars hjälp vi kan bedöma något – för att hämta in ytterligare en av de innebörder Strömbergs synonymordbok ger. Krav kan möjligen uppfattas som något mer aktivt och kanske mer operativt än normer. Någon ställer upp ett krav, någon kräver medan normer kan ”växa fram” och kanske är de överordnade rättesnören från vilka kraven formuleras.
142
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
exempel programbudgetering, mål och resultatstyrning eller 1980-talets New Public Management. Mål kan förstås finnas på olika nivåer. Vi kan tala om mål i relation till den enskilde skoleleven men också i förhållande till grundskolan i stort. Målen kan, vilket kanske är det vanligaste i politiska sammanhang, gälla något som politikerna vill ska ske i samhället. Målen kan vara inriktade på förhållanden i myndigheten, till exempel att personalen ska ha en viss kompetens eller på myndighetens prestationer. Det senare kan till exempel vara att en viss mängd ärenden ska ha hanterats varje vecka. Den statliga Styrutredningen uttrycker det något mera tekniskt då den konstaterar att mål kan avse ”olika produktionsfaktorer, produktionsprocessen, prestationerna och de yttre effekterna av verksamheten”.186
Många mål gäller en specifik verksamhet. Ofta kan dock en rad olika verksamheter ha samma mål, och de politiska beslutsfattarna har då utgått från att till exempel ett visst problem måste attackeras med flera olika verksamheter. Vissa mål kan dock vara generella och gälla all statlig verksamhet. Det finns en omfattande diskussion om målens funktion i olika former av styrning. En omfattande, och delvis kritisk diskussion, fördes till exempel av Styrutredningen för tio år sedan. På vilket sätt revisionen kan omvandla riksdagens beslut till bedömningskriterier är inte självklart. Här ska fem problem tas upp som i vart fall torde påverka möjligheterna att mekanistiskt bedöma statlig verksamhet i relation till hur väl olika mål nås.
Ett första problem är att många mål som gäller skeenden ”ute i samhället” handlar om att peka på i vilken riktning de politiker som formulerat målen vill att samhället ska utvecklas och vad man ser som missförhållanden. Sådana mål kan dock ibland handla om problem som samhället kanske alltid kommer att brottas med, även om målen kläds i en språkdräkt som säger att problemen ska lösas, hinder undanröjas och så vidare. Revisionen kommer därför alltid att kunna konstatera en diskrepans mellan de förändringar som skett och det som borde ha skett när den bedömer statlig verksamhet i perspektiv av dessa mål. Att bedöma en statlig verksamhet utifrån sådana mål innebär att revisionen utgår från en ”perfektionsnorm”. Den bristande måluppfyllelsen kan konstateras även i de fall de konkreta verksamheterna är synnerligen väl genomförda. Det kommer därför alltid att vara möjligt att konstatera att det inte görs tillräckligt för att förverkliga dessa mål, att medlen inte är tillräckligt kraftfulla och att resurserna är otillräckliga.
Det andra problemet är hur revisionen ska förhålla sig till konflikter mellan mål och oklara förhållanden mellan mål. Det är rimligt att sådana konflikter föreligger, det är också rimligt att prioriteringar mellan mål inte alltid anges. För effektivitetsrevisionen skapar detta problem, men lösningen kan rimligen inte vara att effektivitetsrevisionen kräver att politikerna alltid ska ange vilka mål som är viktigast och vilka som är mindre viktiga och vilka restriktioner som finns.
186 Styrutredningen 2007, s. 179.
2017/18:URF2
143
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | |
Det tredje problemet är att en alltför stark fokusering på målen innebär att | ||
viktiga granskningsfrågor exkluderas och verksamheter därför kan komma att | ||
granskas endast partiellt. De effekter av en statlig verksamhet som inte ligger | ||
inom ”målområdet” beskrivs inte sällan som bi- eller sidoeffekter. Detta språk- | ||
bruk kan, som i olika sammanhang tidigare berörts, skapa intrycket av att dessa | ||
effekter är mindre betydelsefulla. Inget hindrar dock att huvuddelen av de ef- | ||
fekter en statlig verksamhet ger upphov till ligger utanför ”målområdet”, något | ||
som tas upp i en artikel av Merton för mer än 80 år sedan.187 Detta är en i | ||
högsta grad praktiskt fråga som också kan få politiska implikationer. När | ||
Nixon som president 1969 framhöll att en utvärdering visade att effekterna av | ||
det av tidigare administrationer startade programmet Head Start var extremt | ||
svaga blev det startpunkten på den förmodligen mest omfattande debatten gäl- | ||
lande utvärdering av en politisk insats. En del av debatten gällde statistiska | ||
metodfrågor. Debatten kom dock också att gälla vilka mål och typ av effekter | ||
som var viktiga att föra in i en utvärdering. Den efterföljande debatten ledde | ||
till att programmet behölls och fortfarande finns kvar.188 | ||
Ett fjärde problem, som kan ha ett samband med det nyss diskuterade pro- | ||
blemet, är att målen ibland kan vara en ”skrivningskompromiss” snarare än ett | ||
uttryck för de faktiska strävandena med en statlig verksamhet. Man kan alltså | ||
vara överens om själva åtgärden, om vad staten ska göra, men ha helt olika | ||
uppfattningar om varför. Skillnaden i uppfattningar kan vara värdemässig, | ||
men också ha sin grund i olika uppfattningar om de kausala sambanden, som | ||
i sin tur kan ha olika orsaker, mellan den statliga verksamheten och vad den | ||
kan leda till. | ||
Ett femte problem har berörts tidigare avsnitt (kap. 4). Ju mer långsiktiga | ||
och kraftfulla målen är, desto svårare blir det att bedöma vad just den statliga | ||
verksamheten betytt för de effekter som följt. För att uttrycka det brutalt är det | ||
långt ifrån alltid utvärdering med någon precision kan klargöra effekterna av | ||
reformer som syftar till att påverka ”långa skeenden”. Att påstå att en verk- | ||
samhet är bristfällig därför att målen inte uppnåtts är alltså inte rimligt, lika | ||
lite som det kan hävdas att en verksamhet är bra bara därför att de uppnåtts. | ||
Ibland nås målen samtidigt som det kan konstateras att den statliga verksam- | ||
heten bedrivits som avsett var. Mycket tydde till exempel på att just detta var | ||
förhållandet med en av 80-talets stora satsningar på energihushållning inom | ||
industrin; utan den statliga verksamheten hade målen uppnåtts ”ännu mera”.189 | ||
För att kunna bedöma om en verksamhet varit framgångsrik i förhållande till | ||
uppsatta mål används i många utvärderingar effekter som inträffar tidigare i | ||
den tänkta effektkedjan som indikatorer på det man egentligen vill uppnå. Ett | ||
konstaterande, i en sådan utvärdering, att en verksamhet varit framgångsrik är | ||
dock korrekt enbart givet att det tänkta kausala sambandet mellan det som an- | ||
vänds som en indikator och det längre fram liggande målet är korrekt. | ||
187 Merton 1936. | ||
188 En mängd framställningar finns om diskussionen om utvärderingen av Head Start. Här har | ||
använts Williams och Evans 1972. | ||
189 Statens Energiverk 1984. | ||
144 |
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
7.5.2 Bedömningskriterier förutsätter inte mål
De problem som här diskuteras innebär att det inte är okomplicerat att omvandla mål till revisionella bedömningskriterier; det är minst av allt en mekanisk process. Revisionen har också att hantera det motsatta fallet, där bedömningskriterier inte kan härledas från mål eller krav som fastställts av riksdagen genom lagstiftning.
Intentionerna kan härledas genom att man utgår från det konkreta beslut som fattats. Genom själva åtgärden, eller i detta fall snarast beslutet om åtgärden, kan vi tolka avsikten. Ett beslut i riksdagen om att ge bidrag till kommunerna för att stimulera dessa till antimobbningsinsatser kan utan större svårighet tolkas som en ambition att minska frekvensen av mobbning eller att motverka en tänkbar ökning av mobbning. Ett mål, oavsett hur detta formulerats, torde här inte skapa större klarhet om vad riksdagen vill med sitt beslut än vad som kan härledas redan från beslutet om själva bidraget.
Det som nu behandlats är bedömningskriterier som kan härledas från beslut i riksdagen. Det finns emellertid också bedömningskriterier som bygger på vad som kan beskrivas som en dubbel presumtion. Revisionen måste rimligen utgå från att riksdagen för sin del utgår från att regeringen, och dess förvaltning, följer ett antal olika etiska och yrkesmässiga normer. Här är det alltså fråga om krav som vanligen inte omnämns i olika beslutsdokument.
Grundläggande etiska normer: Det finns en rad normer i samhället både av mer generell karaktär och av partikulär art som det måste förutsättas att staten också följer. I vissa fall är det till och med så att riksdagen angett att de faktiskt ska gälla i staten. De allmänna rättsregler som riksdagen beslutat ska gälla samhällslivet i övrigt, får det till exempel tas för givet att riksdagen anser också ska gälla inom staten, till exempel att löften har en viss giltighet.
Praxis eller sedvänja: Om till exempel relationen mellan institutioner och organisationer sedan lång tid har präglats av vissa former kan dessa anses ha lett till vissa berättigade krav på de olika parternas uppträdande i denna relation, oavsett om de kodifierats genom direkta beslut och formella regler. För att konkretisera detta: Regeringens propositioner innehåller sedan mycket lång tid sammanställningar av inkomna remissvar, i de fall ett förslag föregåtts av till exempel en kommitté vars förslag remissbehandlats. Detta är dock inte något som riksdagen särskilt beslutat om, till exempel genom en lag.190 Det får dock förutsättas att riksdagen därmed kan antas ha ett berättigat krav, till följd av denna praxis, att få veta vad remissinstanserna har sagt.
Inomprofessionella eller yrkesmässiga krav: Det kan antas att riksdagen, och regeringen, utgår från att de uppgifter som lämnas till underordnade organ ska fullgöras på bästa möjliga sätt – givet de resurser som ställs i anspråk – även om riksdagen eller regeringen inte själva kan ange vad detta innebär. Om till exempel datasäkerheten i en myndighet granskas så måste detta rimligen ske utifrån den kunskap som i olika expertmiljöer finns om risker och hur dessa
190 Däremot är det reglerat att regeringen ska återge lagrådets synpunkter. 9 kap. 2 § RO.
2017/18:URF2
145
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | |
kan hanteras. Om pengar anvisas till byggandet av en bro, för att ta ett över- | ||
tydligt exempel, så förutsätts till exempel att denna ska byggas med en teknik | ||
så att den inte rasar. Användandet av detta slag av bedömningsgrunder ställer | ||
dock revisionen inför olika utmaningar. På vissa områden är det relativt lätt att | ||
identifiera vad som kan ses som professionella krav, på andra områden avse- | ||
värt svårare. | ||
Tidigare nämndes att det även är möjligt att ställa en motsatt fråga: Är det | ||
möjligt för Riksrevisionen att frångå det riksdagen sagt eller till och med kri- | ||
tisera vad riksdagen beslutat. Hur sakrosankta är riksdagens beslut för revis- | ||
ionen? Ett möjligt svar ligger alltså i det som tidigare sades om politisk signi- | ||
fikans. Det är svårt att tänka sig att revisionen skulle kritisera valet av medel | ||
om det är just detta som haft stor politisk signifikans. Om däremot valet av | ||
medel haft liten eller ringa politisk signifikans öppnar det för revisionen att | ||
påpeka att riksdagens val av medel bör tas upp till förnyad prövning. De gräns- | ||
dragningar som här måste göras blir därmed något som ytterst måste avgöras | ||
av riksrevisorerna i kraft av det särskilda förtroende de fått av riksdagen. | ||
Förutsättningar som bedömningskriterier. Många gånger är det orimligt att | ||
förvänta sig att revisionens bedömning av en verksamhet kan gälla hur fram- | ||
gångsrik verksamheten har varit i förhållande till de längre bort liggande mål | ||
riksdagen angett för verksamheten. En lösning blir då att utifrån observationer | ||
av sådant som det är möjligt att säkert uttala sig om, dra slutsatser också om | ||
hur verksamheten bidragit till dessa längre bort liggande mål. Det som grans- | ||
kas är således faktorer som antas vara förutsättningar för att verksamheten ska | ||
bli framgångsrik, med andra ord ses förutsättningarna som indikatorer.191 Om | ||
det handlar om en kampanj för att få till stånd bättre miljö genom effektivare | ||
energianvändning så kan uppmärksammande av information eller kunskaps- | ||
förändringar användas som en indikator på att kampanjen varit framgångsrik. | ||
Denna typ av förutsättningsresonemang behöver inte bara gälla så kallade | ||
yttre effekter. En indikator på att undervisning har god kvalitet (som dock för- | ||
väntas leda också till yttre effekter) kan vara lärarnas pedagogiska förmåga, | ||
som i sin tur kan antas öka om rektor har bra pedagogiskt ledarskap, vilket i | ||
sin tur påverkas av statliga program för att utbilda rektorer. I effektivitetsre- | ||
visionens granskningar kan vi finna en rad föreställningar om vad som är för- | ||
utsättningar för en bra statlig verksamhet och implicita antaganden om detta. | ||
Att titta på förutsättningar behöver inte vara fel. Antagandena om de kau- | ||
sala relationerna kan prövas ur olika vetenskapliga perspektiv, vissa antagan- | ||
den kan vara naturvetenskapliga, men många antaganden handlar om hur män- | ||
niskor eller sociala system fungerar. Beslut om en viss statlig verksamhet kan | ||
till en del bygga på sådana antaganden, men också ha olika värdemässiga ut- | ||
gångspunkter. På revisionen ställs kravet att den måste klargöra sina egna un- | ||
derliggande kausala antaganden. Det framstår som problematiskt om inte re- | ||
visionen redovisar och troliggör sambandet mellan det den faktiskt kunnat ob- | ||
servera och det den uttalar sig om. | ||
191 När vi talar om indikatorer kan vi mena olika saker, men detta bortses från nu. | ||
146 |
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
Denna diskussion togs upp av Frans Leeuw i den skrift som gavs ut i samband med att den svenska Riksrevisionen funnits i tio år med Magnus Isberg och Ingvar Mattson som redaktörer. Leeuws undersökning gäller förhållandena några år tillbaka och han reserverar sig för att situationen kan ha förändrats efter 2005. Det material han presenterar gäller de underliggande teorierna i Algemene Rekenkamers granskningar, alltså teorier om den verksamhet som granskas och bygger både på egna och andras undersökningar. Leeuw utnyttjar bland annat en tidigare undersökning av Put, som avsåg rapporter utarbetade både av Algemene Rekenkamer och National Audit Office i Storbritannien. Leeuw menar att ingen teoretisk förankring presenterades i rapporterna för valet av vad som granskas och bedömningskriterier i granskningarna. Leeuw påpekar att de antaganden som en granskning bygger på ofta inte är explicita. I så måtto visar Leeuws analys på bristande transparens. De villkor eller uppfattningar som fanns inom Algemene Rekenkamer om vad som ledde till måluppfyllelse eller effektivitet framgår inte av deras rapporter. En effekt av denna brist på transparens är att rapporterna är svåra att pröva för utomstående. Någon form av forskningsinsats krävs för att rapportens vederhäftighet ska kunna bedömas. Leeuw menar också att när antaganden i efterhand rekonstrueras framgår det att Algemene Rekenkamer inte utnyttjat aktuell forskning.192
Några liknande undersökningar har inte gjorts av Riksrevisionens granskningar. Den har dock uppmärksammats i den kvalitetsbedömning som en grupp Uppsalaforskare genomförde 2015 inom ramen för så kallade cold reviews som genomförts vid ett antal tillfällen sedan 2009. Gruppen framhåller vikten av att de ”antaganden om kritiska mekanismer och vad som är ’förutsättningar för’ en effektiv målrealisering görs tydliga och trovärdiga”.193
Många antaganden som förekommer i granskningar gäller inte substansfrågan utan föreställningar kring sådant som styrning, målformuleringar etc. Le- euws diskussion handlade också i hög grad om sådana antaganden. Dessa antaganden kan beskrivas som metaantaganden om styrning och processer. De är också viktiga i den svenska effektivitsrevisionen. Även om det inte finns forskning om vilka de är och hur de presenteras i Riksrevisionens granskningsrapporter, kan det noteras att det togs upp i en promemoria utarbetad inom Riksrevisionen 2011 på uppdrag av riksrevisorerna. I promemorian framhölls att det i rapporterna förekom ”underliggande normer kring styrning som kan problematiseras i ljuset av olika omvärldsförändringar”.194
En anledning till att dessa metaantaganden inte förefaller att ha diskuterats inom revisionen är kanske, och detta har berörts tidigare, att de ”passat” revisionen. Dessa föreställningar har varit en del i ett större förvaltningspolitiskt idékomplex som i viss mån kan sägas ha tjänat och gynnat revisionen. Det kan konstateras att den statliga revisionen, inte bara den svenska, kommit att uppträda som en entreprenör för vissa förvaltningspolitiska idéer. Revisionen har
192Leeuw 2014, s. 173ff.
193Uppsala Universitet 2015, s. 7.
194Riksrevisionen 2011, s. 41.
2017/18:URF2
147
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
valt att inte kritiskt analysera dessa utan i stället låta dem utgöra ett slags ram- | |
verk för sin verksamhet. | |
Om centrala antaganden om olika mekanismer inom organisationer eller i | |
samhället i stort inte klargörs i effektivitetsrevisionens granskningar påverkas | |
möjligheterna för utomstående att förstå det som sägs, men kanske också ef- | |
fektivitetsrevisorernas egen förståelse av det som granskas. |
7.5.3 De tre E-na; economy, efficiency, effectiveness
Benämningen effektivitetsrevision framstår som historiskt korrekt – möjligen bättre än man var medveten om när man inom dåvarande RRV valde bort den tidigare benämningen förvaltningsrevision. Redan från 1960-talet knöts förvaltningsrevisionen till de föreställningar om ekonomisk effektivitet som var centrala i programbudgeteringen.
Mot denna bakgrund var det naturligt att förvaltningsrevisionen i Sverige redan från början såg effektivitet som sitt kärnvärde. Så var också fallet i till exempel Storbritannien. Gray och Jenkins visar att man också i Storbritannien under 1980-talets början talade om Value for Money och framhåller att The Audit Commission från 1982 ”demonstrated a firm commitment […] to promote the gospel of the 3E […] and to develop VFM studies”.195 Detta är alltså den historiska bilden. Kravet på effektivitet, i bred mening, framstår också som centralt ur ett förtroendeperspektiv. De resurser som tillförs det offentliga har ytterst uppstått genom att vi, i vår egenskap av skattebetalare, avstått från dem. De som anförtrotts dem måste därför använda dem så klokt som möjligt.
Innan detta diskuteras ska vi här först diskutera innebörden av de tre E:na. Inte heller i engelskspråkig litteratur är det självklart vad dessa står för. Pollitt och Bouckaert påpekar att ”despite (or perhaps because of) the frequency of their usage, one should not assume that such terms always have the same meaning. On the contrary, we are aware of a wide range of meanings, both precise and vague, being attached to these central elements in ’performance vocabulary’ ”.196
Economy handlar om kostnaderna för det vi vanligen talar om som input i en produktionsprocess, det som tillförs processen. Innebörden av economy beskriver Power som ”obtaing the best possible terms under which resources are obtained”.197 Det enklaste exemplet är förstås att material som används i verksamheten ska köpas så billigt som möjligt med hänsyn till kvalitetsaspekten. Intosai:s Guidlines on Central Concepts for Performance auditing definierar economy som ”minimising the costs of resources. The resources used have to be available in due time, of appropriate quantity and quality, and at the best price”.198
195 Gray och Jenkins 1993, s. 57.
196 Pollitt och Bouckaert, 2004, s. 106.
197 Power 1997, s. 50.
198 Intosai 2016b.
148
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
När vi talar om efficiency intresserar vi oss för relationen mellan det som tillförs processen (input) och det som kommer ut från den. Att sträva efter efficiency innebär alltså ”ensuring that maximum output is obtained from the resources employed or that minimum resources are used to achieve a given level of output service”.199 Denna relation kan uttryckas på olika sätt, och vi talar ofta om kvoter som till exempel säger något om produktiviteten. Om detta har det funnits omfattande diskussioner som både gällt en rad olika mättekniska problem (till exempel vid jämförelser över längre tidsperioder) och en rad andra aspekter. Dessa ska dock inte diskuteras i detta sammanhang. Det ska dock sägas att om en bedömning görs av efficiency ingår någon form av föreställning om ett slags bästa möjliga relation givet till exempel en viss teknisk nivå.
I denna genomgång av ord och termer bör vi dock observera en oklarhet kring efficiency. Bör efficiency enbart ses som relationen mellan input och output eller kan vi tänka oss att även faktorer som förklarar denna relation ingår i en bedömning av efficiency? Barzelay menar att en ”efficiency audit examines organizational functions, processes and program elements to evaluate whether inputs are being transformed into outputs in an optimal way, especially with regard to costs”.200 Andra forskare ger dock efficiency en snävare innebörd, till exempel har Grönlund med flera, i en studie av den svenska effektivitetsrevisionen, menat att efficiency enbart handlar om själva relationen mellan input och output, och följdriktigt ser han effektivitetsrevision inriktad på de verksamhetsprocesser som kan påverka relationen mellan insatta resurser och mängden prestationer som en särskild revisionstyp.201 Intosai:s riktlinjer ger utrymme för olika tolkningar: ”The principle of efficiency means getting the most from the available resources. It is concerned with the relationship between resources employed and outputs delivered in terms of quantity, quality and timing”.202
Effectiveness skiljer sig från economy och efficiency i ett viktigt avseende. De två första E:na handlade om vad som hände inom ett visst produktionssystem. Det tredje E:et handlar däremot om vad som händer utanför förvaltningen till följd av det som kommer ut från till exempel en myndighet (outputs) och vilka effekter detta ger upphov till – ”ute i samhället”. Även här rör vi oss med en term som inte är alldeles självklar. Power beskriver effectiveness som något som handlar om huruvida ”outcomes conform to intentions, as defined in programmes”.203 Grönlund med flera har samma syn då de anger att det handlar om ”i vilken utsträckning målen har uppnåtts med tillfredsställande kvalitet”.204 Intosai har dock inkluderat frågan om kausalitet i termen effectiveness då de slår fast att ”when auditing effectiveness, one should try to iden-
199Power 1997, s. 50.
200Barzelay 1997, s. 243.
201Grönlund 2008, s. 29f.
202Intosai 2016b.
203Power 1997, s. 51.
204Grönund 2008, s. 27.
2017/18:URF2
149
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
tify the relationship between the achievement of objectives and the imple- | |
mented programme”.205 Pollitt och Bouckaert är tydliga med att ”effectiveness | |
is the degree to which the desired outcomes result from the outputs”.206 Bar- | |
zelay talar om att effectiveness audit ”examines the causal impact of programs | |
upon outcomes”.207 | |
Effectiveness är alltså inte en oomstridd term. Det förefaller dock vara klart | |
att nationella revisionsorgan, och också andra, tolkar effectiveness som något | |
som också avser frågan om hur framgångsrikt den aktuella verksamheten bi- | |
dragit till målens förverkligande och därmed till att svara på om statens pengar | |
använts väl eller ej. Innan vi lämnar de tre E:na ska en viktig observation göras. | |
Det är – förstås – inte så att en förbättring av ett E automatiskt leder till för- | |
bättring i de två andra. Pollitt och Bouckaert påpekar att det är möjligt att ”for | |
a given policy to increase efficiency while decreasing effectiveness or vice | |
versa”.208 |
7.5.4 Riksrevisionsutredningens diskussion 2009
I den tidigare Riksrevisionsutredningens betänkande Uppföljningen av Riksrevisionsreformen görs en, vad som rimligen får ses, auktoritativ tolkning om vad de tre E:na innebär. Utredningen konstaterar att de granskningsaspekter som de tre E:na representerar är ”allmänt accepterade delar av effektivitetsrevision” och en konkret granskning kan undersöka en eller flera av dessa aspekter. Utredningen menar att ”de tre E:na utgör en konstruktion som fullbordas med effectiveness. Den senare ’innehåller’ de två andra E:na och förutsätter dem”.209 Som framskymtade i citatet från Pollitt och Bouckart ovan så är det dock inte självklart att sambanden kan ses så rätlinjigt.
Utredningen diskuterar vad effectiveness är och menar att det i huvudsak är ett begrepp som hänförs till måluppfyllelse och i vilken grad de uppsatta målen uppnåtts. Har intentionerna (med till exempel reformen och verksamheten) infriats och är samhällsnyttan god, eller vad kan göras för att förbättra utfallet? Den här granskningen inriktar sig på att bedöma effekter och samhällsnytta utan hänsyn till resursåtgång. Det handlar om relationen mellan mål, output och effekter. Granskningen inom detta område tar sin utgångspunkt i följande frågor: Har de formulerade målen uppnåtts med de åtgärder som vidtagits, med de ”produkter” som producerats och de effekter som observerats? Är de effekter som observerats verkligen resultatet av den bedrivna verksamheten eller programmet, eller beror de på andra omständigheter? Frågan om effektivitet består av två delar: dels om målen uppnåtts, dels om detta kan hänföras till de åtgärder som vidtagits.210
205 Intosai 2016b.
206 Pollitt och Bouckaert 2011, s. 15.
207 Barzelay 1997, s. 243.
208 Pollitt och Bouckaert 2011, s. 15.
209 Riksrevisionsutredningen 2009, s. 25.
210 Riksrevisionsutredningen 2009, s. 24.
150
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
Citatet innebär rimligen att utredningen ansåg att god måluppfyllelse är liktydigt med god samhällsnytta. I verkligheten går det att föreställa sig att just det förhållandet att målen på ett område inte nåtts kan bidra till ökad samhällsnytta. Frågan om huruvida utvecklingen på ett visst område orsakats av statlig verksamhet, till exempel i form av styrmedel, som satts in för att påverka utvecklingen på området och hur denna utveckling förhåller sig till uppställda mål är en fråga. En helt annan fråga, eller möjligen två frågor, gäller om utvecklingen som sådan innebär ökad samhällsnytta och om de resurser som satsats på att få till stånd denna utveckling skulle ha kunnat användas på något annat sätt som skulle lett till ökad samhällsnytta.
En svårighet i tolkningen av det resonemang som förs är att utredningen samtidigt säger att en granskning av effectiveness inriktar sig på att bedöma effekter och samhällsnytta utan hänsyn till resursåtgång. Det är svårt att förena denna syn med att utredningen samtidigt talade om att effectiveness innehåller de ”två andra E:na och förutsätter dem”. Dessa två andra E:n handlar ju just om användning av resurser. Utredningens resonemang kring de tre E:na illustrerar därmed till en del svårigheterna med dessa begrepp och bekräftar svårigheterna att precisera deras innebörd.
Trots dessa svårigheter, eller möjligen på grund av dem, visar framställningar om effektivitetsrevisionen i olika länder att de tre E:na är en del av effektivitetsrevisionen. Det kan förvisso ifrågasättas om de tre E:na kan beskrivas som liktydigt med traditionell effektivitetsrevision, vilket görs av såväl Grönlund med flera som av Riksrevisionsutredningen, men de har utan tvekan haft stor betydelse för inriktningen av verksamheten i många nationella revisionsorgan.
Som framgått av Schwartz diskussion om the effectivness dilemma, som det refererades till i kapitel 5, så ställer dock bedömningar av effectiveness effektivitetsrevisionen inför särskilda svårigheter. Sådana bedömningar innebär att det blir svårt för effektivitetsrevisionen att undvika ställningstaganden som kanske oftast beskrivs som politiska. Att till exempel visa att ett politiskt mål ”bättre” skulle nås med andra medel skulle, även om det skulle kunna visas att påståendet var korrekt, vara problematiskt om den politiska diskussionen just handlat om detta medel. Sådana bedömningar blir rimligen också bedömningar av just beslut som fattats av riksdagen snarare än om genomförandet av beslut som fattats av riksdagen.
7.5.5 Andra värden än de tre E:na
I dag förs också en diskussion om det även finns andra värden som kan vara centrala när effektivitetsrevisionen bedömer olika förhållanden. Det finns flera skäl till att denna diskussion uppstått. Inom utvärdering, som i hög grad präglats av tanken på social betterment, har diskussionen om vilka värden som kan uppfattas som inbyggda i utvärdering intensifierats de senaste åren och en rad olika inlägg har gjorts kring detta. Nyligen utkom till exempel boken Evalua-
2017/18:URF2
151
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET | |
tion for an Equitable society med inlägg av flera ledande utvärderingsfors- | ||
kare.211 Andra kandidater till värden som ska ses som inbyggda i utvärdering | ||
har gällt etik och ekologi och andra hållbarhetsaspekter. | ||
I diskussionen om accountability ställs också i olika inlägg frågan om ”för | ||
vad?”. Behn tar till exempel upp ”fairness” i sin bok Rethinking Democratic | ||
Accountability. ”We want government to be fair to all of the clients of various | ||
programs. We want government to be fair when it provides services to the | ||
citizens, when it taxes citizens, when it accuses citizens of violating the law. | ||
We want government to be fair – exceptionally fair.”212 Ett annat viktigt värde | ||
är till exempel transparens. I viss utsträckning har denna diskussion också ta- | ||
gits upp vad gäller effektivitetsrevisionen, till exempel av Bringselius som dis- | ||
kuterar etik som en särskild dimension i effektivitetsrevision.213 | ||
Ett sätt att se på dessa andra värden kan beskrivas som ett slags bakväg. | ||
Om effektivitetsrevision utgår från riksdagens beslut om statlig verksamhet | ||
kan till exempel etiskt grundade kriterier föras in i granskningsverksamheten | ||
i den mån politikerna uttryckt sådana genom till exempel mål eller allmänna | ||
krav för olika statliga verksamheter. En invändning mot detta kan vara att | ||
många värden, som många uppfattar som viktiga i demokratin, därmed blir så | ||
att säga beroende av hur de uttryckts till exempel i olika politiska beslut. | ||
Och det är detta som också kan ses som problemet. Så länge effektivitets- | ||
revisionen ställer frågan om vad som kommer ut till följd av tillförda resurser | ||
till exempel i form av prestationer eller påverkan på samhället så kan detta ses | ||
som något som de allra flesta är överens om. Oavsett vilka politiska värde- | ||
ringar som lett fram till en viss verksamhet kan det antas att det finns en allmän | ||
uppslutning kring att det är en fördel om denna är så effektiv som möjligt, eller | ||
enklare uttryckt: så mycket ”value” som möjligt för varje insatt krona – givet | ||
det riksdagen menat med ”value”. | ||
Många andra värden, låt vara att de på ett mera principiellt plan bejakas av | ||
de flesta, kan det i praktiken råda mycket olika uppfattningar om. Equity, som | ||
tagits upp av många utvärderingsforskare, leder ofrånkomligen till frågor som | ||
endast kan hanteras politiskt. Detsamma gäller rimligen olika etiska värden. | ||
Om sådana värden ses som inbyggda i revisionen, oavsett om de följer av de | ||
riksdagsbeslut som kan anses gällande i den särskilda situationen, innebär det | ||
att revisionen svårligen kan undvika utomordentligt grundläggande politiska | ||
bedömningsfrågor. Av en sådan syn följer att de konkreta bedömningskrite- | ||
rierna som används i olika granskningar skapas av riksrevisorerna på grundval | ||
av deras tolkning av dessa olika värden. Mot denna bakgrund framstår frågan | ||
om revisionens bedömningskriterier så långt ifrån slutdiskuterad. Ett särskilt | ||
problem i denna diskussion gäller konsekvenserna av att den statliga effekti- | ||
vitetsrevisionen verkar i ett politiskt system som just har som sin centrala upp- | ||
gift att hantera att väga samman en rad olika värden och dimensioner i sam- | ||
hället. | ||
211 Donaldson och Picciotto 2016. | ||
212 Behn 2001, s. 8 | ||
213 Bringselius 2018. | ||
152 |
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
7.6 Vilka frågor kan ställas av effektivitetsrevisionen?
En förväntan på effektivitetsrevisionen kan vara att den ska visa hur statliga verksamheter bidrar till att lösa de problem som riksdagen velat lösa med de aktuella verksamheterna. Det är också möjligt att det finns en förväntan på att Riksrevisionen ska ”avslöja” när olika former av missbruk sker i olika verksamheter, sådant som kanske oftare avslöjas genom att enskilda medarbetare slår larm till massmedierna. Det finns antagligen förväntningar på att Riksrevisionen ska tala om hur saker och ting kan bli bättre. Förväntningarna på Riksrevisionen är stora och avspeglar att just den frihet effektivitetsrevisionen, eller snarare de tre riksrevisorerna, har kan leda till olikartade förväntningar.
Det är uteslutet att Riksrevisionen kan infria alla dessa förväntningar. Ett enkelt skäl till detta är att förväntningarna kan ge upphov till många kategorier av granskningar. När detta paras med det faktum att statens verksamhet ”kan skäras” på många ledder och bredder är det inte svårt att föreställa sig tusentals, snarare än hundratals, möjliga granskningar per år. Mot denna bakgrund blir det viktigt att diskutera två viktiga begränsningar i valet av de frågor som effektivitetsrevisionen kan ställa.
7.6.1 Frågorna ska avse ”verksamhet”
Regeringsformen klargör att Riksrevisionens uppdrag handlar om statens verksamhet. Visserligen utsägs i regeringsformen att också annan än den verksamhet som bedrivs av staten kan granskas. Att verksamhet är ett nyckelord i regeringsformens beskrivning av Riksrevisionen leder dock till två möjliga konsekvenser.
En första konsekvens är att det inte handlar om att ställa frågor om allmänna förhållanden i samhället utan frågorna måste handla om verksamhet som bedrivs. Det som sägs i regeringsformen handlar rimligen därför inte om samhällsutvecklingen som sådan och inte heller om att jämföra denna med uppställda mål. En helt annan sak är att information om hur väl olika politiska mål uppfylls är viktigt både för riksdagen och medborgarna och det därför är betydelsefullt att sådan information tas fram. Att se på måluppfyllelse säger dock ingenting om hur själva verksamheten sköts. Olika mål kan uppnås trots att den statliga verksamhet som satts in för att nå målen är bristfällig eller till och med helt felaktigt konstruerad. Och en verksamhet kan vara mycket effektiv trots att utvecklingen på området inte på något sätt närmar sig de mål som ställts upp. En helt annan sak är att en granskning av verksamheten inom ett område kan göras därför att den bristande måluppfyllelsen kan skapa ett intresse för att granska verksamheten. Det bör också sägas att själva framtagandet av information om utvecklingen på ett område kan granskas av effektivitetsrevisionen på samma sätt som andra verksamheter granskas.
En andra konsekvens är att den information som tas fram av effektivitetsrevisionen alltid gäller något som ligger i förfluten tid. Det är en verksamhet
2017/18:URF2
153
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
som vanligen fortfarande pågår, men det effektivitetsrevisionen granskat är | |
något som ligger en bit bakåt i tiden. Det leder till frågor om möjligheterna att | |
använda denna information för att uttala sig om hur saker kan göras an- | |
norlunda och bättre. I vilken omfattning kan alltså effektivitetsrevisionen ut- | |
tala sig om på vilket sätt olika förändringar i en verksamhet kan bidra till att | |
komma till rätta med olika problem eller nå en högre måluppfyllelse? Detta | |
ska dock tas upp senare efter en diskussion om på vilket sätt kravet på tillför- | |
litlighet påverkar vilka frågor effektivitetsrevisionen kan ställa. |
7.6.2 Frågorna ska kunna besvaras med tillförlitlighet
Ju starkare det som i denna promemoria kallats kontrollinjen betonas, desto viktigare är det att revisionens konklusioner ska ha en tämligen hög grad av tillförlitlighet. Studier om effekter av statlig verksamhet kan skilja sig åt i avseende på precision och tillförlitlighet. Ytterst har detta att göra med förhållandet att effekter inte är något som vi direkt kan observera eller mäta. Effekterna är ju i stället skillnaden mellan den faktiska utvecklingen och det som skulle ha inträffat utan den aktuella insatsen eller interventionen. Innebörden av detta är att ju längre vi förflyttar oss från den ursprungliga interventionen desto svårare är det att bedöma det kontrafaktiska alternativet. Detta illustrerades med en figur i kapitel tre.
En gissning, som läsaren förhoppningsvis kan överse med, är att riksdagens ledamöter gärna skulle vilja veta hur olika statliga satsningar och reformer påverkat de samhällsproblem man egentligen velat komma åt. Den fråga man vill ha svar på handlar förmodligen inte heller enbart om huruvida målen nåtts utan också om det är den statliga verksamheten som påverkat utvecklingen. Vad leder egentligen alla satsningar till? Gör pengarna, som det ju ofta handlar om, verkligen nytta? Problemet, som figur 1i kapitel 4 avsåg att illustrera, var att uttalandena om just effekterna i förhållande till de längre bort liggande mål som politiken egentligen handlat om är osäkra. I många former av kunskapsproduktion är detta inte ett problem. Utvärderaren – eller forskaren – kan ju vara helt nöjd med att ha ökat insikten bland olika aktörer om tänkbara kausala samband eller att ha avvisat en tidigare hypotes om hur sambanden ser ut utan att fördenskull ha kunnat verifiera en ny hypotes. Om syftet i stället är att uttala sig om huruvida de som haft ett ansvar har fullföljt detta och därmed kunna ge ett underlag för ansvarsutkrävande förutsätts att det som sägs är tillförlitligt (”sant”) i en mera grundläggande och trivial mening.
Detta tillförlitlighetskriterium är viktigt för att skapa rimliga förväntningar på effektivitetsrevisionen. Kriteriet innebär att det inte är möjligt att förvänta sig att alla viktiga frågor kring statens verksamhet kan besvaras av effektivitetsrevisionen. Det är inte heller möjligt att förvänta sig svar på alla frågor som är centrala vid formandet av statens politik och vid bedömningar i efterhand om hur framgångsrik denna varit.
154
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
7.7 Bör bedömningar av det som gjorts leda till rekommendationer?
När vi beskriver, förklarar och värderar något specifikt som gjorts så sträcker sig analysen från någon tidpunkt i det förflutna (en månad, två år eller femtio år) till nu eller så nära nu vi kan komma.214 Den existerande eller möjligen avslutade interventionen kan vi skaffa oss information om, och vi kan bygga upp och pröva hypoteser om hur den fungerat, om den bidragit till förverkligandet av olika mål, vilka bieffekter den haft och så vidare. Detta gäller oavsett om det handlar om att regeringen ska ge klarare direktiv om samverkan mellan myndigheter eller ett helt studiesocialt system.
När vi blickar framåt och funderar på vad som är det bästa sättet att nå ett framtida mål, och kanske till och med rekommenderar en viss handlingslinje är situationen en annan. Här gäller det inte att studera det specifika som faktiskt gjorts, som kan beskrivas och avgränsas, utan att studera och jämföra olika framtida handlingsmöjligheter. Det är förstås möjligt att tänka sig olika sätt att få till stånd samverkan, precis som vi kan tänka oss en rad olika sätt att minska de sociala faktorernas påverkan på utbildning. I den framåtriktade analysen måste olika hypoteser prövas kring hur olika handlingsalternativ påverkar olika aktörers benägenhet att handla på ett visst sätt och i vissa fall hur dessa handlingar påverkar till exempel biologiska, sociala eller ekonomiska förlopp. Det handlar därmed om att konstruera och troliggöra flera interventionsteorier. Den framåtriktade analysen förutsätter därför en rad andra analytiska insatser (forskningsgenomgångar, egna särskilda empiriska undersökningar med mera) än analysen av den hittills bedrivna verksamheten. Detta är vad som ibland görs vid utredningar inom det offentliga utredningsväsendet eller inom enskilda myndigheter. Att ta fram förslag till rekommendationer är alltså ofta en minst lika omfattande uppgift som undersökningen av den verksamhet som pågår.
Pressen att komma med användbara rekommendationer, vilket kan upplevas både i konsultföretag och i myndigheter, kan leda till att olika genvägar väljs. Även om utvärderingen i övrigt är välgjord kan utvärderaren välja att konstruera olika rekommendationer på mera intuitiva grunder och lämna förslag som kan ses som grundade i sunt förnuft. Ett annat sätt är att låta rekommendationerna vara, för att använda ett hemsnickrat uttryck, inverteringar av det som tagits upp som problem och kritik i den tidigare analysen. Exempel på sådana inverteringar kan vara:
•Det brister i samverkan mellan myndigheter. Regeringen rekommenderas därför att styra tydligare.
214 Rent praktiskt kan vi ofta inte komma fram till nu. När vi samlar in material så avser detta ofta någon tidigare tidpunkt än ett bokstavligt nu. Många ansatser försöker dock korta denna sträcka så mycket som möjligt, till exempel genom RTE (Real Time Evaluation), som inte minst varit viktig i Världsbanksgruppen, se bland annat Taylor-Dormond och Tenev 2013).
2017/18:URF2
155
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
•Problem förklaras av att statens kunskaper om en viss verksamhet är bristfälliga. Rekommendationen är att utreda (utvärdera, följa upp, forska) mera.
•Vissa processer går långsamt. Regeringen rekommenderas att ställa tydligare krav på hur lång tid de får ta.
•Bidragsmottagare som har ett behov av att utnyttja ett stimulansbidrag gör det otillräckligt. Rekommendationen är att förbättra informationen till dem.
•Dialogen mellan en myndighet och regeringen är bristfällig och är orsaken till vissa problem. Rekommendationen är att dialogen ska förbättras.
•Delegering till statliga lokala enheter har skapat brister. Rekommendationen är centralisering av beslut till den centrala myndighetsnivån.
Rekommendationerna kan ofta framstå som förledande i sin självklarhet. Det beror på att rekommendationer kan sägas ligga på samma punkt i den kausala kedjan som den tidigare utvärderingen av den befintliga verksamheten. Den bakomliggande föreställningen i samordningsexemplet är att samordning leder till bättre verksamhet. Och eftersom detta anses självklart kan man nöja sig med att låta rekommendationerna blir en invertering av den tidigare analysen. Och på samma sätt; om dialogen är bristfällig räcker det med att rekommendera att dialogen bör förbättras.
Kvaliteten i sådana rekommendationer kan ifrågasättas på två grunder. Den första är att även om det i granskningen konstaterats att ett visst problem föreligger och att dialogen är bristfällig följer därav inte att det är den bristande dialogen som orsakat problemet. Det kan alltså finnas andra åtgärder som är bättre ägnade att leda till en bättre verksamhet än en förbättrad dialog. Hur effektiva dessa skulle vara har helt enkelt inte analyserats. Det kan därför inte uteslutas att andra åtgärder än förbättrad dialog skulle vara bättre ägnade för att komma till rätta med de problem som konstaterats. Den andra grunden är att även om till exempel mera dialog eller samordning är lösningen på de problem som iakttagits analyseras inte hur denna dialog eller samordning ska komma till stånd. Det antas inte sällan, utan att detta tydliggörs, att mera dialog, samordning och liknande ting kan styras fram uppifrån. Just detta sätt att resonera leder ofrånkomligen till att ”mera styrning” blir en vanlig rekommendation utan att grunderna för de bakomliggande antagandena redovisas.
Att inverterade rekommendationer leder till problem har sin grund i det enkla förhållandet att när vi falsifierar något innebär inte detta att vi med automatik har verifierat något annat. Vi ska illustrera detta genom att använda ett exempel hämtat från Bendor i en analys av innebörden av applied theory utifrån Lindbloms essä The science of ”muddling through”.
Suppose a new fighter plane repeatedly crashes during test. Initially, it is believed that this is attributable to pilot error. However, an aerodynamics engineer, believing there is a design flaw, gives an alternative explanation: the plane’s shape causes a kind of instability that is difficult even for skilled pilots to control. Hence, the plane frequently crashes. The engineer’s explanation rests on three elements: a detailed examination of the
156
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
plane’s design, simulations of that design, simulations of that design’s performance under a range of conditions and a theory of aerodynamics that helps explain the simulations, output as well as the engineer’s choices during her examination of the plane’s design.215
Exemplet visar dock att även om det är möjligt att med hjälp av dessa faktorer förstå varför planet kraschar leder inte detta till en rekommendation om vilken design som är att föredra. Det är möjligt att förstå ”why a certain class of design fails without knowing what works”.
Ett annat problem med inverterade rekommendationer är att de också riskerar att få en konserverande karaktär och undviker mera grundläggande frågor i verksamheten. Detta leder rimligen till frågor som gäller hur man mera allmänt kan se på rekommendationer inom effektivitetsrevisionen och vad det innebär om effektivitetsrevisionens rekommendationer följs och att den därför så småningom kommer att tvingas granska verksamheter som bedrivs utifrån de rekommendationer som effektivitetsrevisionen tidigare lämnat.
Ett särskilt problem är också om det är rimligt att effektivitetsrevisionen i förväg analyserar tänkbara effekter av en viss åtgärd, till exempel då den yttrar sig över utredningsförslag i olika statliga utredningar. Det kan dock noteras att det i flera länder förekommer olika former av ex ante-analyser. Synen på detta har samband med uppfattningen om varför effektivitetsrevisionen bör finnas. Ju starkare det som här beskrivits som kontrollinjen betonas, desto starkare betonas rimligen att det handlar om verksamhet som faktiskt bedrivs. Ju starkare kunskapslinjen betonas desto rimligare ter det sig att effektivitetsrevisionen ska leverera kunskap också om för- och nackdelar mellan olika tänkbara framtida handlingsalternativ.
7.8 Finns en risk att effektivitetsrevisionen blir alltför insnävad?
Det är ofrånkomligt att effektivitetsrevisionens verksamhet och de frågor den ställer påverkar hur man ser på dess uppdrag i demokratin. Det som här har beskrivits som en kontrollinje är svårt att förena med en revision som ställer frågor om effekterna av reformer som genomfördes för flera decennier sedan. Å andra sidan har det framförts farhågor att ett betonande av att revisionen ytterst finns till därför att den som anförtrotts ansvaret för något också behöver kontrolleras kan leda till att revisionen blir inriktad på mekanisk regelefterlevnad. Sådana farhågor togs upp av den parlamentariska utredning som på riksdagsstyrelsens uppdrag hade till uppgift att följa upp Riksrevisionsreformen.216 Utredningen analyserade ingående effektivitetsrevisionens verksamhet under Riksrevisionens första år och pekade på vad man ansåg vara problem i verksamheten.
Det intressanta med utredningens analys är att den menade att de problem den tog upp förklarades av att Riksrevisionen betonat att dess rapporter skulle
215Bendor 2015, s. 195.
216Riksrevisionsutredningen 2009.
2017/18:URF2
157
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
utformas så att de kunde utgöra underlag för ansvarsutkrävande. Utredningen | |
talade om detta som ansvarskriteriet. Utredningen menade att kriteriet innebar | |
”att det blir svårt, för att inte säga omöjligt att granska verksamheter och äm- | |
nesområden där ansvarsförhållanden är och förblir oklara”. Vidare framhöll | |
utredningen att en konsekvens av ansvarskriteriet var att granskningarna ”in- | |
riktas huvudsakligen på regelefterlevnad i stället för effektivitet”.217 | |
Den fråga som kan ställas är om de problem utredningen såg orsakades av | |
ansvarskriteriet. Det framstår lika troligt, eller till och med troligare, att en | |
revision som betonar att dess uppdrag är att skapa förutsättningar för ansvars- | |
utkrävande kan välja att särskilt uppmärksamma situationer och områden där | |
det råder oklarhet om ansvarsförhållanden; det kan hävdas att det är på områ- | |
den med oklara ansvarsförhållanden som riskerna är störst för ineffektivitet | |
och även maktmissbruk. I de fall den statliga verksamheten organiserats så att | |
ansvarsförhållanden är oklara kan det alltså vara särskilt viktigt för revisionen | |
att påtala detta och rikta kritik mot den (vanligen regeringen) som kan hållas | |
ansvarig för bristande reda i ansvarsförhållandena. Det framstår inte heller | |
som självklart att just betonandet av ansvarskriteriet skulle leda till att revi- | |
sionen skulle välja att bortse från vikten av effektivitet. Tvärtom kan ansvars- | |
perspektivet leda till att det ter sig särskilt viktigt att undersöka vem som kan | |
hållas ansvarig för bristande effektivitet och slöseri med skattebetalarnas | |
pengar. | |
Snarare kan utredningens analys tolkas som en kritik av hur ansvarskriteriet | |
omsatts i praktiken. I själva verket är det svårt att se någon grundläggande | |
motsättning mellan betonandet av ansvarsutkrävande och den syn utredningen | |
hade. Utredningen framhöll: ”Att utkräva ansvar ska naturligtvis göras – i | |
förekommande fall – men först då processen kring ansvarstagandet inte fun- | |
gerat eller givet önskvärda resultat.” Detta är självklart en helt avgörande po- | |
äng. Ytterst handlar det om att få förvaltningen att ta ansvar för de uppgifter | |
den anförtrotts. Det är först då detta inte sker som det blir aktuellt med att | |
utkräva ansvar, och det är först då det finns behov av ett underlag för att ut- | |
kräva detta ansvar. Utredningen, vars analys är knapphändig, menar också att | |
ansvarskriteriet kräver mindre av analys och får en inriktning på felfinneri. | |
Denna uppfattning kan problematiseras avsevärt. Det kan hävdas att just an- | |
svarskriteriet, för att använda utredningens uttryck, innebär att effektivitetsre- | |
visionen måste ta reda på orsaker till ett visst skeende och om det som orsakat | |
brister verkligen är något som till exempel en myndighet eller dess befatt- | |
ningshavare kunnat påverka. |
7.9 Fördelning av ansvar mellan regering och myndigheter
Mål och andra politiska viljeyttringar tar inte sällan fasta på olika samhällsproblem som riksdagen vill undanröja. Den diskrepans som då inte sällan kan
217 Riksrevisionsutredningen 2009, s. 49.
158
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
konstateras mellan mål och verklighet kan lätt leda till krav på ett starkare statligt engagemang. På en inomstatlig nivå kan också detta leda fram till att regeringen ska ta itu med saker och ting på ett kraftfullare sätt. Utan att här hämta exempel på hur denna fråga behandlas i enskilda granskningar kan vi konstatera att detta ibland leder till kritik mot regeringen och att rekommendationer inte sällan tar fasta på att regeringen ska vara mera aktiv, och inte sällan mera detaljerad, i sin styrning av förvaltningen. Enkelt uttryckt: Allt som går fel är regeringens fel.
Stöd för en sådan hållning finns förvisso. De inbördes förhållandena mellan de organ som det talas om i 2§ i lagen om revision av statlig verksamhet m.m. klargörs i 12 kap. RF. Den ansvarskedja som förvaltningsutredningen talade om innebär att förvaltningen har en lydnadsrelation till regeringen men inte till riksdagen eller medborgarna och inte heller till ett enskilt statsråd. Det är också regeringen som lämnar uppdragen till förvaltningen. Annorlunda uttryckt kan man säga att regeringen delegerar en del av sitt ansvar till myndigheterna. Det betyder också att regeringen inför riksdagen är ytterst ansvarig för allt som myndigheterna gör, förutom på det område där förvaltningens lydnadsplikt mot regeringen inte gäller.218 Huvudprincipen är dock klar. Den innebär att, även om myndigheterna i praktiken har stor handlingsfrihet, också utanför det särskilt skyddade området, inskränks därmed inte regeringens ansvar inför riksdagen för förvaltningens förehavanden. Regeringen har således en skyldighet att se till att förvaltningen fungerar på ett godtagbart sätt.219
Det kan alltså tyckas som oproblematiskt att ansvaret för brister i förvaltningen alltid kan ses som uttryck för regeringens bristande styrning. Frågan kan dock problematiseras. Det kan noteras att i rader av andra sammanhang då ansvar, rättsligt eller moraliskt, diskuteras, förs i stället ett slags kapacitets- eller befogenhetsresonemang. Den som har faktiska möjligheter att påverka en verksamhet ska också vara den som hålls ansvarig när något går snett. En sådan linje innebär att i de fall regeringen väljer att ge vidsträckta befogenheter till myndigheterna att forma en verksamhet och göra olika prioriteringar bör det vara rimligt att rikta kritik mot myndigheten om bristerna beror på sådant myndigheten råder över.
21812 kap. 2 § RF.
219En diskussion förs i Styrutredningen 2007, s. 40.
2017/18:URF2
159
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
Referenser | |
Lagar, propositioner och utskottsbetänkanden är inte medtagna i listan över | |
referenser. | |
Ahlbäck, S. 1999. Att kontrollera staten. Den statliga revisionens roll i den | |
parlamentariska demokratin. Uppsala: Acta Universitatis Upsaliensis. | |
Algemene Rekenkamer. 2016. Annual report 2016. Nedladdad i oktober 2017. | |
file:///C:/Users/User/AppData/Local/Packages/Microsoft.Microsof- | |
tEdge_8wekyb3d8bbwe/TempState/Downloads/Annual+Report+2016.pdf | |
Alkin, M.C. 2004. Evaluation Roots: Tracing Theorists’ Views and Influences. | |
Thousand Oaks, CA: Sage Publications. | |
Alkin, M.C. 2013. Evaluation Roots: A Wider Perspective of Theorists’ Views | |
and Influences. Second edition. Thousand Oaks, CA: Sage Publications. | |
Alkin, M.C. och Christie, C.A. 2004. ”An Evaluation Theory Tree” i M.C. | |
Alkin, (red.) Evaluation Roots: Tracing Theorists’ Views and Influences. | |
Thousand Oaks, CA: Sage Publications. | |
Amnå, E. 1981. Planhushållning i den offentliga sektorn. Stockholm: Student- | |
litteratur. | |
Angleryd, T. 2014. ”Effektivitetsrevisionens identitet” i M. Isberg och I. Matt- | |
son (red.) Riksrevisionen tio år. Granskning, ansvar, lärande. Stockholm: | |
SNS förlag. | |
A/RES/66/209. ”Promoting the efficiency, accountability, effectiveness and | |
transparency of public administration by strengthening supreme audit institu- | |
tions”. Resolution antagen av FN:s generalförsamling 22 december 2011. | |
A/RES/69/228. ”Promoting and fostering the efficiency, accountability, effec- | |
tiveness and transparency of public administration by strengthening supreme | |
audit institutions”. Resolution antagen av FN:s generalförsamling 19 decem- | |
ber 2014. | |
Barzelay, M. 1996. ”Performance auditing and the New Public Management: | |
Changing Roles and Strategies of Central Audit Institutions” i Performance | |
auditing and the Modernisation of Government. OECD. | |
Barzelay, M. 1997. ”Central Audit Institutions and Performance Auditing: A | |
comparative Analysis of Organizational Strategies in OECD” i Governance: | |
An International Journal of Policy and Administration, vol. 10. nr 3. | |
Behn, R.D. 2001. Rethinking democratic accountability. Washington, DC: | |
Brookings Institute Press. |
160
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
Bemelmans-Videc, M.L., Eriksen, B. och Goldberg, E.N. 1994. ”Facilitating Organizational Learning: Human Resource Management and Program Evaluation” i F.L. Leeuw, R.C. Rist och R.C. Sonnichsen (red.) Can Governments Learn. Comparative Perspective & Organizational Learning. New Brunswick, NJ: Transaction Publishers.
Bemelmans-Videc, M.L. 2002. ”Evaluation in the Netherlands 1990 – 2000: Consolidation and Expansion” i J.E. Furubo, R.C. Rist & R. Sandahl (red.) International Atlas of Evaluation. New Brunswick, NJ: Transaction Publishers.
Bemelans-Videc, M.L. 2007. ”Accountability a classic concept in modern contexts” i M.L. Bemelmans-Videc, J. Lonsdale och B.Perrin (red.) Implications for Evaluation and for Auditing Roles”. New Brunswick, NJ: Transaction Publishers.
Bendor, J. 2015. ”Incrementalism: Dead yet Flourishing” i Public Administration Review, vol. 75. nr 2.
Blume, L. och S. Voigt. 2011. ”Does organizational design of supreme audit institutions matter? A cross-country assessment” i European Journal of Political Economy, vol. 27, nr 2.
Bovens, M., Goodin, R.E. och Schillemans,T. 2014. The Oxford Handbook of Public Accountability. Oxford: University Press.
Bringselius, L. 2008. Personnel Resistance in Public Professional Service Mergers. The Merging of Two National Audit Organizations. Lund: Lund Business Press.
Bringselius, L. 2013. Organisera oberoende granskning: Riksrevisionens första tio år. Lund: Studentlitteratur.
Bringselius, L. 2018. ”Efficiency, Economy and Effectiveness – but what about Ethics, Supreme Audit Institutions at a Critical Juncture” i Public Money & Management (kommande nummer).
Bryman, A. 2011. Samhällsvetenskapliga metoder. Libris.
Campbell, D. T. och Stanley, J.C. 1963. Experimental and quasi-experimental designs for research. Chicago: Rand McNally & Company.
Cassel, F. 1996. Den reviderade revisorsrollen. En oren berättelse. Stockholm: Nerenus & Santèrus förlag.
Chelimsky, E. 2007. “The Political Environment of Evaluation and What it Means for the Development of the Field” i E.Chelimsky och W. Shadish (red.)
Evaluation for the 21st Century. Thousand Oaks, CA: Sage.
Chen, H-T.1990. Theory Driven Evaluation. Newbury Park, CA: Sage Publications.
2017/18:URF2
161
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
Cohn, H. 1966. Några ämbetsverk. Vad de gjort och vad de gör. TBV.
De Bruijin, H. 2007. Managing Performance in the Public Sector, andra upplagan, Routledge.
Derlien, H-U. 1990. ”Genesis and Structure of Evaluation Efforts in Comparative Perspective” i R.C. Rist. (red.) Program Evaluation and the Management of Government, New Brunswick, NJ: Transaction Publishers.
Donaldson, S.I och Picciotto, R. (red.) 2016. Evaluation for an Equitable So- ciety. Charlotte, NC: Information Age Publishing.
Eurosai. 2016. Literature on Performance auditing and Supreme Audit Institutions, nedladdad mars 2017. http://www.eurosai.org/handle404?expor- turi=/export/sites/eurosai/.content/documents/materials/Literature-on-perfor- mance-auditing.pdf
Federalist Papers, nr 55, 1788, nedladdad i oktober 2017. https://www.congress.gov/resources/display/content/The+Federalist+Papers#TheFederalist- Papers-55.
Finer, H. 1965. ”Administrative Responsibility in Democratic Government.” i F.E. Rourke (red.) Bureacratic Power in National Politics. Boston: Little Brown and Company.
Fischer, F. 2003. Reframing Public Policy. Deliberative Politics and Deliberative Practices. Oxford: University Press.
Flint, D. 1988. Philosophy and Principles of Auditing – An Introduction, London: Macmillan.
Forss, K. och Rebien, C. 2006. ”Evaluation, Knowledge Management and Learning: Caught between Order and Disorder” i R.C. Rist och N. Stame (red.)
From Studies to Streams. Managing Evaluative Systems. New Brunswick, NJ: Transaction Publishers.
Fredriksson, B. 1980. ”Finansförvaltning i förvandling” i Statskontoret 1680- 1980. En jubileums- och årsskrift. Statskontoret.
Friedrich, C. J. 1965. ”Public Policy and the Nature of Administrative Responsibility.” i F.E. Rourke (red.) Bureacratic Power in National Politics. Boston: Little Brown and Company.
Furubo, J.E. 2011. ”Performance auditing: Audit or misnomer” i J. Lonsdale, P. Wilkins och T. Ling T (red.) Performance auditing. Contributing to Ac- countability in Democratic Government. Cheltenham: Edward Elgar.
Furubo, J.E. och Karlsson-Vestman. O. 2011. ”Evaluation: For Public Good or Professional Power” i P. Eliadis, J.E. Furubo, S. Jacob (red.) 2011. Evaluation Seeking Truth or Power. New Brunswick, NJ: Transaction Publishers.
162
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
Förvaltningsutredningen. 1983. Politisk styrning – administrativ självständighet. SOU 1983:39. Stockholm: Liber.
Gray, A. och Jenkins, B. 1993. ”Separate Developments: Budgeting, Auditing, and Evaluation in the United Kingdom” i A. Gray, B. Jenkins och B. Segsworth (red.) Budgeting, Auditing & Evaluation. Functions & Integration in Seven Countries. New Brunswick, NJ: Transaction Publishers.
Grönlund, 2008. Riksrevisionen – effektivitetens, rättssäkerhetens och demokratins väktare. En studie av effektivitetsrevisioner 2003 – 2007. Projektledare: Anders Grönlund. Företagsekonomiska institutionen vid Stockholms Universitet, Akademin för ekonomistyrning i staten. Akademirapport 2008:1.
Guba, E.G. och Lincoln, Y. 1981. Effective Evaluation. San Fransisco, CA: Jossey-Bass Publishers.
Halvorsen, A., Breidahl, K.N., Furubo, J.E. och Hansen, M.B. 2016. ”In- stitusjonelle felt og forståelser av evaluering – en analyse av evalueringen av NAV-reformen” i Nordiske Organisasjonsstudier, vol. 18, nr 2.
Hellquist, E. 1980. Svensk etymologisk ordbok (tredje upplagan). Malmö: Gleerups förlag.
Hirschfeldt, J. 1999. ”Kommissioner och andra undersökande utredningar - en utflykt i gränsmarkerna mellan juridik och politik” i L. Marcusson (red.) Festskrift till Fredrik Sterzel, Uppsala: IUSTUS förslag.
Hischfeldt, J. 2013. ”Undersökningskommissioner – extraordinära inslag i ’the Audit Society’” i Allmänt och enskilt – offentlig rätt i omvandling, Festskrift till Lena Marcusson. Uppsala: IUSTUS förlag.
Hood, C. 1991. ”A Public Management for all Seasons?”, i Public Administration, vol. 69. Royal Institute of Public Administration.
House, E.R. 1993. Professional Evaluation. Social Impact and Political Consequences. Newbury Park, CA: Sage Publications.
Intosai 2016a. Standard for Performance auditing, ISSAI 3000.
Intosai 2016b. Guidelines on Central Concepts for Performance Auditing. ISSAI 3100.
Jacob, S., Speer, S. och Furubo, J.E. 2015. ”The institutionalization of evaluation matters: Updating the International Atlas of Evaluation 10 years later” in Evaluation, vol. 21. nr 1.
Jeppsen, K.K., Carrington, T., Catasús, B., Johnsen, Å., Reichborn-Kjennerud, K. och Vakuri, J. 2017. ”The Strategic Options of Supreme Audit Institutions: The Case of Four Nordic Countries” i Financial Accountability & Managent, vol. 33. nr 2.
2017/18:URF2
163
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
Johansson, V. och Lindgren, L. (red.) 2013. Uppdrag offentlig granskning. Lund: Studentlitteratur.
Katastrofkommissionen Sverige och tsunamin – granskning och förslag. SOU 2005:104. Stockholm: Fritzes.
Keen, J. 1999. ”On The Nature of Audit Judgements: the Case of Value For Money Studies” i Public Administration, vol. 77. 2.
Lane, J.E. 2000. New Public Management. London: Routledge.
Leeuw, F.L. 1996. ”Performance Auditing, New Public Management and Performance Improvement: Questions and challenges” i Performance auditing and the Modernisation of Government. OECD.
Leeuw, F.L. 2011. ”On the effects, lack of effects and perverse effects of performance audit” i J. Lonsdale, P. Wilkins & T. Ling (red.) Performance auditing. Contributing to Accountability in Democratic Government. Cheltenham: Edward Elgar.
Leeuw, F.L. 2014. ”Effektivitetsrevision och Nederländernas Algemene Re- kenkamer” i M. Isberg och I. Mattson (red.) Riksrevisionen tio år. Granskning, ansvar, lärande. Stockholm: SNS förlag.
Leeuw, F.L. och Furubo, J.E. 2008. ”Evaluation Systems. What are they and why study them” i Evaluation, vol. 14, nr 2
Lewin, L. 2007. Democratic Accountability. Why Choice in Politics is Both Possible and Necessary. Cambridge, MA: Harvard University Press.
Lindgren, L. 2014. Nya utvärderingsmonstret: Om kvalitetsmätning i den offentliga sektorn. Stockholm: Studentlitteratur.
Lindström, S. 1997. ”Att kunna hålla de andra krafterna stången. En redogörelse för den svenska statliga resultatstyrningen” i Det svåra samspelet. Resultatstyrningens framväxt och problematik. Rapport till förvaltningspolitiska kommissionen. SOU 1997:15.
Ling, T. 2007. ”New wine in old bottles? When audit, accountability and evaluation meet” i M.L. Bemelmans-Videc, J. Lonsdale och B. Perrin (red.) Making Accountability Work: Dilemmas for Evaluation and for Audit. New Brunswick, NJ: Transaction Publishers.
Lonsdale, J. och Bemelmans-Videc, M.L. 2007. ”Accountability – the challenges for two professions” i M.L.Bemelmans-Videc, J. Lonsdale och B. Perrin (red.) Making Accountability Work: Dilemmas for Evaluation and for Au- dit. New Brunswick, NJ: Transaction Publishers.
Lonsdale, J. 2011. ”Introduction” i J. Lonsdale, P. Wilkins och T. Ling (red.)
Performance auditing. Contributing to Accountability in Democratic Government. Cheltenham: Edward Elgar.
164
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
Lonsdale, J. och Bechberger, E. 2011. ”Learning in an accountability setting” i J. Lonsdale, P. Wilkins och T. Ling T (red.) Performance auditing. Contributing to Accountability in Democratic Government. Cheltenham: Edward El- gar.
Mark, M.M., Henry, G. och Julness, G. 2000. Evaluation. An Integrated Framework for Understanding, Guiding and Improving Policies and Program. San Fransisco, CA: Jossey-Bass.
Mark, M.M. 2011. ”New (and old) directions for validity conserving generalizability” i H.T. Chen, S.I. Donaldson och M.M. Mark (red.) Advancing Va- lidity in Outcome Evaluation: Theory and Practice. New Directions for Evaluation, nr 130. San Francisco, CA: Jossey-Bass Publishers.
Mathison, S. 2008. ”What is the Difference between Evaluation and Research
– and Why Do We Care?” i N.L. Smith och P-L. Brandon (red.) Fundamental Issues in Evaluation. New York, NY: Guilford.
Mattson, I. 2014. ”Kommer den statliga revisionen till de folkvaldas nytta” i M. Isberg och I. Mattson (red.) Riksrevisionen tio år. Granskning, ansvar, lärande. Stockholm: SNS förlag.
Mayne, J. 2006. ”Audit and evaluation in public management. Challenges, reforms and different roles” i The Canadian Journal of Program Evaluation, vol.21, nr 1.
Merton, R.K. 1936. ”The unanticipated consequences of purposive social action” i American Sociological Review, vol. 1, nr 6.
Morin, D. 2004. ”Measuring the impact of value-for-money audits: a model for surveying audit managers” i Canadian Public Administration, vol.47, nr 2.
Myrdal, G. 1934. Finanspolitikens ekonomiska verkningar. Arbetslöshetsutredningen betänkande II, bilagor, band 2. SOU 1934:1.
NAO 2016. Annual report and accounts 2015 – 16. Performance Report. https://www.nao.org.uk/wp-content/uploads/2016/06/NAO-Annual-Report- 2015-16.pdf
Forskningsråd. 2014. Oppmerksomhetspunkter ved evaluering av politiske reformer. Rapport fra metaevalueringen av evalueringen av NAV-reformen i Norge. Oslo: Norges Forskningsråd.
Norstedts synonymordbok 2004.
OECD. 2016. Supreme Audit Institutions and Good Governance. Paris: OECD
Publishing.
Oral History Project Team 2009. “The Oral History of Evaluation: The Professional Development of Eleanor Chelimsky” i American Journal of Evaluation, vol. 30. Nr. 2.
2017/18:URF2
165
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
Osborne, S.P. (red.) 2010. The new Public Governance. Emerging perspectives on the theory and practice of public governance. Oxon: Routledge.
Osmo Vallo-utredningen. 2002. Osmo Vallo – utredning om en utredning. SOU 2002:37.
Owen, J.M. 2007. Program Evaluation Forms and Approaches. 3rd edition. New York: The Guilford Press.
Oxford Dictionary (second edition, revised). 2005. Oxford: University Press.
Patton, M.Q. 2008. Utilization Focused Evaluation. 4th Edition. Thousand Oaks, CA: Sage.
Pawson, R. and Tilley, N. 1997. Realistic Evaluation. London: Sage.
Pawson, R. and Tilley, N. 2004. Realist Evaluation. Webb-version. http://www.communitymatters.com.au/RE_chapter.pdf
Perrin, B. 2002. ”Towards a New View of Accountability”, 11 oktober, presentation till European Evaluation Society annual conference, Seville, Spanien.
Perrin, B. 2018. ”Accountability’s two solitudes and the questions it raises: Accountability to whom? By whom? And for what?” i J.E. Furubo och N. Stame (red.) The Evaluation Enterprise. A Critical View. Taylor and Francis (under utgivning).
Pollitt, C. och Bouckaert, G. 2004. Public Management Reform. A Comparative Analyse, second edition. Oxford University Press.
Pollitt, C. och Bouckaert, G. 2011. Public Management Reform. A Comparative Analyses, third edition. Oxford University Press.
Pollitt, C., Girre, X., Lonsdale, J., Mul, R., Summa, H. och Waerness, M. 1999.
Performance Audit and Public Management in Five Countries, Oxford and
New York: Oxford University Press.
Pollitt, C. och Summa, H. 1997. ”Reflexive Watchdogs? How Supreme audit institutions account for themselves?” i Public Administration, Vol. 75.
Power, M. 1994. The Audit Explosion. London: Demos.
Power, M. 1997. The Audit Society. Rituals of Verification. Oxford: University
Press.
Power, M. 2000. ”The Audit Society-Second Thoughts” i International Journal of Audit, vol. 4, nr 1.
Put, V. 2011. ”Norms used: Some strategic considerations from the Netherlands and the UK” i J. Lonsdale, P. Wilkins och T. Ling (red.) Performance auditing. Contributing to Accountability in Democratic Government. Cheltenham: Edward Elgar.
166
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
Put,V. och Bouckaert, G. 2013. ”Managing Performance and Auditing Performance” i C. Cristensen och P. Laegreid (red.) The Ashgate Research Companion to New Public Management. Burlington: Ashgate.
Raudla, R., Taro, K. Agu, C. och Douglas, J.W. 2015. ”The Impact of Performance Audit on Public Sector Organizations: The Case of Estonia” i Public Organization Review, mars 2015. file:///C:/Users/User/AppData/Local/Packages/Microsoft.MicrosoftEdge_8wekyb3d8bbwe/TempState/Downloads/POR2015%20 (1).pdf
Reichborn-Kjennerud, K. 2014a. ”Performance audit and the importance of public debate” i Evaluation, vol, 20. nr 3.
Reichborn-Kjennerud, K. 2014b. Auditee Strategies: ”An Investigation of Au- ditees’ Reactions to the Norwegian State Audit Institution of Performance Au- dits” i International Journal of Public Administration, vol. 37, nr 10.
Rist, R.C. och Stame, N. (red.) 2006. From Studies to Streams: Managing Evaluative Systems. New Brunswick, NJ: Transaction Publishers.
Riksrevisionsverket (1970). Förvaltningsrevision. Stockholm: RRV.
Riksrevisionen. 2004 – 2016. Samtliga granskningsplaner.
Riksrevisionen. 2011. Effektivitetsrevisionen i en ny omvärld. Ett bidrag till det professionella samtalet på Riksrevisionen.
Riksrevisionsutredningen. 2009. Uppföljning av Riksrevisionsreformen II: Ef- fektivitetsrevisionen, den årliga revisionen och den internationella verksamheten. Slutbetänkande av Riksrevisionsutredningen. Utredning från Riksdagsförvaltningen 2008/09: URF3.
Rogers, P.J 2008. ”Using Programme Theory to Evaluate Complicated and Complex Aspects of Interventions” i Evaluation, vol. 14, nr 1.
Rossi, P.H., Freeman, E.E. och Lipsey, M.W. 1999. Evaluation. A systematic Approach. Thousand Oaks, CA: Sage Publications.
Rossi, P.H., Freeman, E.E. och Lipsey, M.W. 2004. Evaluation. A systematic Approach, Seventh Edition. Thousand Oaks, CA: Sage Publications.
RRV, 1970. Förvaltningsrevision i staten. Mål och medel för granskning av effektiviteten i statsförvaltningen. Riksrevisionsverket.
RRV, 1976. Mål och program i verksamhetsplanering, SEA-skrifter. Stockholm: Liber förlag.
RRV, 1987. Utvärderingar till vad och hur mycket? Riksrevisionsverket.
Rudeberg, K. 1995. ”Combating Business Crime in Sweden: A performance audit” i Knowledge and Policy: The International Journal of Knowledge Transfer and Utilization, vol. 8, nr. 3.
2017/18:URF2
167
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
Sandahl, R. 1993. “Connected or Separated? Budgeting, Auditing and Evaluation in Sweden." i A. Gray, B. Jenkins, and B. Segsworth (red.). Budgeting, Auditing & Evaluation: Functions and Integration in Seven Governments.
New Brunswick. NJ: Transaction Publishers.
Sandahl, R. 2018. ”Evaluation overload and evaluation underload” i J.E. Fu- rubo, och N. Stame (red.) The Evaluation Enterprise. A Critical View. Taylor and Francis (under utgivning).
Schwartz, R. 1999. ”Coping with the effectiveness dilemma: strategies adopted by state auditors” i International Review of Administrative Sciences, vol. 65.nr 4.
Schwandt, T. 2018. ”The concerted effort to professionalize evaluation practice: Whither are we bound?” i J.E. Furubo och N. Stame (red.) The Evaluation Enterprise. A Critical View. Taylor and Francis (under utgivning).
Scriven, M. 1991. Evaluation Thesaurus. Newbury Park, CA: Sage.
Scriven, M. 2003. ”Evaluation Theory and Metatheory” in T. Kellaghan, D .L.
Stufflebeam, (red). 2003. International Handbook of Educational Evaluation.
Dordrecht: Kluwer Academic Publishers.
Sharma, N. 2007. ”Interactions and interrogations: negotiating and performing value for money reports” i Financial Accountability and Management, vol, 23. nr 3.
Stame, N. 2018. ”The politics/administration dichotomy and evaluation” i J.E. Furubo och N. Stame (red.). The Evaluation Enterprise. A Critical View. Taylor and Francis (under utgivning).
Statens energiverk, 1984. Energihushållningsprogrammets effekter – En analys av de statliga styrmedlens effekter på energihushållningen. Statens energiverk 1984:2.
Statskontoret, 2014. Utvärdering på olika områden: En analys av sektorsspecifika utvärderingsmyndigheter. Statskontoret, rapport 2014:7.
Sterzel, F. 2003. ”Riksdagens revisorer – den konstitutionella utvecklingen” i
Riksdagens Revisorer under två sekel. Riksdagens revisorer.
Stockmann, R. 2016. ”The future of evaluation in Modern Societies” in R. Stockman och W. Meyer (red.) The Future of Evaluation. London: Palgrave Macmillan.
Styrutredningen, 2007. Att styra staten – regeringens styrning av sin förvaltning. SOU 2007:75.
Suchman, E.A. (1967). Evaluation Research: Principles and Practice in Public Service and Social Action Programs. New York: Russel Sage Foundation.
Svenska akademiens ordbok. www.saob.se
168
BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
Studiesociala utredningen. 1963. Rätt till studiemedel. SOU 1963:74.
Taylor-Dormond, M. och Tenev, S. 2013. ”Evaluating the World Bank Group´s Response to the Global Economic Crises in Real Time” i J.E. Furubo, R.C. Rist and S. Speer (red.) Evaluation and Turbulent Times. NJ: New Brunswick: Transaction Publishers.
Tremblay, M-S. och Malsch, B. 2015. A review of Performance Audit Literature. École nationale d’administration publique, presenterad på IRSPM:s (In- ternational Society for Public Management) konferens 2015. Nedladdat i juli 2017. http://irspm2015.com/sppa/i-dex.php/irspm/IRSPM2015/paper/view File/1584/340
Ullenhag, K. 2003. ”Revision och samhällsomdaning åren 1872, 1922 och 1972” i Riksdagens Revisorer under två sekel. Riksdagens revisorer.
Uppsala Universitet, 2015. Kvalitetsbedömning av effektivitetsrevisionens granskningsrapporter 2015. Medverkande forskare Nils Hertting, Sven Jungerhem, Mats Larsson, Arne Sjöblom och Susanne Stenbacka.
Van de Donk, W. 2010. ”Academic Administrative Sciences: A dialogue of Disciplines?” i G. Bouckaert och W. van de Donk (red.) The European Group for Public Administration (1975 – 2010) Perspectives for the future. Bruxelles: Bruyant.
Vedung, E. 1997. Public Policy and Program Evaluation. New Brunswick och London: Transaction Publishers.
Vedung, E. 2009. Utvärdering i politik och förvaltning. Lund: Studentlitteratur.
Vedung, E. och Dahlberg, M. 2013. Demokrati och brukarutvärdering. Lund: Studentlitteratur.
Weber, M. 1949. The Methodology of the Social Science. New York: The Free Press.
Weiss, C.H. 1972a. Evaluation Research, Methods of Assessing Program Ef- fectiveness. Englewood Cliffs, NJ: Prentice Hall.
Weiss, C.H. 1972b. Evaluating Actions Program: Readings in Social Science and Education. Boston: Allyn and Bacon, Inc.
Weiss, C.H. 1998. Evaluation, Second Edition. Upper Saddle River, NJ: Prentice Hall.
Wetts, K. 2011. ”Impact at local governmental level: a multiple case study” i J. Lonsdale, P. Wilkins & T. Ling (red). Performance auditing. Contributing to Accountability in Democratic Government. Cheltenham: Edward Elgar.
Wildavsky, A. 1979. Speaking Truth to Power. Little Brown & Company.
2017/18:URF2
169
2017/18:URF2 | BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET |
Williams, W. och Evans. J.W. 1972. ”The politics of Evaluation. The Case of Head Start” i P.H. Rossi och W. Williams (red.) Evaluating Social Programs. Theory, Practice, and Politics. New York: Seminar Press.
Wisler, C. (red.) 1996. Evaluation and Auditing. Prospects for convergence.
New Directions for Evaluation, nr 71 San Francisco, CA: Jossey-Bass Publishers.
170