Översyn av Riksrevisionen - slutbetänkande, del 2

Utredning från Riksdagsförvaltningen 2017/18:URF2

Översyn av Riksrevisionen – slutbetänkande

Bilagor

ISSN 1653-0942 978-91-88607-20-1 Riksdagstryckeriet, Stockholm, 2017

2017/18:URF2

Innehållsförteckning
Om effektivitetsrevisionens inriktning och kvalitet...........	.............................5
Nils Hertting
Riksrevisionens uppföljningsrapporter..........................................................	31
Lars-Göran Gustafsson
Effektivitetsrevision – förväntningar och identitet ........................................	59
Jan-Eric Furubo

2017/18:URF2

BILAGA 1

Av Nils Hertting

Om effektivitetsrevisionens inriktning och kvalitet

2017/18:URF2	BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
	Innehållsförteckning
	Sammanfattning..............................................................................................			7
	1	Inledning.....................................................................................................		8
	2	Effektivitetsrevisionens inriktning och syften ..........................................		10
		2.1	Har effektivitetsrevisionens inriktning förändrats över tid? ................	10
		2.2	Otydlighetens pedagogiska och metodologiska konsekvenser ............	12
		2.3	Granskning av ”förutsättningar för”....................................................	13
	3 Granskningsdesign och metod..................................................................			15
		3.1	Bedömningsnormer .............................................................................	15
	4	Analys, slutsatser och rekommendationer.................................................		17
		4.1	Utsagor om aktörers föreställningar om orsaker..................................	17
		4.2	Integrerade rekommendationer och reflektion om styrkor och
		svagheter ....................................................................................................		18
	5	Om problemens orsaker och effektivitetsrevisionens dilemma(n)............		20
		5.1	Otydlighetens orsaker..........................................................................	20
		5.2	Försvårar Riksrevisionens uppdrag en god
		effektivitetsrevision? ..................................................................................		21
		5.3	Försvårar Riksrevisionens organisation en god
		effektivitetsrevision? ..................................................................................		22
		5.4	Försvårar kompetensbrist inom Riksrevisionen en god
		effektivitetsrevision? ..................................................................................		23
	Referenser.....................................................................................................			24
	Bilaga 1 Granskade effektivitetsrevisioner...................................................			25
	Bilaga 2 Bedömningskriterier för Vetenskapliga rådets synpunkter på
	effektivitetsrevisionens rapporter..................................................................			27

BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET

2017/18:URF2

Sammanfattning

Den här rapporten sammanfattar de kvalitetsbedömningar av Riksrevisionens effektivitetsrevision som forskare vid Uppsala universitets samhällsvetenskapliga fakultet genomfört mellan 2009 och 2016. I rapporten konstateras att forskargruppernas budskap i viss mån har varit tvetydigt. Å ena sidan har man bedömt Riksrevisionens rapporter som i stort sett trovärdiga. Sällan har man funnit starka skäl att betvivla de huvudsakliga slutsatserna i effektivitetsrevisionens rapporter. Å andra sidan har forskarna återkommit med kritik och invändningar på en rad centrala punkter, såsom undersökningsuppläggning, analys, belägg, slutsatser och rekommendationer. Forskargruppen har också konstaterat att kvaliteten på Riksrevisionens effektivitetsrevisioner varierat ganska betydligt.

Forskarnas grundläggande kritik handlar om bristande tydlighet. Riksrevisionens slutsatser förefaller förvisso ofta rimliga och förnuftiga, men det är inte alltid uppenbart hur man kommit fram till dem. Enligt forskarna ter sig slutsatserna inte sällan mer intuitiva än välbelagda och mer ”common senseartade” än utmanande. Kort sagt har det inte funnits skäl att betvivla effektivitetsgranskningarnas budskap, men rapporterna har heller inte tillfört så mycket mer än vad vi redan visste. Det är viktigt att understryka att denna övergripande slutsats gäller oavsett om granskningarna haft en kvantitativ eller kvalitativ karaktär, samt att den har varit återkommande över tid och oberoende av forskargruppens konkreta sammansättning.

I rapporten sammanfattas och i viss mån utvecklas Uppsalaforskarnas analys och bedömning av effektivitetsrevisionens karaktär och kvalitet under följande rubriker:

•effektivitetsrevisionens syfte och inriktning

•effektivitetsrevisionens design och analys

•effektivitetsrevisionens slutsatser och rekommendationer.

I rapportens avslutande del diskuteras några möjliga förklaringar till effektivitetsrevisionens kvalitetsproblem och möjliga lösningar till dessa.

2017/18:URF2	BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
	1 Inledning
	Att studera effektivitet i statlig verksamhet är en viktig uppgift. Närmare be-
	stämt är det viktigt utifrån åtminstone två perspektiv. Staten kan ses som ett
	sätt att organisera delar av samhället som bättre än alternativen producerar väl-
	färd och välmåga. Vi kan kalla det för ett välfärdsperspektiv på staten. Staten
	legitimeras utifrån ett sådant perspektiv genom sin förmåga att svara mot med-
	borgarnas behov bättre än t.ex. marknaden eller familjen. Den tyske samhälls-
	vetaren Fritz Scharpf kallar detta för ”output-legitimitet”. En effektivitetsre-
	visions uppgift blir ur ett sådant perspektiv att undersöka om staten fungerar
	effektivt för att producera välfärd och samhällsnytta. Kanske kan man säga att
	detta är nationalekonomins syn på effektivitetsrevision. Effektivitetsproblem i
	statlig verksamhet blir ett välfärdsproblem.
	Men statens verksamhet kan också betraktas ur ett demokratiperspektiv.
	Statens verksamhet betraktas då som en länk i den demokratiska styrningsked-
	jan och som ett instrument för att realisera folkviljan. Med Scharpfs termino-
	logi följer statens legitimitet av den ”input” som medborgarna skickar i form
	av demokratiska val och valda representanter. En effektivitetsrevision handlar
	ur ett sådant demokratiperspektiv om att undersöka om statens verksamheter
	är effektiva för att implementera det som de folkvalda representanterna beslu-
	tat om – må det röra sig om långsiktiga effekter ”ute i samhället” eller priori-
	teringar rörande verksamhetsformer och procedurer. Kanske kan man säga att
	detta är statsvetenskapens syn på effektivitetsrevision. Effektivitetsproblem i
	staten blir ett demokratiproblem.
	Effektivitetsrevision är inte bara viktigt. Effektivitetsrevision är också
	svårt. Som denna rapport kommer att visa ställs effektivitetsrevisionen inför
	några av samhällsvetenskapens mest grundläggande utmaningar, men utan att
	ha forskarens möjligheter att helt anpassa frågeställningarna efter befintliga
	teorier, metoder och data. Det handlar om hur man undersöker effekter och
	orsakssamband, men också om hur man urskiljer och tillämpar normativa be-
	dömningsgrunder.
	Sedan 2009 har forskare vid samhällsvetenskapliga fakulteten vid Uppsala
	universitet genomfört kvalitetsbedömningar av Riksrevisionens effektivitets-
	granskningar. Sammantaget har ett 50-tal rapporter från 2009, 2010, 2011,
	2014 och 2015 granskats. Arbetet har i stort sett följt samma grundupplägg-
	ning. En mångdisciplinär granskningsgrupp av forskare med omfattande erfa-
	renhet av forskning, handledning och examination har satts samman. Genom
	åren har forskargruppens sammansättning varierat. Representerade discipliner
	har varit: ekonomisk historia, företagsekonomi, kulturgeografi, nationaleko-
	nomi och statsvetenskap.1 Gruppen har därefter läst ett urval om cirka tio av

	1 Följande personer har någon gång medverkat: Matz Dahlberg (nationalekonomi), Maria
	Heimer (statsvetenskap), Nils Hertting (statsvetenskap), Sven Jungerhem (företagsekonomi),
8

BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET

Riksrevisionens omkring 30 effektivitetsgranskningar per år (se bilaga 1).Ur- valet av granskningar har gjorts genom ett slumpmässigt urval. Varje granskningsrapport har därefter lästs och bedömts av minst två forskare. Bedömningarna har gjorts utifrån de kvalitetskriterier som Riksrevisionens vetenskapliga råd tagit fram (se bilaga 2) och forskargruppens arbete har inletts med ett ”kalibrerande” seminarium där kriterierna diskuterats samt tidigare iakttagelser och bedömningar har gåtts igenom. Riksrevisionens effektivitetsrapporter har därefter analyserats och diskuterats vid minst fyra seminarieliknande sammankomster. Mot denna bakgrund har forskargruppen granskat kvaliteten i rapporterna och identifierat brister och förbättringsområden i granskningarnas upplägg, inriktning, metodval etc. samt eventuella förbättringsområden. Under senare år har vi också försökt bedöma förändring i kvaliteten jämfört med tidigare kvalitetsbedömningar.

I denna rapport sammanfattas Uppsala universitets iakttagelser. Syftet är att summera och i viss mån utveckla forskargruppernas iakttagelser och resonemang om karaktären och kvaliteten på Riksrevisionens effektivitetsrevision, samt hur denna utvecklats över tid. Forskargruppens iakttagelser kopplas här också till andra studier av effektivitetsrevision (eller ”performance audit”, som den engelska benämningen brukar vara) i andra länder.2

Iakttagelserna och resonemangen organiseras utifrån Riksrevisionens egna kvalitetskriterier och en tänkt undersökningslogik där effektivitetsrevisionens inriktning och syfte vägleder granskningsdesign och analys och där analysen ligger till grund för slutsatser och rekommendationer. I rapportens avslutande del förs en diskussion om potentiella förklaringar och lösningar på iakttagna problem som är återkommande.

Mats Larsson (ekonomisk historia), Sofia Murhem (ekonomisk historia), Arne Sjöholm (företagsekonomi), Susanne Stenbacka (kulturgeografi), Bo Söderberg (nationalekonomi) och Sture Öberg (kulturgeografi). Författaren till föreliggande rapport, Nils Hertting, är den ende som medverkat samtliga år och har under de senaste åren samordnat arbetet.

2 För rapportens innehåll ansvarar författaren. I den löpande texten markeras på olika sätt vad som är Uppsalaforskarnas iakttagelser och slutsatser och vad som är författarens egna analyser och resonemang.

2017/18:URF2

2017/18:URF2 BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET

2 Effektivitetsrevisionens inriktning och syften

Det går inte att hitta kurser i effektivitetsrevision vid svenska universitet, och den metodologiska litteratur som explicit handlar om effektivitetsrevision är mycket begränsad. Talande är att den lilla akademiska litteratur som faktiskt finns i hög grad handlar om att förstå vad effektivitetsrevision egentligen är, och vilka syften och roller som institutioner som säger sig ägna sig åt effektivitetsrevision ålagts eller tagit på sig.3 Redan detta förhållande antyder att det ingalunda är självklart vad effektivitetsrevisionen närmare bestämt handlar om.

I den svenska debatten har buden om effektivitetsrevisionens inriktning också varit flera och varierat över tid.4 När riksrevisionsreformen följdes upp 2009 riktades kritik mot att effektivitetsrevisionen haft ett alltför legalistiskt fokus mot att kontrollera vad som kom att kallas ”regelefterlevnad”. Med hänvisning till en studie genomförd av en forskargrupp vid Stockholms universitet (jfr Grönlund 2011) menade kritikerna att Riksrevisionen ägnade sig för lite åt att studera om den förda politiken faktiskt åstadkom de effekter som önskades och förväntades ”ute i samhället”. Vidare menade man att effektivitetsrevisionen bara i begränsad omfattning tog hänsyn till kostnaderna för de granskade verksamheterna och att den därtill hade för liten inriktning mot att främja förändringsarbete.5 Utredningen efterlyste ”breda granskningar i väsentliga samhällsfrågor”, och i en justerad formulering i lagen (2002:1022) om revision av statlig verksamhet m.m. heter det numer att effektivitetsrevisionens huvudinriktning ska vara ”granskning av hushållning, resursutnyttjande, måluppfyllelse och samhällsnytta”. I samma lag föreskrivs att granskningen främst ska ta sikte på ”förhållanden med anknytning till statens budget, genomförandet och resultatet av statlig verksamhet och åtaganden i övrigt men får också avse de statliga insatserna i allmänhet”.

2.1 Har effektivitetsrevisionens inriktning förändrats över tid?

Uppsala universitets granskningar har haft två typer av synpunkter när det gäller inriktningen på och syftena med Riksrevisionens effektivitetsrevisioner. Den första har gällt inriktningen och den andra tydligheten.

I Grönlunds m.fl. studie på uppdrag av 2008 års riksrevisionsutredning konstaterar man att en mycket stor andel av effektivitetsrevisionerna mellan 2003

3 Se t.ex. Kells 2011, Tillema & ter Bogt 2010, Grönlund m.fl. 2011; se också Pollitt & Summa 1991.

4 Se t.ex. Ahlbäck Öberg & Bringselius 2015.

5 Slutbetänkande från Riksrevisionsutredningen (2008/09:URF3).

BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET

och 2007 hade ett starkt fokus på att studera ”regelefterlevnad” (eller ”compliance”) snarare än att granska ekonomi, produktivitet, måluppfyllelse eller effekter ur ett bredare samhällsekonomiskt perspektiv (Grönlund m.fl. 2009). Iakttagelsen ligger i linje med vad tidigare internationell forskning har observerat:

Although most SAIs now state formally that they are investigating the ”3Es”—economy, efficiency and effectiveness—our analysis of reports indicated that true effectiveness (outcome) studies were fairly rare (Pollitt 2003:160).

Uppsala universitets iakttagelser har visat på både likheter och olikheter (se tabell 1). Å ena sidan har vi i likhet med Grönlund m.fl. noterat ett starkt fokus på att undersöka processer och verksamheter snarare än att analysera långsiktiga utfall som (kausala) effekter av statlig verksamhet ”ute i samhället” (minskad arbetslöshet, minskad klimatpåverkan, minskad social och etnisk segregation, återfall i brott etc.). Å andra sidan menar Uppsalaforskarna – till skillnad från Grönvall m.fl. – att det också har varit relativt ovanligt med granskningar som studerat regelefterlevnad i strikt mening. Som jag återkommer till nedan har Uppsalaforskarna vid flera tillfällen rest frågan om ett fokus på processer och verksamheter kan ha andra syften än att granska regelefterlevnad. En tolkning som lanserats är att Riksrevisionens processorienterade granskningar kan ses som försök att följa (den kausala) processen mellan en statlig verksamhet och styrstrategi å ena sidan och dess avsedda effekter å den andra.

Tabell 1: Inriktningens utveckling över tid

2003–2008 (Grönlund m.fl.)

2009–2015 (Hertting m.fl.)

vanligt med fokus på regelefterlevande vanligt med ”administrativa granskningar”

ovanligt med fokus på samhällseffekter fokus på kontroll och ansvarsutkrävande ovanligt med fokus på kostnadsaspekter

ovanligt med fokus på regelefterlevande

vanligt med processtudier (”förutsättningar för”)

ovanligt med fokus på samhällseffekter ökat fokus på främjande

vanligare att kostnadsaspekter berörs men fortfarande osystematiskt

Två saker bör här påpekas. För det första har Uppsala universitets studier inte primärt syftat till att kategorisera effektivitetsrevisionens typ av granskningar. Uppsalaforskarna har därför inte heller haft samma utvecklade begreppsapparat för att beskriva granskningarnas inriktning som Grönvall m.fl. Detta innebär t.ex. att det är lite oklart hur det Uppsalaforskarna kallar ”processtudier” skiljer sig från det Grönvall m.fl. kallar ”administrativa granskningar”. Även om slutsatserna om förekomsten av regelefterlevandestudier ter sig säker bör jämförelsen i tabell 1 därför läsas som en ganska grovskalig indikation på utvecklingen.

För det andra bör det understrykas att det här inte ligger någon värdering av inriktningen på effektivitetsrevisionen. I Uppsalaforskarnas rapporter har både risker och möjligheter med att prioritera utfallsorienterade effektanalyser

2017/18:URF2

2017/18:URF2	BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
	diskuterats. Allt annat lika är det svårare att belägga orsakssamband ju längre
	och mer komplex kedjan mellan den statliga verksamheten och de intressanta
	effekterna antas vara. I synnerhet gäller detta om effektivitetsrevisionen ska
	göra ”breda granskningar i väsentliga samhällsfrågor”. Det är kort sagt inte
	någon enkel sak att kombinera ”bredd och djup” på det vis som Riksrevisions-
	utredningen efterlyser.6 Försiktighet med anspråk på att uttala sig om långsik-
	tiga samhällseffekter kan utifrån ett sådant resonemang förstås.
	Talande är också att de effektivitetsgranskningar som bäst lyckas belägga
	orsakssamband mellan statliga insatser och samhällseffekter rimligen kan be-
	skrivas som mer djupa än breda. Det handlar om effektstudier av enskilda styr-
	medel inom ramen för bredare reformer snarare än reformerna som sådana.
	Styrkan i denna typ av granskningar är att de möjliggör precisa skattningar av
	utfallseffekter; risken är att en sådan effektivitetsrevision ger en begränsad
	förståelse av politikens bredare sammanhang och orsakssamband i styrnings-
	kedjans initiala faser.7 Jag återkommer nedan till frågan om alternativa meto-
	der vid effektivitetsrevision.

2.2 Otydlighetens pedagogiska och metodologiska konsekvenser

En tydlig problembeskrivning hjälper läsaren att förstå men är också en förutsättning för granskarens möjligheter att avgränsa en eller flera frågeställningar, välja granskningsdesign, genomföra analysen och dra slutsatser. Tydlighet är en pedagogisk såväl som metodologisk dygd. Många problem kan undvikas genom en väl genomtänkt problemställning och undersökningsfråga. Detta gäller inte minst när frågorna handlar om så komplexa processer som effektiviteten i offentlig politik. Poängen är att syfte och frågeställning är nära kopplade till frågor om metod, material, analys och slutsatser. I Riksrevisionens vetenskapliga råds kvalitetskriterier heter det sålunda att effektivitetsrevisionens frågor ska vara formulerade så att de kan ”besvaras med hög grad av tillförlitlighet och precision” (se bilaga 2).

På denna punkt har Uppsalaforskarna återkommit med kritik. Forskarna menar att Riksrevisionens syften och revisionsfrågor ofta är för många eller för allmänna. Man har tolkat detta som uttryck för Riksrevisionens vilja att ta ett brett helhetsgrepp om de studerade styrsystemen och verksamheterna, men samtidigt påpekat att det är en ambition som riskerar att skapa metodologiska och analytiska problem. Ofokuserade frågeställningar gagnar sällan analytisk systematik. Det innebär ofta omfattande material, många delstudier och höga krav på rapportförfattarnas förmåga att redogöra för hur delarna hänger ihop och informerar varandra. Uppsalaforskarna menar att denna systematik inte

6 I den internationella litteraturen har det hävdats att nationella effektivitetsrevisionsorgan prioriterar att ägna sig åt att studera regelefterlevnad (compliance) snarare än samhällseffekter därför att det senare uppfattas som för svårt (se Kells 2011).

7 Medan problemet med den senare typen av studier alltså är att de sällan på ett övertygande vis lyckas koppla dessa initiala steg i styrningskedjan (strategier, handläggning, myndighetsbeslut) till utfall i samhället (arbetslöshet, återfall i brott, klimatpåverkan etc.).

BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET

alltid är enkel att se. Som läsare måste man anstränga sig och vara ganska generös för att förstå hur syften, revisionsfrågor, undersökningar och slutsatser hänger ihop. Som en följd förloras inte bara pedagogik utan också metodologisk trovärdighet.

2.3 Granskning av ”förutsättningar för”

I flera rapporter har Uppsalaforskarna uppmärksammat och återkommit till en typ av granskningar som syftar till att undersöka ”förutsättningarna för” att t.ex. bedriva ett effektivt eller ändamålsenligt arbete med en fråga. Forskargruppen har diskuterat den egentliga innebörden av denna typ av granskningar. I somliga fall har vi här tyckt oss ana en ganska rimlig och sofistikerad undersökningslogik. Utifrån en idé eller teori om förutsättningarna för en effektiv implementering av politikens mål undersöks om dessa förutsättningar skapats. Om riksdagens beslut bygger på en föreställning om att ökad samverkan mellan stat och civilt samhälle är ett nödvändigt led för att förbättra integrationen av nyanlända kan man undersöka om berörda myndigheter har förmått skapa gynnsamma villkor för sådan samverkan. Är dessa ”processvillkor” inte uppfyllda kan man dra slutsatsen att den förda politiken rimligen inte heller kunnat leda till de eftersträvade samhällseffekterna – åtminstone inte på det sätt det var tänkt. Man skulle kunna kalla det för en granskning av ”förutsättningar för avsedda effekter”. I utvärderingslitteraturen finns liknande tankar under rubriker som ”teoribaserad utvärdering” eller utvärdering med hjälp av ”programteori” (Vedung 2009).8

En variant av denna typ av design skulle kunna beskrivas som granskning av ”förutsättningar för god statlig verksamhet”. I detta fall blir kopplingen till effekter i samhället än mer indirekt. Istället för att utgå från en teori om hur just den granskade insatsen eller verksamheten är tänkt att rendera tänkta effekter utgår man här ifrån en mer generell idé om vad som kännetecknar en välfungerande statlig verksamhet, t.ex. att statens styrning är tydlig, att handläggning av ärenden följer fastlagda regler eller att samverkan fungerar när det behövs.

Forskargruppen vid Uppsala universitet menar att Riksrevisionens syfte här tycks vara något annat än att studera regelefterlevnad. Detta är viktigt. Ett fokus på processer utesluter inte en ambition om att uttala sig om effekter och är ingalunda per definition en fråga om ”compliance”. Som berörs ytterligare nedan är emellertid idén och tanken bakom granskningarna av ”förutsättningar

8 Med samhällsvetenskaplig metodvokabulär kan man också säga att denna typ av granskningar lägger fokus på att spåra de kausala mekanismerna mellan insatser och effekter i styrningskedjan. Sådana mekanismer finns av olika slag i olika skeden av interventionsprocessen. I tidiga skeden handlar de om styrstrategier i regering och centrala myndigheter, organisering och implementering. I senare skeden om reaktioner och beteendeförändringar hos politikens adressater (t.ex. minskad bilanvändning) och för vissa typer av politik också mer naturvetenskapliga processer (t.ex. betydelsen av minskade koloxidutsläpp för den globala uppvärmningen). ”Förutsättningarna för” i Riksrevisionens granskningar handlar oftast om relativt tidiga skeden i styrningsprocessen.

2017/18:URF2

2017/18:URF2	BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
	för” alltför ofta för outvecklad, och forskargruppen har efterlyst tydliggöran-
	den av tanken bakom denna typ av effektivitetsrevisioner.

BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET

2017/18:URF2

3 Granskningsdesign och metod

Det finns inga perfekta metoder eller metodologiska uppläggningar för att studera statliga verksamheters effektivitet, och det finns inga enkla mallar som alltid går att ta till och tillämpa. Utgångspunkten kan tyckas resignerad, men den har sina poänger. Den understryker att valda uppläggningar av och metoder för effektivitetsrevision kräver eftertanke och argument. En effektivitetsgranskning måste designas utifrån omständigheterna i varje enskilt fall, och olika metoder har olika styrkor och svagheter.

Avsaknaden av perfekta metoder och enkla mallar betyder förstås inte att vad som helst går an. Effektivitetsrevision är inte vilka bedömningar som helst. Det är bedömningar som gör anspråk på systematik. För systematikens skull är en medveten och tydlig granskningsdesign avgörande: Hur ska olika material och delstudier ge trovärdiga svar på granskningsfrågorna? Detta är, som forskargruppen tolkar det, också andemeningen i Riksrevisionens vetenskapliga råds kriterier om metoder för faktainsamling och bedömning: Metoderna ska vara lämpliga i förhållande till syftet och beskrivna på ett begripligt sätt (se bilaga 2).

En återkommande iakttagelse i Uppsalaforskarnas rapporter har emellertid handlat om balansen mellan den vikt som läggs på insamling av data och den vikt som läggs på granskningarnas systematiska uppläggning och design. Man menar att metodbeskrivningarna sällan är tillräckliga för att man som läsare ska förstå varför just den eller de metoderna valts, varför ingen annan metod valts och på vilket sätt den valda metoden på ett bra sätt besvarar den eller de uppställda frågorna. Kort sagt menar forskargrupperna att steget till datainsamling (se nedan) ofta tycks gå väl fort.

Frågor om granskningsdesign och metod är svåra – i synnerhet när komplexa fenomen som statliga verksamheter ska kopplas till samhällseffekter. I den enkätundersökning som forskargruppen genomförde 2012 var också design och analys de moment som Riksrevisionens medarbetare tyckte var svårast. Just därför bör de också ägnas mycket tid och energi. Uppsalaforskarna har här tyckt sig se behov av en omprioritering. Mycket material och data är visserligen bra, men bara om det finns en tydlig struktur genom vilken dessa kan analyseras.

3.1 Bedömningsnormer

Att en genomförandeprocess beskrivits eller en kausal effekt av en reform systematiskt belagts inom ramen för en väl vald granskningsdesign innebär i sig inte någon effektivitetsrevision. Det är en sak att studera konsekvenserna av ett riksdagsbeslut, en annan sak att värdera dessa konsekvenser. En effektivitetsrevision tarvar systematik i bägge avseenden. För bedömning behövs en norm och ett kriterium för vad som är att betrakta som ”bra”. Det behövs

2017/18:URF2	BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
	”måttstockar”. Sådana måttstockar och kriterier är inte självklara utan måste
	väljas och specificeras. Utifrån en måttstock kan en statlig verksamhet vara
	framgångsrik, utifrån en annan vara gravt bristfällig. Otydlighet om vilka kri-
	terier som faktiskt har tillämpats underminerar därmed granskningarnas trans-
	parens och trovärdighet. Enligt Riksrevisionens vetenskapliga råds kriterier
	måste därför de grunder som den granskade verksamheten bedöms gentemot
	vara väl beskrivna (se bilaga 2).
	I Uppsala universitets granskningar har forskarna funnit att kvaliteten i
	Riksrevisionens rapporter varierar i detta avseende. Återigen handlar kritiken
	om bristande tydlighet och transparens. Inte sällan radas flera olika bedöm-
	ningsnormer upp, utan att man som läsare förstår hur de relateras och priorite-
	ras i förhållande till varandra. I något exempel finns åtminstone femton olika
	bedömningskriterier. I sig är det inte felaktigt. Väl genomförda kan gransk-
	ningar utifrån många olika bedömningsgrunder ge mer nyanserade beslutsun-
	derlag. Det ställer emellertid höga krav på pedagogik och systematik – inte
	bara i inledningen av rapporten utan framförallt i slutet när processer, insatser
	och/eller effekter ska värderas. Det finns exempel på goda utredningar av vad
	som är en rimlig tolkning av vad måluppfyllelse av riksdagens beslut skulle
	innebära, men där det inte är lika tydligt hur dessa kriterier sedan har tilläm-
	pats. Inte sällan får läsaren själv försöka lista ut vilken bedömningsnorm som
	legat till grund för slutsatserna. Som en följd blir det svårt att se varifrån slut-
	satserna kommer. Om kriterierna är för oklara kan i stort sett vad som helst
	betraktas som en framgång eller ett misslyckande.
	Man kan tycka att denna fråga inte bör vara problematisk i effektivitetsre-
	vision. Effektivitetskriteriet ligger i själva benämningen på verksamheten. Det
	handlar om att bedöma om den statliga verksamheten bedrivs på ett effektivt
	sätt. Men effektivitetskriteriet kan ta sig många varianter och tillämpas i olika
	skeden av genomförandekedjan och på olika nivåer av den offentliga sektorn.
	Man kan t.ex. välja att bedöma effektiviteten i forskningspolitiken genom att
	bedöma om universitet och högskolor förmår omvandla sina anslag till forsk-
	ning och forskningsmånader (produktivitet). Man kan också bedöma effekti-
	viteten i termer av forskningens kvalitet eller för all del samhällsrelevans och
	nytta. Detta är tre olika sätt att se på effektivitet. Inget kan sägas vara mer rätt
	än något annat, och samma lärosäte kan mycket väl vara framgångsrikt utifrån
	en av bedömningsnormerna men prestera ganska dåligt utifrån en annan. Det
	är närmast självklart. Syftet här är bara att illustrera varför tillämpning av be-
	dömningsnormer kräver tydlighet.9

	9 Noga taget handlar frågan om bedömningskriterier om ställningstaganden i två frågor. Den
	mest grundläggande handlar om vilken måttstock som ska användas när politikens värde be-
	döms. I utvärderingsläran finns många bud på vad som är lämpliga måttstockar (t.ex. målre-
	alisering, produktivitet, brukarnöjdhet). Den andra frågan handlar om vid vilket värde på den
	valda måttstocken något anses bra eller dåligt. Hur produktiv ska verksamheten vara för att
	den ska anses bra? Hur hög ska graden av målrealisering vara för att inte anses otillräcklig?
	För att en granskning ska anses vara systematisk och transparent måste den också ha ett
	gränsvärde för vad som ska anses vara tillräckligt högt för att anses ”bra”.
16

BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET

2017/18:URF2

4 Analys, slutsatser och rekommendationer

Enligt Riksrevisionens vetenskapliga råd kännetecknas en bra effektivitetsrevision av att det finns ett ”gott faktaunderlag” som är ”relevant för att besvara revisionsfrågorna” och att detta faktaunderlag har analyserats på ett ”korrekt sätt”. Därtill ska slutsatserna vara ”väl underbyggda och följa av de uppgifter som framkommit i granskningen”, och rekommendationerna ska ”följa logiskt av empiri och slutsatser”. (Se bilaga 2.)

En av de första iakttagelserna som gjordes i Uppsala universitets granskningar av effektivitetsrevisionen var mängden information och data. Det rika källmaterialet är en av de största förtjänsterna med Riksrevisionens rapporter. Riksrevisionens konstitutionella position innebär att den har god access till data. Samtidigt talar data sällan för sig själv (och när de gör det är det sällan om något intressant). Som redan berörts måste data och material analyseras för att bli till svar på revisionsfrågor, och analyseras utifrån en tydlig design och struktur för att bli till transparenta analyser och trovärdiga svar. Också här har Uppsalaforskarna framfört invändningar.

Inte minst Riksrevisionens insamling och analys av intervju- och enkätdata har varit föremål för diskussion i forskargruppen. En återkommande iakttagelse har t.ex. varit att det ofta är oklart vilka tjänstemän på vilken typ av positioner inom en myndighet som har besvarat en enkät. Samma problematik gäller flera intervjuundersökningar. Vem informationen kommer från saknas i princip i samtliga rapporter som forskargruppen har bedömt. För källkritik men också tolkning av materialet är denna information avgörande. Det säger sig självt att personer på olika positioner kan ha olika bilder av myndighetens verksamhet, men också olika intressen i hur verksamheten framställs. Rapporternas trovärdighet, menar forskargruppen, vinner på att denna typ av frågor lyfts fram och problematiseras. Så är idag sällan fallet.

På ett liknande vis har forskargruppen konstaterat att det är ovanligt att Riksrevisionen tar upp motsägelsefull information i ett material, eller att kopplingar mellan olika uppgifter från samma uppgiftslämnare synliggörs. Inte minst i ljuset av hur viktiga intervjuer och enkäter är för Riksrevisionens slutsatser är detta anmärkningsvärt. Uppsalaforskarnas slutsats är tudelad: Å ena sidan har man lyft fram källkritiska problem med de iakttagna intervju- och enkätmetoderna; å andra sidan ser man underutnyttjade möjligheter att stärka analys och slutsatser och att problematisera redan befintliga bilder av de studerade verksamheterna.

4.1 Utsagor om aktörers föreställningar om orsaker

Det finns här skäl att särskilt lyfta fram en observation som forskargruppen återkommit till flera gånger: utsagor om orsaker och utsagor om aktörers föreställningar om orsaker. En del rapporter från Riksrevisionen har karaktären

2017/18:URF2	BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
	av ”ihopsamlade bilder av verksamheten”. Det kan handla om aktörers bilder
	av både processer, handlingar och effekter. Forskargruppen har här inte fram-
	fört någon kritik mot metoden som sådan. Ibland är detta kanske det bästa man
	kan göra. I linje med kritiken överlag handlar det grundläggande problemet
	istället om hur metoden och analysen presenteras. Finns det någon mer utveck-
	lad tanke bakom denna analytiska praktik, och hur ser den i så fall ut? Upp-
	salaforskarna har föreslagit att man kan tänka sig denna typ av granskningar i
	åtminstone två varianter: I den enkla varianten samlar Riksrevisionen ihop
	olika bilder och redogör för dem utan att själva göra någon egentlig analys.
	Det viktiga är då att så väl som möjligt återge respektive aktörs bild av eller
	berättelse om den granskade verksamheten. I den andra varianten prövas de
	olika bilderna i syfte att Riksrevisionen självständigt ska kunna ta ställning.
	Problemet är, menar forskarna, att Riksrevisionens praktik tycks hamna nå-
	gonstans mittemellan dessa logiker och att det följaktligen blir svårt att följa
	analysen och se grunderna för slutsatserna.

4.2 Integrerade rekommendationer och reflektion om styrkor och svagheter

Som en konsekvens av prioriteringen av bred datainsamling framför en tydlig granskningsdesign följer enligt forskargruppen inte sällan brist på precision och skärpa i slutsatserna. Slutsatserna blir ofta bekräftande och får karaktären av intuitivt sunt förnuft. De är sällan överraskande eller kontroversiella utan bekräftar snarare utgångspunkterna för granskningen, eller ett mer generellt förvaltningspolitiskt mantra (t.ex. att regeringens styrning bör tydliggöras). På så vis kan Riksrevisionens slutsatser också vara trovärdiga – eller åtminstone inte otrovärdiga – samtidigt som metodologisk design och analys har brister.

För att skärpa analysen och slutsatserna har Uppsalaforskarna diskuterat och föreslagit att Riksrevisionen tydligare integrerar sina rekommendationer i analysen och tydligare visar hur dessa svarar på de problem som identifierats i de granskade verksamheterna. Rekommendationerna, har man hävdat, skulle på så vis bli ett slags ”kontrafaktiskt check” av analysen: Är det verkligen så att den föreslagna åtgärden korresponderar med den analys som gjorts? Och varför har den i så fall inte vidtagits? Genom att på detta sätt avkräva tydligare argumentation om relationen mellan rekommendation och slutsats bör också analysen kunna fördjupas och en fördjupad förståelse av granskningsobjekten och deras sammanhang fås. Den primära poängen är med andra ord inte att formulera mer precisa rekommendationer utan att utveckla analysen och förfina slutsatserna.

Slutligen har Uppsalaforskarna efterlyst en större reflektion kring vilka brister respektive styrkor som finns i de genomförda analyserna. Man menar att denna typ av diskussion i princip lyser helt med sin frånvaro. Alla granskningar eller analyser är emellertid inte lyckade. Det är inte heller konstigt, och

– som närmare kommer att beröras nedan – ibland ligger orsakerna till detta utanför Riksrevisionens direkta kontroll. Det är då bättre att vara tydlig med

BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET

problem och förtjänster. Det skapar trovärdighet, och det möjliggör också mer nyanserade slutsatser och rekommendationer.

2017/18:URF2

2017/18:URF2 BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET

5 Om problemens orsaker och effektivitetsrevisionens dilemma(n)

Det är på många sätt en imponerande gärning att, såsom Riksrevisionen, år efter år frivilligt utsätta sig för en extern och i viss mån oförstående kritik. I forskargruppens ”utifrånperspektiv” ligger både en styrka och en begränsning. Vi har i hög utsträckning granskat Riksrevisionen utifrån forskarsamhällets krav och normer. På flera sätt är detta orättvist. Medan forskaren har frihet att själv avgränsa och anpassa inriktningen på sina studier utifrån tillgängligt material, befintlig teoribildning etc. är Riksrevisionens uppdrag mindre fritt. När den universitetsverksamma forskaren kan och bör formulera sina frågor utifrån ambitionen att skapa bästa möjliga kvalitet måste Riksrevisionen välja frågor utifrån deras relevans för politiskt ansvarutkrävande eller främjande av granskade verksamheters utveckling (se ”Användbarhet” i Riksrevisionens vetenskapliga råds kriterier i bilaga 2).

Detta skapar särskilda betingelser för metodutveckling och metodval inom ramen för en effektivitetsrevision. När det t.ex. för forskaren ofta är intressant att utveckla och tillämpa metoder för att kunna dra generella lärdomar är det – som Uppsalaforskarna förstått det – för Riksrevisionen det enskilda specifika fallet som står i centrum. Det intressanta är inte om styrmedel av typ x eller policyer av typ y generellt sett är effektiva. Det Riksrevisionen bör ge riksdagen kunskap om är om de politiska insatserna och systemen i det enskilda fallet har fungerat effektivt. Här skulle man kunna hävda att Riksrevisionens fokus på det enskilda ligger närmare historikerns än samhällsvetarens.

Med den reservationen och den bakgrunden avslutas denna promemoria med några tankar och idéer om varför effektivitetsrevisionen – trots interna ambitioner och yttre tryck – år efter år tycks brottas med samma grundläggande problem. Frågan handlar om otydlighetens orsaker.

5.1 Otydlighetens orsaker

Som framgått ovan har Uppsala universitets forskargrupp pekat ut bristande tydlighet som ett grundproblem för effektivitetsrevisionen. Tydlighet och transparens är en förutsättning för ett grundläggande kvalitetskrav: intersubjektivitet. En undersökning måste genomföras så att den kan utsättas för andras kritiska granskning, och dess slutsatser måste hålla för andras granskning. Det måste därför finnas en granskarröst närvarande som klargör granskningens premisser och utgångspunkter. Uppsalaforskarna har ibland uppfattat att det finns en ängslighet inför detta i Riksrevisionens rapporter, möjligen driven av en tveksam tolkning av innebörden av objektivitet. Att klargöra antaganden och bakomliggande idéer är emellertid inte uttryck för subjektivitet utan en förutsättning för intersubjektivitet.

BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET

Ovan har vi pekat på otydlighet i syfteformuleringar, val och tillämpning av bedömningskriterier, granskningarnas design, analysens belägg och rekommendationernas förankring i analysen. På flera punkter har vi kunnat rekonstruera en potentiell undersökningslogik som förklarar granskningspraktiken, men detta är då produkten av ett ganska omfattande och kanske också väl generöst tolkningsarbete. Varför är det så svårt att få till den tydlighet som krävs för en bra rapport? Nedan diskuteras tre idéer:

•Problemen är en följd av Riksrevisionens uppdrag i fråga om effektivitetsrevision.

•Problemen är en följd av Riksrevisionens organisation.

•Problemen är en följd av bristande kompetens hos effektivitetsrevisionens medarbetare.

5.2 Försvårar Riksrevisionens uppdrag en god effektivitetsrevision?

Ligger grunden till effektivitetsrevisionens problem i själva uppdraget? Närmare bestämt kan frågan ges två inriktningar. Den ena handlar om uppdragets ambition: Är det verkligen rimligt att kräva bredd och djup i effektivitetsrevisionen samtidigt? När forskningsseminariets eviga uppmuntran är att respondenten bör spetsa till sin frågeställning är riksdagens uppmaning till Riksrevisionen att göra det motsatta. Snarare än att granska enskilda styrmedel eller avgränsade projekt är det breda grepp på den förda politiken som uppmuntras. Och snarare än att fokusera på verksamheten, organisationen och procedurerna efterlyses ett fokus på långsiktiga effekter av statlig verksamhet. Man kan fråga sig om detta inte är att ge Riksrevisionen ett omöjligt uppdrag. Kort sagt: Finns det inte i Riksrevisionens uppdrag en förväntan på vad en effektivitetsrevision ska kunna åstadkomma som överstiger vad som är rimligt?

Den andra frågan handlar om uppdragets mångtydighet snarare än ambitionen som sådan. Mångtydigheten märks redan i lagstiftningen. Här betonas samtidigt det ansvarsutkrävande (kontrollerande) uppdraget och det verksamhetsutvecklande (främjande), samtidigt som inriktningen formuleras i termer av hushållning, resursutnyttjande, målrealisering och/eller samhällsnytta. Distinktionerna är inte alldeles uppenbara10, och riksdagens mening har uppenbarligen varit att uppdraget ska formuleras brett för att ge Riksrevisionen möjlighet att själv utveckla och tillämpa varianter av effektivitetsrevision. Risken med en sådan strategi är att mångtydigheten inte reds ut utan lever vidare i mer operativa delar av effektivitetsrevisionen.

I en enkät till samtliga anställda som varit projektledare eller projektmedarbetare inom effektivitetsrevisionen ställde Uppsalaforskarna 2011 ett antal

10 I synnerhet relationen mellan målrealisering och samhällsnytta tycks genuint oklar. I vissa sammanhang betraktas det som samma sak; i andra sammanhang är det senare något vidare. Klart är att båda frågorna rimligen kan ställas om ett ”utfall ute i samhället”: Effekterna på arbetsmarknaden kan rimligen vara samhällsnyttiga i något avseende men inte ligga i linje med uppsatta mål.

2017/18:URF2

BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET

frågor om välkända och omdebatterade aspekter av effektivitetsrevision, såsom regelefterlevnad, målrealisering, effektanalys etc.11 En slutsats var att många olika inriktningar av effektivitetsrevision tycktes vara mycket relevanta inom organisationen. Också på individnivå finns en mycket bred och mångfacetterad uppfattning om vad som ligger i effektivitetsrevisionens väsen. På många sätt kan denna breda förståelse av vad effektivitetsrevision är, och kan vara, vara en tillgång. Det ställer däremot höga krav på intern samordning och organisering för att verksamheten inte ska bli otydlig och ofokuserad.

Mot bakgrund av ovanstående resonemang kan följande frågor resas:

•Kan och bör innebörden av effektivitetsrevision tydliggöras ytterligare? Är det i så fall en fråga för riksdagen, eller är det Riksrevisionen som bör göra det?

•Bör ett sådant tydliggörande ligga till grund för en intern organisering utifrån typ av inriktning på effektivitetsrevision snarare än som idag sakpolitiskt område?

5.3 Försvårar Riksrevisionens organisation en god effektivitetsrevision?

Ligger grunden till effektivitetsrevisionens problem i Riksrevisionens (dåvarande) organisation? När forskargruppen vid Uppsala universitet för några år sedan försökte följa granskningsprocessen ”från ax till limpa” genom att ta del av Riksrevisionens förstudier, granskningsbeslut och slutrapporter samt genom att göra intervjuer och genomföra en enkätundersökning om ”produktionsprocesserna” med samtliga projektmedarbetare inom effektivitetsrevisionen uppmärksammades särskilt organisatoriska problem kring effektivitetsrevisionen. I forskargruppens intervjuer och enkät hittades faktorer som rimligen kan hjälpa oss att förstå den ängslighet och försiktighet som går ut över rapporternas tydlighet och som motverkar tydliga avgränsningar och därmed försvårar möjligheterna att designa granskningarna väl. Vi gjorde en jämförelse med vår egen yrkesvardag.

Universitet som kunskapsproducerande miljö kännetecknas inte bara av teoretiskt och metodologiskt kompetenta individer. I nog så hög utsträckning är det den akademiska kulturen med dess betoning av kollegial kritik som definierar ett universitet och denna typ av ”kunskapsproduktion”. En nyckel i detta sammanhang är samtalet där kolleger förklarar, försvarar och rannsakar sina metoder, analyser och slutsatser inför varandra i en organisatorisk kultur där det anses vara ett bra hantverk när osäkerheter och brister lyfts upp till diskussion och reflektion.

11 Populationen uppgick ursprungligen till 75 personer, och av dessa ströks åtta personer (sex var föräldralediga och två tjänstlediga). Av de återstående 67 uppgav 1 ”hög arbetsbelastning” och 11 avstod från att svara. Svarsfrekvensen uppgår sålunda till 82 procent. Enkäten öppnades (”skickades ut”) den 30 mars och den tredje och sista påminnelsen skickades den 18 april.

BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET

Forskargruppens intryck var att de kollegiala samtalen inom projektgrupper och mellan utredare inte sällan stördes av yttre händelser och ryckighet i organisationen. Snarare än professionell och kollegial dialog framskymtade förhandlingsspel och påtryckningar i granskningsprocesserna. Inte minst i inledande skeden och i slutet av granskningsprocesserna framstår det som att riksrevisorerna och andra centrala delar av organisationen är aktiva i formuleringen av slutsatser och rekommendationer. Det är ingalunda självklart att detta gynnar den metodologiska självtillit som förefaller nödvändig för att få större tydlighet och djärvhet i frågeformuleringar, avgränsningar, design och slutsatser.

Man denna bakgrund kan följande fråga resas:

•Bör man skilja på ansvar för analys och beslut om slutsatser och rekommendationer i syfte att åstadkomma ett tydligare ”ägarskap” för analyserna och därmed förhoppningsvis ökad analytisk skärpa i rapporterna?

5.4 Försvårar kompetensbrist inom Riksrevisionen en god effektivitetsrevision?

Ligger förklaringarna till otydlighet i fråga om syfte, design, analys och slutsatser i bristande kompetens hos Riksrevisionens medarbetare? Vår studie 2012 visade att medarbetarna själva hade höga tankar om sina medarbetares kompetens. Samtidigt visade samma studie att frågor om design och analys uppfattades som granskningsprocessens kritiska moment – moment där just metodologisk kompetens och självtillit spelar stor roll. Mot denna bakgrund har också Uppsalaforskarna vid ett flertal tillfällen betonat vikten av kompetensutveckling för att komma till rätta med effektivitetsrevisionens brister. Med hänvisning till att vi tyckt oss se möjligheter till mer utvecklade analyser än vad som faktiskt tillämpats har vi dragit slutsatsen att investeringar i metodkompetens bör kunna förbättra kvaliteten på rapporterna. I sammanhanget har det särskilt betonats att detta gäller både kvantitativ och kvalitativ metod. Lite förenklat uttryckt kan man hävda att vi tyckt oss se möjligheter till mer kvantitativa analyser och sett många brister i hantverket när det gäller kvalitativ metod. Mot denna bakgrund har Uppsalaforskarna därför gjort gällande att behovet av utvecklad metodkompetens gäller kvalitativa metoder (för t.ex. processpårning och mekanismanalys) minst lika mycket som kvantitativa metoder och grundläggande statistik.

Mot denna bakgrund kan följande fråga resas:

•Bör Riksrevisionen mer regelbundet samarbeta med forskare som är specialister på den typen av metoder och metodproblem man har att göra med i en specifik effektivitetsrevision? Vad får det i så fall för konsekvenser för Riksrevisionens strategier för att säkerställa oberoende?

2017/18:URF2

2017/18:URF2	BILAGA 1	OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
	Referenser
	Ahlbäck Öberg, S. & Bringselius, L. (2015) ”Professionalism and organiza-
	tional performance in the wake of new managerialism”, European Political
	Science Review, 7(4), 499–523.
	Grönlund, A., Svärdsten, F. & Öhman, P. (2011) ”Value for money and the
	rule of law: the (new) performance audit in Sweden”, International Journal of
	Public Sector Management, 24.2: 107–121.
	Kells, Stuart (2011) ”The seven deadly sins of performance auditing: Implica-
	tions for monitoring public audit institutions”, Australian Accounting Review
	21.4: 383–396.
	Kells, S. & Hodge, G. (2009) ”Performance auditing in the public sector: re-
	conceptualising the task”, Journal of Contemporary Issues in Business and
	Government ,15.2:33-60.
	Tillema, Sandra & Henk J. ter Bogt (2010) ”Performance auditing: Improving
	the quality of political and democratic processes?”, Critical Perspectives on
	Accounting 21.8: 754–769.
	Pollitt, C. (2003) ”Performance audit in Western Europe: trends and choices”,
	Critical perspectives on accounting 14:1–2:157–170.
	Pollitt, C. & Summa, H. (1996) ”Performance audit and evaluation: Similar
	tools, different relationships?”, New Directions for Evaluation, 71:29–50.
	Sveriges riksdag (2009) Uppföljning av riksrevisionsreformen II: Effektivitets-
	revisionen, den årliga revisionen och den internationella verksamheten. Slut-
	betänkande från Riksrevisionsutredningen (2008/09:URF3), Stockholm, Riks-
	dagstryckeriet.
	SFS 2002:1022.
	Vedung,	E. (2009) Utvärdering i politik och förvaltning. Lund,

Studentlitteratur.

BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET

2017/18:URF2

Bilaga 1 Granskade effektivitetsrevisioner

2009

•Omställningskraven i sjukförsäkringen – att pröva sjukas förmåga i annat arbete (RiR 2009:1)

•Försäkringskassans inköp av IT-lösningar (RiR 2009:2)

•Skatteuppskov. Regeringens redovisning av bostadsuppskov och pensionsavdrag (RiR 2009:3)

•Swedfund International AB och samhällsuppdraget (RiR 2009:4)

•En effektiv och transparent plan- och byggprocess? Exemplet buller (RiR 2009:5)

•Energideklarationer – få råd för pengarna (RiR 2009:6)

•Beslut om sjukpenning – Har Försäkringskassan tillräckliga underlag? (RiR 2009:7)

•Regeringens försäljning av V&S Vin & Sprit AB (RiR 2009:9)

•Psykiatrin och effektiviteten i det statliga stödet (RiR 2009:10)

•Försvarsmaktens personalförsörjning – med fokus på officersförsörjningen (RiR 2009:11)

•Hanteringen av unga lagöverträdare – en utdragen process (RiR 2009:12)

•Omställningskraven i arbetslöshetsförsäkringen (RiR 2009:13)

•Tillämpningen av det finanspolitiska ramverket (RiR 2009:14)

•Sidas stöd till utveckling av kapacitet i mottagarländernas statsförvaltning (RiR 2009:15)

•Underhåll av belagda vägar (RiR 2009:16)

•Regeringens redovisning i budgetpropositionen för 2001 (RiR 2009:17)

2010

•Styrning inom arbetsmarknadspolitiken – mål, styrkort och modeller för resursfördelning (RiR 2010:1)

•Från många till en – sammanslagningar av myndigheter (RiR 2010:3)

•Klassificering av kurser vid universitet och högskolor – regeringens styrning och Högskoleverkets uppföljning (RiR 2010:4)

•Arbetsförmedlingens arbete med arbetsgivarkontakter (RiR 2010:6)

•En förändrad sjukskrivningsprocess (RiR 2010:9)

•Hanteringen av mängdbrott – en kärnuppgift för polis och åklagare (RiR 2010:10)

•Underhåll av järnväg (RiR 2010:16)

•Statliga stöd i alkoholpolitiken – Påverkas ungas alkoholkonsumtion? (RiR 2010:21)

•Polisens brottsförebyggande arbete – har ambitionerna uppnåtts? (RiR 2010:23)

2017/18:URF2	BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET
	• Informationsutbyte mellan myndigheter med ansvar för trygghetssystem –
	Har möjligheter till effektivisering utnyttjats? (RiR 2010:28)

2011

•Oförbrukade forskningsbidrag vid universitet och högskolor (RiR 2011:3)

•Statliga IT-projekt som överskrider budget (RiR 2011:5)

•Klimatinsatser utomlands – statens köp av utsläppsrätter (RiR 2011:8)

•Svenska bidrag till internationella insatser (RiR 2011:14)

•Samordning av stöd till funktionshindrade barn och ungdomar – Ett (o)lösligt problem? (RiR 2011:17)

•Botniabanan – hur har det blivit och vad har det kostat? (RiR 2011:22)

2014

•Statens insatser för riskkapitalförsörjning – i senaste laget (RiR 2014:1)

•Bostäder för äldre i avfolkningsorter (RiR 2014:2)

•Staten och det civila samhället i integrationsarbetet (RiR 2014:3)

•Ekonomiska förutsättningar för en fortsatt omställning av försvaret (RiR 2014:7)

•Stödet till anhöriga omsorgsgivare (RiR 2014:9)

•Att tillvarata och utveckla nyanländas kompetens – rätt insats i rätt tid? (RiR 2014:11)

•Att gå i pension – varför så krångligt? (RiR 2014:13)

•Swedfund International AB – Är finansieringen av bolaget effektiv för staten? (RiR 2014:16)

•Statens dimensionering av lärarutbildningen – utbildas rätt antal lärare? (RiR 2014:18)

•Valuta för biståndspengarna? – Valutahantering i det internationella utvecklingssamarbetet (RiR 2014:19)

2015

•Patientsäkerhet – har staten gett tillräckliga förutsättningar för en hög patientsäkerhet? (RiR 2015:12)

•Regeringens styrning av SOS Alarm – viktigt för människors trygghet (RiR 2015:11)

•Aktivitetsersättning – en ersättning utan aktivitet? (RiR 2015:7)

•Digitalradio – varför och för vem? (RiR 2015:5)

•Återfall i brott – hur kan samhällets samlade resurser användas bättre? (RiR 2015:4)

•Utbildningsstödet till varslade vid Volvo Cars – omskolad till arbete? (RiR 2015:1)

•Kontrollen av försvarsunderrättelseverksamheten (RiR 2015:2)

BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET

Bilaga 2 Bedömningskriterier för Vetenskapliga rådets synpunkter på effektivitetsrevisionens rapporter

Problembeskrivning

Granskningen bör ta sin utgångspunkt i ett förmodat problem. Finns det en beskrivning av detta problem?

Granskningens syfte

Granskningens syfte bör på en övergripande nivå beskriva granskningens inriktning och avgränsningar. Är så fallet? Uppfyller granskningen syftet?

Revisionsfrågorna

Revisionsfrågorna bör vara formulerade så att kopplingen till problembeskrivningen och bedömningsgrunderna framgår. Är så fallet? De bör också kunna härledas till syftet och täcka detta. Revisionsfrågorna ska alltså inte gå utöver syftet, men inte heller vara för snäva i förhållande till detta. Är så fallet? Re- visionsfrågorna ska kunna besvaras med hög grad av tillförlitlighet. Är de formulerade på ett sådant sätt?

Revisionsnormen

Den verksamhet som granskas måste kunna bedömas i förhållande till berättigade krav på verksamheten. Dessa krav måste följa antingen av direkta beslut av riksdagen (eller regeringen när det gäller bedömningar av myndigheter under regeringen) eller genom att härledas från riksdagens direkta eller indirekta ställningstaganden eller genom att de följer av normer som det kan förutsättas att riksdagen utgår från ska prägla den granskade frågeställningen. Är bedömningsgrunderna väl beskrivna?

Metoder för faktainsamling

Finns metoder för faktainsamling beskrivna på ett begripligt sätt? Är de lämpliga i förhållande till revisionsfrågorna? Har fakta samlats in på ett godtagbart sätt – t.ex. från flera oberoende källor? Kunde alternativa metoder ha förbättrat rapporten?

2017/18:URF2

BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET

Fakta/empiri

Finns det ett gott faktaunderlag till hjälp för att besvara revisionsfrågorna? Är fakta relevanta för granskningen? Kunde annan information ha samlats in i stället eller kompletterat den nu insamlade?

Metoder för analys

Har faktaunderlaget analyserats på ett korrekt sätt för att göra det möjligt att besvara revisionsfrågorna? Är analysmetoderna lämpliga? Finns alternativa analysmetoder som kunde ha förbättrat rapporten?

Slutsatserna

Revisionsfrågorna ska kunna besvaras med hög grad av tillförlitlighet och precision. Slutsatserna ska vara väl underbyggda och följa av de uppgifter som framkommit i granskningen. Går det att skilja slutsatserna från fakta/empiri? Följer slutsatserna logiskt av fakta/empiri? Kunde andra slutsatser ha dragits utifrån de presenterade iakttagelserna?

Fördelning av kritik

Den kritik som revisionen framför i granskningsrapporterna måste vara tydlig med avseende på vem den riktar sig till. Ofta förekommer målkonflikter, dels inom sektorer, dels mellan sektorer. I sådana fall är det särskilt viktigt att revisionen är precis i frågan om var ansvar för brister/avvikelser ligger. Är rapporten tydlig i detta avseende?

Rekommendationerna

Rekommendationerna ska vara på en övergripande nivå och inte för detaljerade. De ska dock vara klara och det ska vara tydligt till vilka de riktar sig. Uppfyller rekommendationerna dessa krav? Följer rekommendationerna logiskt av empiri och slutsatser? Kunde andra rekommendationer ha lämnats på grundval av granskningens empiri och slutsatser?

Läsbarheten

En rapport ska kunna begripas även av en person som inte tidigare varit insatt i ämnet. Finns en ”röd tråd” genom rapporten? Hur är rapportens omfång totalt sett? Är det en bra balans mellan avsnitten om bakgrund, iakttagelser, slutsatser och rekommendationer?

Användbarhet

En rapport ska kunna få genomslag hos såväl myndigheter som regeringen och i riksdagen (via styrelsen). Av stor betydelse är ämnets relevans och tajmingen

BILAGA 1 OM EFFEKTIVITETSREVISIONENS INRIKTNING OCH KVALITET

i granskningen. Det finns dock en rad andra omständigheter som har betydelse för en rapports genomslag. Det kan t.ex. handla om att rapporten verkligen avser det den säger sig avse, att den presenterar ny kunskap, att den identifierar möjligheter till förbättringar och att den ger erfarenheter som kan användas inom andra områden än det granskade.

Språk och layout

En granskningsrapport vänder sig till flera olika mottagare. Det är viktigt att den språkliga utformningen är anpassad till dessa. Varje mottagargrupp har rätt att vänta sig att en rapport i olika avseenden är utformad för att tillgodose olika mottagares behov. Beslutsfattare på riksdags- och regeringsnivå bör få en sammanfattning som tillgodoser deras behov av information om vad rapporten handlar om och vilka slutsatser Riksrevisionen drar. Mer specifik information till mottagare på myndighetsnivå bör utformas på ett för dem lämpligt sätt liksom information till experter av olika slag. Är språket i rapporten ägnat att tillfredsställa de krav som olika mottagargrupper har rätt att ställa?

2017/18:URF2

2017/18:UFR2

BILAGA 2

Av Lars-Göran Gustafsson

Riksrevisionens uppföljningsrapporter


2017/18:UFR2	BILAGA 2			RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
	Innehållsförteckning
	1	Inledning...................................................................................................			35
		1.1	Uppdraget och rapportens disposition .................................................		35
		1.2	Intosai om uppföljning ........................................................................		35
	2	Bakgrund till uppföljningsarbetet .............................................................			36
		2.1	Uppföljning i reformen 2003...............................................................		36
		2.2	Riksdagen om uppföljning 2005–2006................................................		36
	3	Utvecklingen av uppföljningsarbetet ........................................................			37
		3.1	Trevande försök 2007 och 2008..........................................................		37
		3.2	Administrativ information 2007–2012 ................................................		37
		3.3	Uppföljningen finner sin form.............................................................		38
		3.4	Utveckling mot utökad djup uppföljning.............................................		38
	4	Genomförandet av uppföljningsarbetet.....................................................			39
		4.1	Organisering av uppföljningen............................................................		39
		4.2	Sekretariatets arbete med urval, anvisningar med mera ......................		39
		4.2.1		Urval för djup uppföljning .............................................................	39
		4.2.2		Urval för basuppföljning................................................................	40
		4.3	Uppföljarnas arbete och villkor...........................................................		40
		4.4	Rättsenheten ........................................................................................		41
		4.5	Beslutsordning.....................................................................................		41
		4.6	Resursåtgång .......................................................................................		41
	5	Riksdagens synpunkter på uppföljningsrapporten ....................................			43
		5.1	Finansutskottets synpunkter på de publicerade
		uppföljningsrapporterna .............................................................................			43
		5.2	Riksrevisionens samverkan med finansutskottet.................................		44
		5.3	Riksrevisionsutredningen om uppföljning...........................................		44
	6	Resultatet av Riksrevisionens granskningsrapporter som det
	framkommer i uppföljningsrapporterna........................................................				45
		6.1	Metod för den här presenterade undersökningen (antal
		rapporter, urval med mera).........................................................................			46
		6.2	Genomgång av uppföljning av 122 granskningsrapporter...................		47
		6.3	Genomgång av uppföljningen av ett urval om 38
		granskningsrapporter..................................................................................			49
		6.4	Sammanfattning av genomgång av 38 uppföljningar..........................		50
		6.5 Kort om behandlingen av regeringens skrivelser..................................			50
		6.6	Lång tid innan den fullständiga bilden föreligger................................		51
	7	Styrkor och svagheter i uppföljningsarbetet utifrån ambitionen att
	redovisa och mäta resultatet av granskningsrapporterna...............................				52
		7.1	Bredare användning av uppföljningsrapporterna.................................		52
		7.1.1		Internt inom Riksrevisionen...........................................................	52
		7.1.2		Utskottens användning av uppföljningsresultaten..........................	53
		7.1.3		Övrig användning av uppföljningsrapporterna...............................	53
		7.2	Kvalitativt kontra kvantitativt, olika mått på genomslag.....................		54
		7.3	Mål för genomslag?.............................................................................		55
		7.4	Resursåtgång för uppföljningen...........................................................		55
		7.5	Organisering av uppföljningsarbetet....................................................		56
		7.6	Uppföljningen av den årliga revisionen...............................................		56

	BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
7.7	Reglering av uppföljningsrapporten, ökad formalitet i
uppföljningsarbetet.....................................................................................		56
7.8	När bör uppföljning ske?.....................................................................	57

2017/18:UFR2

BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER

2017/18:UFR2

1 Inledning

1.1 Uppdraget och rapportens disposition

Denna promemoria utgör ett av underlagen till den översyn som riksdagen genomför av Riksrevisionen. Promemorian är i allt väsentligt disponerad i enlighet med de frågeställningar som beskrivs i uppdragsavtalet 2017-04-16 mellan Riksdagsförvaltningen och undertecknad. Syftet med promemorian är att beskriva tillkomsten, utvecklingen och nuvarande läge när det gäller arbetet med Riksrevisionens uppföljningsrapport. Syftet är också att ge en översiktlig bild av resultatet av Riksrevisionens granskningsverksamhet som det framgår av uppföljningsrapporterna. För detta ändamål har information från dessa sammanställts för att ge en samlad bild av genomslaget för Riksrevisionens granskningsrapporter.

Uppföljningsrapporten innehåller redovisning av såväl effektivitetsrevisionens som den årliga revisionens resultat. Promemorian avgränsas i enlighet med uppdraget till att omfatta endast effektivitetsrevisionen.

Den beskrivning som i promemorian ges av uppföljningsarbetet utgår i första hand från de erfarenheter författaren har samlat under mer än tio års arbete med uppföljningen 2006–2016. Uppgifter om senare omständigheter av betydelse för uppföljningen har inhämtats från Riksrevisionen. I allt väsentligt bedrivs uppföljningsarbetet utifrån samma uppföljningsmodell som tidigare

1.2 Intosai om uppföljning

Uppföljning av effektivitetsrevisionens resultat utgör enligt Intosai (International Organisation of Supreme Audit Institutions) en integrerad del av revisionsprocessen. Uppföljning av revisionens iakttagelser och rekommendationer fyller enligt Intosai fyra huvudsakliga syften:

•Identifierar i vilken grad reviderade organisationer har genomfört åtgärder med anledning av iakttagelser och rekommendationer.

•Bedömer i vilken grad åtgärderna kan tillskrivas granskningarna.

•Identifierar områden som kan vara aktuella för framtida revisionsinsatser.

•Utgör underlag för att bedöma nyttan med revisionsmyndigheten och för internt förbättringsarbete inom revisionsmyndigheten.

Den uppföljningsmodell som tagits fram och som tillämpas inom Riksrevisionens effektivitetsrevision ansluter väl till Intosais standarder och riktlinjer

2017/18:UFR2	BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
	2 Bakgrund till uppföljningsarbetet
	2.1 Uppföljning i reformen 2003
	Frågan om uppföljning av Riksrevisionens granskning var aktuell redan då
	myndigheten bildades. Av konstitutionsutskottets betänkande 2000/01:KU8
	med riktlinjer för fortsatt utredning om en ny revisionsmyndighet under riks-
	dagen framgick att riksdagen ansåg det viktigt att den nya revisionsmyndig-
	heten genomgående och regelbundet följde upp granskningsrapporternas ge-
	nomslag. Utredaren bedömde dock att det inte behövdes någon särskild före-
	skrift om detta i regleringen av Riksrevisionen.1 Motivet var att uppföljning är
	en naturlig handlingsregel som också följer av god revisionssed.
	2.2 Riksdagen om uppföljning 2005–2006
	Från starten 2003 förekom ingen uppföljning av genomslaget av effektivitets-
	revisionens granskningsrapporter. Riksdagen (FiU) återkom dock regelbundet
	till frågan i olika sammanhang. I betänkandena 2005/06:FiU2, 2005/06:FiU25
	och 2006/07:FiU2 efterfrågades tydligare redovisning av revisionens effekter
	än dem som Riksrevisionen redovisade i årsredovisningen. Även Riksrevi-
	sionens styrelse efterfrågade en sådan redovisning (bet. 2006/07:FiU2).

1 Regelutredningen, SOU 2001:97.

BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER

3 Utvecklingen av uppföljningsarbetet

3.1 Trevande försök 2007 och 2008

I oktober 2006 fick granskningschefen i uppdrag av riksrevisorerna att årligen sammanställa en uppföljningsrapport. I uppdraget ingick att hitta former för en kontinuerlig uppföljning av Riksrevisionens granskning bland annat mot bakgrund av finansutskottets önskemål om en mer utvecklad redovisning av vad Riksrevisionens granskningar leder till. Uppföljningsrapporten skulle publiceras vid en tidpunkt som möjliggjorde en behandling i riksdagen samtidigt med Riksrevisionens årsredovisning. Uppdraget delegerades till enheten för planering och kvalitet (PKE) som påbörjade ett arbete för att skapa en modell för uppföljning och rapportering av revisionens resultat.

Den första uppföljningsrapporten överlämnades till finansutskottet i mars 2007. Rapporten får ses som ett ”provskott” och var mer allmänt hållen än vad som senare blev fallet. Arbetet med att utveckla en uppföljningsmodell fortsatte och i september 2007 redovisade PKE ett förslag till modell för kontinuerlig uppföljning och rapportering. Denna modell antogs av riksrevisorerna och tillämpades från och med 2008 till och med 2013.

Ett centralt inslag i modellen var redovisningen av så kallad djup uppföljning respektive basuppföljning av granskningsrapporter. Den djupa uppföljningen avsåg granskningsrapporter som var cirka fyra år gamla och basuppföljningen rapporter som var ett år (bas 1) till två år (bas 2) gamla. Den djupa uppföljningen tilldelades väsentligt mer resurser per granskningsrapport än basuppföljningen (cirka en vecka respektive två dagar). Antalsmässigt övervägde basuppföljningen starkt 2008 med 63 rapporter jämfört med fem djupt uppföljda.

Riksdagen (finansutskottet) mottog de två första uppföljningsrapporterna tämligen väl och ansåg att steg hade tagits för att fokusera redovisningen mot effekterna i den granskade verksamheten.2

3.2 Administrativ information 2007–2012

Uppföljningsrapporterna 2007–2012 innehöll viss samlad, vad som kan kallas administrativ information. Informationen avsåg den formella behandlingen av granskningsrapporterna som utfördes av Riksrevisionens styrelse, riksdagen och regeringen. Från och med 2011 infördes ett nytt system för den formella behandlingen av effektivitetsrevisionens granskningsrapporter, och den administrativa informationen om det tidigare systemet slutredovisades i Uppföljningsrapport 2012. Därefter har sådan information (dvs. regeringens skrivelse och riksdagens behandling) presenterats i redovisningen av varje enskild granskningsrapport, och det har inte gjorts några sammanställningar.

2 Bet. 2006/07:FiU18, bet. 2007/08:FiU28.

2017/18:UFR2

BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER

3.3 Uppföljningen finner sin form

I Uppföljningsrapport 2009 utökades antalet djupt uppföljda granskningsrapporter till 10. Antalet behölls med små variationer till och med 2013. Finansutskottet tog emot 2009 års rapport mycket väl och ansåg den mycket värdefull. Uppföljningsrapport 2010 mottogs ännu mer välvilligt och utskottet ansåg att rapporten funnit sin form och att den väl svarade mot utskottets tidigare uttryckta önskemål.3

3.4 Utveckling mot utökad djup uppföljning

Från och med Uppföljningsrapport 2014 utökades den djupa uppföljningen till att omfatta 15 granskningsrapporter. Samtidigt avvecklades den så kallade basuppföljning 1, dvs. uppföljningen av relativt nyligen publicerade granskningsrapporter. Skälet till förändringen var framför allt finansutskottets uttalade intresse för den djupa uppföljningen. I Uppföljningsrapport 2017 utökades den djupa uppföljningen ytterligare och omfattade 20 granskningsrapporter.

3 Bet. 2008/09:FiU28, bet. 2009/10:FiU27.

BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER

4 Genomförandet av uppföljningsarbetet

4.1 Organisering av uppföljningen

Uppföljningsarbetet leddes från starten 2006 till och med 2015 av ett sekretariat inom enheten för planering och kvalitet. Enheten var placerad i granskningsorganisationen och fungerade som en stab för granskningschefen. Sekretariatet bestod mestadels av två medarbetare. Från och med 2016 ligger ansvaret för uppföljningsrapporten utanför granskningsorganisationen på stabsenheten för verksamhetsstöd (från oktober 2017 riksrevisorernas stab). Arbetet bedrivs dock som tidigare.

För det faktiska uppföljningsarbetet mobiliseras ett relativt stort antal effektivitetsrevisorer, i bästa fall de som genomfört de uppföljda granskningarna. Beroende på hur många granskningar som har följts upp olika år har mellan 30 och 50 revisorer varit engagerade i uppföljningsarbetet.

4.2 Sekretariatets arbete med urval, anvisningar med mera

Sekretariatets roll är att förbereda och underlätta det uppföljningsarbete som revisorerna genomför. Arbetet består i att ta fram ett urval av granskningsrapporter för uppföljning, anmoda enhetscheferna vid effektivitetsrevisionen att bemanna uppföljningsuppdragen, ta fram anvisningar för uppföljningen, distribuera underlagsmaterial till de utsedda uppföljarna, informera Regeringskansliet om den förestående uppföljningen och att producera uppföljningsrapporten. Vidare för sekretariatet en akt över uppföljningen. Sekretariatet ger också uppföljarna löpande stöd i uppföljningsarbetet genom att svara på frågor och ge råd med mera.

4.2.1 Urval för djup uppföljning

Urvalet av granskningsrapporter för djup uppföljning, alltså rapporter som publicerats fyra till fem år tidigare, har varierat antalsmässigt (se ovan). Ut- gångspunkten under senare år, med 15 djupt uppföljda granskningar, har varit att välja varannan publicerad granskningsrapport. Urvalsramen utgörs av årsproduktionen sedan föregående urvalsdragning. Principen bygger på förutsättningen att årsproduktionen av granskningsrapporter uppgår till cirka 30.4 En justering görs normalt för att säkerställa att så många riksdagsutskott som möjligt blir representerade i uppföljningen. Ytterligare justeringar kan därefter göras i syfte att undvika upprepningar (inte alltför många rapporter av samma

4 Enligt uppgift från Riksrevisionen behöver principen frångås i arbetet med Uppföljningsrapport 2018. Eftersom årsproduktionen var relativt låg 2013–2015 kommer ett antal granskningar från senare år att ingå i urvalsramen i syfte att erhålla ett urval av önskvärd storlek.

2017/18:UFR2

2017/18:UFR2	BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
	slag, till exempel sådana som återkommer med viss regelbundenhet). Ambit-
	ionen är dock att restriktivitet ska iakttas i samband med eventuella justeringar.
	Även om justeringar görs är Riksrevisionens bedömning att det urval av upp-
	följda granskningsrapporter som publiceras i uppföljningsrapporterna över tid
	ger en god bild av genomslaget av Riksrevisionens granskningsrapporter.
	Urvalet av granskningsrapporter fastställs av riksrevisorerna efter att
	granskningschefen och enhetschefer vid effektivitetsrevisionen fått lämna syn-
	punkter.

4.2.2 Urval för basuppföljning

Principen är att samtliga publicerade granskningsrapporter blir föremål för basuppföljning. Under de år när basuppföljningen genomfördes vid två tillfällen

– basuppföljning 1 och basuppföljning 2, blev alltså samtliga publicerade granskningsrapporter föremål för översiktlig uppföljning vid två tillfällen och ett urval blev föremål för ytterligare en (djup) uppföljning. Sedan 2014 genomförs basuppföljning endast en gång per granskningsrapport.

4.3 Uppföljarnas arbete och villkor

De utsedda uppföljarnas uppgift är att genomföra uppföljningen och redovisa resultatet för sekretariatet i en promemoria. Som stöd för arbetet förses uppföljarna med anvisningar som bl.a. anger metoder och källor för uppföljningsarbetet. När det gäller den djupa uppföljningen förses uppföljarna också med den eller de promemorior som utarbetades när den aktuella granskningen var föremål för basuppföljning.

De huvudsakliga källorna i uppföljningsarbetet är offentliga dokument. Ba- suppföljningen omfattar endast dokumentstudier. Vid djup uppföljning är kontakter med de granskade organisationerna en central del av arbetet. Uppföljningen ska introduceras för den aktuella myndighetens ledning, och önskemål om kontaktperson ska framställas. Vid kontakterna ska kompletterande information till den befintliga skriftliga efterfrågas. Vidare ska frågor ställas som kan belysa den aktuella granskningens betydelse för relevanta vidtagna åtgärder.

Under åren har kontakterna med de granskade organisationerna efter hand formaliserats. Utgångspunkten för Riksrevisionen har från början varit att störa så lite som möjligt och att vara tydlig med att den efterfrågade informationen ska användas för att för riksdagen belysa nyttan med Riksrevisionen och inte för att utkräva ansvar av de granskade. Den ökade formaliseringen har från de granskade organisationernas sida ofta tagit sig uttryck i önskemål om att få faktagranska de uppföljningspromemorior som uppföljarna producerar. Riksrevisionen tillgodoser önskemålen och har också löpande förbättrat introduktionen av uppföljningen.

BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER

Uppföljarna får normalt sina uppföljningsuppdrag med tillhörande underlagsmaterial under hösten (oktober månad). Deadline för inlämnande av uppföljningspromemoria är normalt i slutet av januari. Vid behov är dock sekretariatet frikostigt med att ge dispens från denna deadline för att uppföljarna lättare ska kunna planera in uppföljningen bland andra uppdrag. Hittills har inte begäran om dispenser haft större omfattning än att de har kunnat tillgodoses.

Den uppföljningspromemoria som uppföljarna levererar till uppföljningssekretariatet har en friare form än den text som sedermera publiceras i uppföljningsrapporten. Uppföljarna kan i promemorian redogöra fylligare för såväl regeringens skrivelse som för riksdagsbehandlingen av den. Vidare tas ofta upp att riksrevisor och Riksrevisionens projektgrupp bjudits in till olika typer av utfrågningar eller seminarier med anledning av granskningsrapporterna. Det kan handla om inbjudningar till berörda utskott, myndigheter, intresseorganisationer med mera där granskningen diskuterats. Genomslag i medierna tas ibland också upp i promemorian. Sammantaget innebär det att promemoriorna ger en bredare bild av genomslaget än det som framgår av uppföljningsrapporten. Promemoriorna sparas av uppföljningssekretariatet och efterfrågas inte sällan internt i processen med att ta fram nya granskningsidéer.

4.4 Rättsenheten

Rättsenheten ansvarar för att i förväg bedöma behovet av särskild hantering av uppföljningen av de utvalda granskningsrapporterna till följd av sekretess i uppföljningsarbetet. Vidare ansvarar enheten för att läsa igenom uppföljningspromemorior och slutlig text i uppföljningsrapporten om de uppföljda granskningar där bedömningen har varit att sekretess kan föreligga.

4.5 Beslutsordning

Uppföljningsrapporten beslutas av de tre riksrevisorerna gemensamt. Beslutsdatum är mestadels i slutet av mars, men några gånger har beslut fattats i början av april. En utgångspunkt är att uppföljningsrapporten ska publiceras så att finansutskottet kan behandla den samtidigt med Riksrevisionens årsredovisning. Uppföljningsrapporten ska ju ”formellt” (det finns ingen reglering av rapporten) ses som ett komplement till den resultatredovisning som ges i årsredovisningen.

4.6 Resursåtgång

En av utgångspunkterna för utvecklingen och genomförandet av uppföljningen har varit att den ska störa den ordinarie granskningsverksamheten så lite som möjligt. Denna hållning har naturligtvis utgjort en begränsning när det gäller metodval med mera för uppföljningsarbetet. Avskaffandet av basupp-

2017/18:UFR2

2017/18:UFR2	BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
	följning 1 och utvidgningen av den djupa uppföljningen har, förutom att tyd-
	ligare rikta fokus på det som är mest angeläget för riksdagen, också inneburit
	en något mer begränsad resursåtgång.
	En djup uppföljning budgeteras till 40 timmar och en basuppföljning till 16
	timmar. Vid en situation med djup uppföljning av 15 stycken granskningsrap-
	porter och basuppföljning av 25 stycken är resursåtgången cirka 1 700 timmar,
	eller ungefär en årsarbetskraft. Resursåtgången fördelar sig med cirka 700 tim-
	mar på sekretariatet (administration av uppföljning och skrivarbete) och med
	cirka 1 000 timmar på granskningsverksamheten (den faktiska uppföljningen
	och författande av uppföljningspromemoria). Resursåtgången belastade PKE:s
	budget till och med 2015 och därefter stabsenhetens budget.

BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER

2017/18:UFR2

5 Riksdagens synpunkter på uppföljningsrapporten

Uppföljning av effektivitetsrevisionens granskningsrapporter har behandlats i olika sammanhang alltsedan arbetet med att etablera en sammanhållen revisionsmyndighet under riksdagen påbörjades. De starkaste uttrycken för riksdagens intresse för Riksrevisionens uppföljning återfinns dock i finansutskottets betänkanden med anledning av behandlingen av Riksrevisionens årsredovisning, där också uppföljningsrapporten kommenterats.

5.1 Finansutskottets synpunkter på de publicerade uppföljningsrapporterna

Finansutskottet har alltsedan den första uppföljningsrapporten publicerades 2007 behandlat och kommenterat uppföljningsrapporterna i samband med Riksrevisionens årsredovisning.5

I allmänhet har innehållet refererats och en bedömning gjorts av huruvida uppföljningsrapporten tillgodosett finansutskottets krav på den. Vid två tillfällen har dock ingen sådan bedömning gjorts (uppföljningsrapporterna 2011 och 2013).

När det gäller de två första rapporterna (2007 och 2008) uttryckte utskottet sin tillfredsställelse över dessa men ansåg att redovisningen av effekter i de granskade verksamheterna kunde utvecklas ytterligare. I kommentarerna till uppföljningsrapport 2008 uttryckte utskottet sitt gillande över den djupa uppföljningen av fem granskningsrapporter. Detta gillande skulle sedan bli mer eller mindre årligt återkommande.

I kommentarerna till Uppföljningsrapport 2009 ansåg utskottet att den var ”mycket värdefull”. Året efter ansåg utskottet att uppföljningsrapporten funnit sina former och att den svarade väl mot tidigare uttryckta önskemål. Utskottet såg också med tillfredsställelse på att Riksrevisionen funnit sin roll i uppföljningssituationen och att granskningsobjekten var medvetna om att Riksrevisionen kommer att återkomma för att följa upp sina granskningar.6

Utskottet var också i sina kommentarer positivt till Riksrevisionens strävan att följa upp vad som hänt efter granskningen oberoende av vilka rekommendationer som Riksrevisionen lämnat.

5 Se betänkandena 2006/07:FiU18, 2007/08:FiU28, 2008/09:FiU28, 2009/10:FiU27, 2010/11:FiU35, 2011/12:FiU31, 2012/13:FiU35, 2013/14:FiU35, 2014/15:FiU15, 2015/16:FiU27, 2016/17:FiU27.

6 Möjligen kan, lite spekulativt, sägas att den senare kommentaren sannolikt var föranledd av att Riksrevisionen i granskningsrapporternas missiv 2008–2010 informerade om att granskningen skulle följas upp. Från och med 2011 finns informationen inte kvar. Detta kan ha berott på att missiven behövde ha en ny lydelse från detta år med anledning av att behandlingsordningen av granskningsrapporterna förändrades.

2017/18:UFR2	BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
	I kommentarerna gällande de följande uppföljningsrapporterna har finans-
	utskottet mer eller mindre regelmässigt uttryckt sin tillfredsställelse över den
	djupa uppföljningen och inte minst då denna successivt utökats till 20 stycken
	i 2017 års uppföljningsrapport. Utskottet har också tydligt påpekat nyttan av
	de kommentarer som avslutar redovisningen av varje djupt uppföljd gransk-
	ningsrapport.
	Avslutningsvis bör nämnas att finansutskottet i kommentarerna till uppfölj-
	ningsrapporten 2014 ansåg att ”uppföljningen visar att Riksrevisionen under
	sina tio år har bidragit till en bättre statlig verksamhet”.7

5.2 Riksrevisionens samverkan med finansutskottet

Under större delen av den tid som uppföljningen genomförts och uppföljningsrapporten producerats har Riksrevisionen, i form av de ansvariga för framtagande av rapporten, haft kontinuerliga årliga träffar med finansutskottets kansli. Träffarna har ägt rum en eller två gånger om året, vanligen i samband med att rapporten publicerats och ibland också i samband med starten av årets uppföljning. Träffarna har haft en informell karaktär och har haft stor betydelse för utvecklingen av uppföljningen och uppföljningsrapporten.

5.3 Riksrevisionsutredningen om uppföljning

Riksrevisionsutredningen använde sig i sina analyser av viss information i uppföljningsrapporterna från 2008 och 2009.8 Det material som utredningen utnyttjade var delar av den så kallade administrativa informationen, nämligen sammanställningen av regeringens redovisning av slutbehandlade granskningsrapporter. Analysen behandlade inte rapporternas genomslag utan användes i delbetänkandet 2008/09:URF1 i en diskussion om i vilka former regeringen borde redovisa sina synpunkter på granskningsrapporterna. Resultatet av denna diskussion blev den nuvarande behandlingsordningen av granskningsrapporterna. Utredningen refererade i övrigt vad finansutskottet uttryckt angående de dittills publicerade uppföljningsrapporterna.

I utredningens slutbetänkande (2008/09:URF3) behandlades uppföljningsrapporten i samband med en diskussion om Riksrevisionens årliga rapport. Ut- redningen menade att en sammanslagning av den årliga rapporten och uppföljningsrapporten borde övervägas. Enligt utredningen skulle Riksrevisionens årliga rapportering på detta vis förtydligas och möjliggöra en samtidig behandling av kort- och långsiktiga analyser av revisionens iakttagelser och resultat. Konstitutionsutskottet avstyrkte dock förslaget och någon sådan förändring genomfördes inte.9

7 Bet. 2013/14:FiU35.

8 Författarens minnesbild är inte helt klar, men egentligen var det nog så att informationen togs fram speciellt för utredningen och sedan hamnade i uppföljningsrapporterna.

9 Bet. 2009/10:KU17.

BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER

6 Resultatet av Riksrevisionens granskningsrapporter som det framkommer i uppföljningsrapporterna

I det följande ges en bild av ”genomslaget” av Riksrevisionens granskningsrapporter som det framgår av uppföljningsrapporterna 2008–2017. Bilden har tagits fram i samband med en undersökning som genomförts som en del av det uppdrag som resulterat i föreliggande promemoria. Tillvägagångssättet redovisas under rubriken Metod för den här presenterade undersökningen (antal rapporter, urval med mera.)på sidan 15.

En utgångspunkt för undersökningen är att det som står i uppföljningsrapporterna är korrekt, men inte nödvändigtvis heltäckande. Beskrivningen av genomslaget avser läget vid tiden för uppföljningen.10 Regeringens eventuella utfästelser i samband med publiceringen av granskningsrapporterna i budgetpropositioner (den tidigare behandlingsordningen) och i skrivelser med anledning av granskningsrapporterna (den nuvarande behandlingsordningen) behandlas inte.

De resultat av effektivitetsrevisionens granskningar som framgår av uppföljningsrapporterna är givetvis en följd av de åtgärder som de som granskats har vidtagit med anledning av Riksrevisionens iakttagelser och rekommendationer. Det är dock viktigt att beakta att de metoder som används i uppföljningen, de resurser som tilldelats och den form som används för att presentera resultatet av den påverkar den bild som ges i uppföljningsrapporterna. Nedan redovisas några omständigheter som i olika grad kan påverka denna bild.

•Uppföljningen ska vara ett underlag för riksdagen att bedöma nyttan med Riksrevisionen.

Utgångspunkten för riksdagen när den har efterfrågat en utvidgad resultatredovisning från Riksrevisionen, jämfört med den som görs i årsredovisningen, har varit om staten har fått ett mer effektivt utbyte av sina insatser tack vare Riksrevisionens verksamhet. Det har alltså varit nyttan med Riksrevisionen som har efterfrågats och inte vidtagna åtgärder och förbättringar i sig. Innan Riksrevisionen började följa upp resultaten av granskningarna efterfrågades sådan utvidgad resultatinformation inte bara av riksdagen utan också av Riksrevisionens styrelse och externrevisorer.11

En sådan utgångspunkt påverkar bland annat de frågor som ställs i uppföljningen om huruvida de enskilda granskningarna varit till nytta för de granskade. Inriktningen är alltså ett nyttoperspektiv snarare än ett ansvarsutkrävandeperspektiv. Riksrevisionen är tydlig med att den inte genom uppföljningen

10Eftersom de flesta uppföljningarna nu ligger relativt långt tillbaka i tiden kan det ha vidtagits ytterligare åtgärder och ytterligare förbättringar kan ha skett. Till detta tas inte hänsyn här.

11Bet. 2005/06:FiU25, bet. 2006/07:FiU2.

2017/18:UFR2

BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER

utkräver ansvar av de granskade för vidtagna eller icke vidtagna åtgärder och att den inte framför kritik mot hur granskningen behandlats.

•Uppföljningen presenteras i kvalitativa termer, det vill säga inga mått används.

I vissa länder förekommer att revisionen använder specifika mått för att bedöma sina resultat. Vanliga sådana mått är andelen genomförda rekommendationer och värdet av de besparingar som revisionens insatser medfört. Den kronologiskt berättande stilen i Riksrevisionens uppföljningsrapporter kan medföra svårigheter att fastslå det exakta antalet åtgärder eller omfattningen av förbättringar av olika slag. Ett påtagligt inslag i Riksrevisionens uppföljning är därmed kommentarerna om att de iakttagna förbättringarna inte alltid enkelt kan hänföras till de enskilda effektivitetsrevisionerna.

•Knappa resurser för varje enskild uppföljning. Innebär att ordinarie interna uppgifter sätts före och att de reviderade ska störas så lite som möjligt.

En ambition med uppföljningen är att störa den ordinarie interna produktionen så lite som möjligt. Det innebär att de tilldelade resurserna är begränsade och att den tillgängliga tiden för varje enskild uppföljning är kort. Det påverkar naturligtvis möjligheterna för uppföljarna att gå på djupet. Ytterligare en ambition är att störa de granskade så lite som möjligt. Detta innebär bland annat att fokus i uppföljningen ligger på vad som framgår av offentliga dokument och i mindre grad på direkta kontakter med de granskade.

•Uppföljningen är ingen reglerad uppgift för Riksrevisionen. Riksrevisionen har ingen lagreglerad rätt att få uppgifter från dem som omfattas av

uppföljningen.

I den ordinarie granskningsverksamheten har Riksrevisionen rätt att få de uppgifter den behöver för sin granskning.12 Samma rätt finns inte när det gäller uppföljningen, vilket kan innebära begränsade möjligheter att under den korta uppföljningstiden inhämta all relevant information.

6.1 Metod för den här presenterade undersökningen (antal rapporter, urval med mera)

I det följande redovisas resultatet av en undersökning av ”genomslaget” av Riksrevisionens granskningsrapporter från effektivitetsrevisionen perioden 2003–2013. I Riksrevisionens uppföljningsrapporter har till och med 2017 års rapport 122 granskningsrapporter varit föremål för så kallad djup uppföljning. Det motsvarar drygt 40 procent av samtliga beslutade granskningsrapporter fram till och med november 2013, det vill säga av de granskningsrapporter som hittills varit aktuella för djup uppföljning (urvalsramen).

Uppföljningen av samtliga 122 granskningsrapporter har gåtts igenom (lästs) med avseende på

•om de granskade uttryckligen har sagt sig haft nytta av granskningen

•om de granskade vidtagit åtgärder

12 6 § lagen (2002:1022) om revision av statlig verksamhet m.m.

BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER

•om det framgår att iakttagelser/rekommendationer har tagits om hand

•om det framgår att åtgärder och förbättringar är en direkt följd av Riksrevisionens granskning

•om det framgår att det är svårt att koppla åtgärder och förbättringar till Riksrevisionens granskning

•om det framgår av uppföljningen att iakttagna problem minskat

•om det framgår av uppföljningen att det finns kvarstående problem

•om det framgår av uppföljningen att inga resultat har uppnåtts för en en-

skild granskning.

Källan till uppgifterna är den sammanfattning som avslutar varje enskild uppföljning – Avslutande kommentar. Finansutskottet har uttalat att ”de avslutande kommentarerna är värdefulla som ett sätt att bilda sig en uppfattning om förbättringar inom de granskade myndigheterna, men också om vilka problem som kvarstår”.13

Undersökningen har kompletterats med att ett urval om 38 av de 122 uppföljningarna har studerats närmare. Därvid har i första hand noterats vilken typ av åtgärder och förbättringar som har följt på Riksrevisionens granskningsrapporter.

Det bör påpekas att de kvantitativa uppgifter som anges nedan ska ses som ungefärliga.

6.2 Genomgång av uppföljning av 122 granskningsrapporter

Ett inslag i uppföljningen är att försöka ta reda på om de granskade haft nytta av Riksrevisionens granskningsrapport. Detta ska göras genom att uppföljarna ställer frågor om detta till de organisationer som är föremål för uppföljning. Av genomgången framgår att de granskade på direkt förfrågan i 23 fall (19 procent) svarat jakande. Ett jakande svar är vanligare från en granskad myndighet än från regeringen. Det kan dock inte uteslutas att frågan inte ställs i alla uppföljningar eller att de tillfrågade inte alltid vill tillstå att de haft nytta av granskningen, även om så varit fallet. Det kan alltså finnas ett mörkertal av obekant storlek.

När det gäller huruvida de granskade har vidtagit åtgärder med anledning av granskningen är resultatet mer positivt. I 109 fall av de 122 har åtgärder vidtagits med anledning av granskningen eller som är relevanta för Riksrevisionens granskning. Det bör dock beaktas att uppföljningen inte bara fäster avseende vid åtgärder som kausalt kan kopplas till Riksrevisionens iakttagelser och rekommendationer utan också vid sådana som är relevanta för Riksrevis-

13 Bet. 2015/16:FiU27.

2017/18:UFR2

2017/18:UFR2	BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
	ionen utan att det går att fastställa en direkt kausalitet mellan granskningsrap-
	port och utfall.14 Det är alltså kombinationen av dessa två fall som ger resulta-
	tet 109 av 122.
	Det finns en skillnad i de ovanstående två sätten att bedöma resultatet av
	Riksrevisionens granskning. I det första fallet är utgångspunkten granskning-
	ens iakttagelser och rekommendationer som tydligt kan kopplas till åtgärder
	och/eller förbättringar. I det andra fallet är utgångspunkten vidtagna åtgärder
	som kan kopplas till det som den enskilda granskningen mera allmänt har
	handlat om. Åtgärderna är relevanta för Riksrevisionens granskning och
	tillgodoser eller omhändertar Riksrevisionens rekommendationer utan att de
	tveklöst kausalt går att koppla till enskilda iakttagelser eller rekommenda-
	tioner.
	När det gäller huruvida vidtagna åtgärder och iakttagna förbättringar mer
	eller mindre tveklöst (kausalt) kan kopplas till Riksrevisionens granskning
	framgår av uppföljningsrapporterna att så är fallet i 30 av de 122 uppföljning-
	arna (25 procent). Även här kan det finnas ett mörkertal. Åtgärder och förbätt-
	ringar som är relevanta för Riksrevisionens granskningar har vidtagits, men
	det går inte att inom ramen för uppföljningen konstatera ett kausalt samband
	även om ett sådant finns.
	Det omvända fallet jämfört med ovan, det vill säga att det av uppföljningen
	klart framgår att det är svårt att koppla uppföljningsresultatet till Riksrevision-
	ens granskning framgår av 19 uppföljningar (16 procent). Det betyder inte
	nödvändigtvis att Riksrevisionen inte har spelat någon roll. Det kan till exem-
	pel tolkas som att många uppföljare av försiktighetsskäl inte vill dra för långt-
	gående slutsatser av uppföljningsresultatet.
	Av uppföljningarna framgår ibland, men inte alltid, om de i granskningarna
	iakttagna problemen har minskat. I 50 fall av de 122 (40 procent) sägs så vara
	fallet. Inte heller här är kausaliteten glasklar, men klart är att det är relevant
	för det som Riksrevisionen har granskat. På motsvarande sätt framgår att pro-
	blem kvarstår. Detta är fallet i 65 uppföljningar (50 procent). Det bör noteras
	att båda fallen kan föreligga i samma uppföljning.
	I några fall (13, det vill säga cirka 11 procent) framgår det av uppföljningen
	att inga egentliga resultat har uppnåtts för enskilda granskningar. Detta sägs
	inte alltid explicit, men framgår i allmänhet tydligt av sammanhanget. Orsa-
	kerna kan variera men kan bland annat handla om att Riksrevisionen granskat
	ett område där de granskade, i nära anslutning till granskningens start, satt
	igång ett omfattande reformarbete och Riksrevisionens granskning därför bli-
	vit mindre relevant. Man kan här tala om bristfällig tajming. En annan kan
	vara att Riksrevisionen inte lämnat några rekommendationer eller så vaga och
	allmänna sådana att det i uppföljningen inte gått att göra några säkra kopp-
	lingar till granskningen.

	14 I uppföljningen uttrycks detta bland annat som att vidtagna åtgärder är ”i samklang med
	Riksrevisionens iakttagelser och rekommendationer” eller att ”iakttagelser och rekommen-
	dationer har tagits om hand”.
48

BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER

Sammanfattningsvis kan sägas att det i de flesta fall framgår av uppföljningen att åtgärder vidtagits som är relevanta för de iakttagelser och rekommendationer som Riksrevisionen gjorde i sin granskning. Ibland används uttryckssättet ”tagits om hand” eller liknande i den avslutande kommentaren. Inte sällan framgår också att kopplingen till Riksrevisionens granskning anses vara tydlig. Ibland framgår också att det är svårt att göra en sådan koppling.

När det gäller huruvida iakttagna problem har minskat eller kvarstår, framgår det i cirka hälften av fallen. Man bör då hålla i minnet att det inte handlar om att alla problem är undanröjda eller att alla kvarstår. Minskade problem och kvarstående problem kan föreligga i samma uppföljning.

I cirka 20 procent av uppföljningarna framgår att de granskade säger sig ha haft nytta av Riksrevisionens granskning. Det eventuella mörkertal som nämns ovan bör dock beaktas.

I 11 procent av fallen anses Riksrevisionens granskning ha medfört inga eller få märkbara resultat.

Riksrevisionen förefaller därmed ha en viss påverkan på det förbättringsarbete och de förbättringar som sker i den statliga förvaltningen, även om kausaliteten mellan Riksrevisionens granskningar och de iakttagna resultaten inte alltid framstår som glasklar.

6.3 Genomgång av uppföljningen av ett urval om 38 granskningsrapporter

Utifrån de 122 uppföljningar som ligger till grund för de kvantitativa uppgifterna ovan har 38 stycken valts ut (mer eller mindre slumpmässigt) i syfte att närmare studera vilken sorts åtgärder och förbättringar som Riksrevisionens granskningar leder till eller kan kopplas till.15 I dessa 38 fall har genomgången utvidgats från att avse de avslutande kommentarerna till att avse avsnittet om regeringens och myndigheternas åtgärder.

Den vanligaste enskilda åtgärden som vidtas är att regeringen ger en eller flera myndigheter uppdrag i regleringsbrev eller i annan ordning (26 fall). Uppdragen handlar bland annat om att

•till regeringen redovisa åtgärder med anledning av Riksrevisionens iakttagelser och rekommendationer

•utveckla och till regeringen redovisa åtgärder för att förbättra eller effektivisera det interna arbetet

•säkerställa likformig ärendehantering

•utveckla planering, uppföljning och rapportering

•förbättra redovisning

•se över målbeskrivningar.

15 Urvalet fördelar sig med två granskningar de år som fem djupa uppföljningar presenterats i uppföljningsrapporten (2008), tre granskningar de år som tio djupa uppföljningar presenterats (2009–2013), fem vid 15 presenterade (2014–2016) och sex vid 20 presenterade djupa uppföljningar (2017).

2017/18:UFR2

2017/18:UFR2	BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
	En annan vanlig åtgärd från regeringens sida är att tillsätta en utredning (11
	fall) med uppdrag att bland annat hantera Riksrevisionens granskningsrapport.
	Det kan också handla om att ge en redan pågående utredning i uppdrag att ”ta
	hand om” eller ”beakta” Riksrevisionens granskningsrapport. Ofta har utred-
	ningsresultaten inte förelegat vid tiden för uppföljningen.
	I ett antal fall (ett tiotal av de 38) har Riksrevisionens granskning lett till
	översyn och förändring av lagstiftning. Påfallande i dessa fall är att lagstift-
	ningsarbetet ännu inte är avslutat vid tiden för uppföljningen (alltså fyra till
	fem år efter granskningen).
	Det är också vanligt att myndigheter på eget initiativ (17 fall), det vill säga
	utan uppmaning från regeringen, arbetar med Riksrevisionens iakttagelser och
	rekommendationer. De åtgärder som myndigheterna vidtar är ofta ägnade att
	stärka och effektivisera det interna arbetet – till exempel genom att förbättra
	administrativa processer och genomföra omorganisationer. Det framgår inte
	alltid i detalj i uppföljningen vad åtgärderna avser.

6.4 Sammanfattning av genomgång av 38 uppföljningar

De vidtagna åtgärder som redovisas i uppföljningen speglar Riksrevisionens iakttagelser och rekommendationer. De åtgärder som vidtas är oftast administrativa sådana i syfte att skapa bättre förutsättningar för de granskade att uppnå bättre resultat inom sina respektive områden. Revisionen inriktar sig alltså, föga förvånande, på de generella administrativa verktyg som de granskade har till förfogande för att bedriva en effektiv verksamhet. Riksrevisionens iakttagelser och rekommendationer utnyttjas också ofta av de granskade i redan pågående processer. Detta är inte förvånande; förbättringsarbete pågår mer eller mindre kontinuerligt i den statliga verksamheten. Mera sällan initierar granskningarna helt nytt förbättringsarbete även om det förekommer. Här kan nämnas granskningarna om marklösen och begravningsverksamheten.16

Resultatet av granskningsarbetet beskrivs i uppföljningen oftast i termer av vidtagna åtgärder och mera sällan i termer av vilka förbättrade resultat som åtgärderna eventuellt leder till. Detta förefaller i och för sig vara naturligt. Det är svårt och mer resurskrävande att fastställa sådana resultat i sig och också att koppla dem till åtgärder som i sin tur är kopplade till Riksrevisionens granskning.

6.5 Kort om behandlingen av regeringens skrivelser

Sedan 2011 lämnar regeringen en skrivelse till riksdagen där den redogör för redan vidtagna och/eller planerade åtgärder med anledning av granskningsrapporterna. Regeringen hänvisar ofta till åtgärder vidtagna redan innan Riksre-

16 RiR 2005:15 och RiR 2006:7.

BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER

visionen påbörjade sin granskning utöver åtgärder med anledning av granskningen. Regeringen kommenterar också granskningen och redogör ibland för avvikande mening avseende granskningens iakttagelser och rekommendationer. Ibland förekommer också synpunkter på metoder använda i granskningarna. I allmänhet anger regeringen att granskningsärendet är avslutat i och med att skrivelsen överlämnats till riksdagen.

Riksdagens behandling av regeringens skrivelse utmynnar oftast i att ärendet läggs till handlingarna. Det beredande utskottet välkomnar i allmänhet såväl granskningen som innehållet i regeringens skrivelse. Mera sällan leder behandling till ett tillkännagivande (endast fyra gånger i de 43 djupt uppföljda granskningarna från 2011 och framåt, alltså cirka 10 procent).

6.6 Lång tid innan den fullständiga bilden föreligger

I vissa fall kan Riksrevisionens granskningar få ett mycket stort genomslag. Det gäller ofta områden som legat i politisk ”träda” och där Riksrevisionen fungerar som ögonöppnare. Det framgår dock inte alltid av uppföljningarna. En vanlig orsak är till exempel att den politiska process som initierats av granskningarna (till exempel översyn av lagar) inte är avslutad vid tiden för uppföljningen. Ibland kan det område som Riksrevisionen granskat bli politiskt intressant lång tid efter att granskningen både publicerats och följts upp. I dessa fall kan, av naturliga skäl, inte resultatet framgå av uppföljningsrapporten.

2017/18:UFR2

2017/18:UFR2 BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER

7 Styrkor och svagheter i uppföljningsarbetet utifrån ambitionen att redovisa och mäta resultatet av granskningsrapporterna

Riksrevisionens uppföljningsrapporter har mottagits väl av riksdagens finansutskott. Utskottet har till och med uttryckt att uppföljningsrapporterna visar att Riksrevisionen har bidragit till en bättre statlig verksamhet under sina första tio år.17 Det visar att åtminstone Riksrevisionens huvudman anser sig ha haft nytta av uppföljningen och uppföljningsrapporterna (och av Riksrevisionen). I övrigt har intresset för rapporten varit begränsat, även om uppföljningsresultaten i viss mån används internt i arbetet med att ta fram nya granskningsidéer.

Att huvudmannen riksdagen är nöjd med uppföljningsrapporterna innebär givetvis inte att de inte kan förbättras. Kvaliteten i uppföljningsarbetet kan förbättras, och den interna såväl som den externa användningen kan breddas. En restriktion i sammanhanget är dock de krav och de önskemål som riksdagen har. Rimligen välkomnar riksdagen en ökad kvalitet i själva uppföljningsarbetet som medför en förbättrad rapportering om nyttan med Riksrevisionen. Förändringar i syfte att öka den interna och den externa användningen kan dock stå i strid med de krav som riksdagen ställer. I det följande ska ett antal aspekter diskuteras.

7.1 Bredare användning av uppföljningsrapporterna

Det huvudsakliga syftet med uppföljningsrapporterna är att de ska vara ett komplement till Riksrevisionens årsredovisning och i förhållande till denna ge utökad resultatinformation. Uppföljningsrapporterna ska alltså vara ett underlag för riksdagen att bedöma ”nyttan” med Riksrevisionen. Uppföljningsrapporterna har dock en potential att användas bredare än så.

7.1.1 Internt inom Riksrevisionen

Enligt Riksrevisionens uppföljningsmodell kan uppföljningsrapporterna användas internt för att förbättra granskningsarbetet. Den interna användningen av uppföljningsrapporterna är dock, så vitt känt, begränsad. Det vanligaste är att rapporterna används i processen med att ta fram nya granskningsförslag. I sådana fall efterfrågas dock snarare de så kallade uppföljningspromemoriorna än texterna i uppföljningsrapporterna. Innehållet i promemoriorna är bredare än i uppföljningsrapporterna och ofta också mer detaljerat. Detta är avsiktligt, eftersom promemoriorna är tänkta att också fungera som underlag i arbetet med att ta fram granskningsförslag.

17 Bet. 2013/14:FiU35.

BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER

Uppföljningsmaterialet är också, enligt uppföljningsmodellen, tänkt att kunna användas som underlag i analyser av vad och hur Riksrevisionen ska granska, vilka frågor som ska ställas och vilken sorts rekommendationer som bör lämnas. Användningen av uppföljningsmaterialet i sådana analyser är dock begränsad.18

Ibland genomför Riksrevisionen så kallade uppföljande granskningar. Syftet är bland annat att något år efter en granskning undersöka om de problem som föranledde granskningen ännu kvarstår. Ofta är skälet till att en uppföljande granskning genomförs att det finns indikationer på att så är fallet. Skillnaden mellan en uppföljning och en uppföljande granskning är bland annat att Riksrevisionen i en uppföljande granskning kan komma med ny kritik och att uppföljningsresultatet kommer de granskade och riksdagen till kännedom genom de gängse procedurer som gäller för en granskningsrapport. I de fall den ursprungliga granskningen blivit föremål för en uppföljning är uppföljningsrapporten en naturlig utgångspunkt för den uppföljande granskningen. Iakttagelserna i uppföljningen kan alltså genom en uppföljande granskning göras till ett ”skarpare” instrument än i uppföljningsrapporten.

7.1.2 Utskottens användning av uppföljningsresultaten

Ingvar Mattson har pekat på att riksdagens intresse för effektivitetsrevisionen är relativt svalt.19 En positiv omständighet är dock att riksdagens utskott numera regelmässigt bjuder in riksrevisorerna för att redovisa nypublicerade granskningsrapporter. Mattson framför en förhoppning om att alla utskott ska bjuda in riksrevisorerna för att redovisa granskningar. Han menar dessutom att ansvariga ministrar och generaldirektörer eller motsvarande borde bjudas in oftare, helst inom ramen för offentliga utfrågningar, för att svara på utskottens frågor med anledning av granskningsrapporterna.

Urvalet för den djupa uppföljningen dras så att så många utskott som möjligt ska få med rapporter i uppföljningen. Tanken är att intressera utskotten för uppföljningen och ge information om vad som händer med en granskning efter några år. Uppföljningsinformationen kan ses som ett komplement till den information utskotten i ökande utsträckning får av riksrevisorerna om granskningarna kort efter det att de publicerats.

7.1.3 Övrig användning av uppföljningsrapporterna

Den externa användningen av uppföljningsrapporterna, det vill säga utanför riksdagen och Riksrevisionen, förefaller vara begränsad. Hittills har inte någon

18 Här kan påminnas om några av de syften som uppföljningen kan fylla enligt Intosai:

-identifiera områden som kan vara aktuella för framtida revisionsinsatser

-utgöra underlag för internt förbättringsarbete inom revisionsmyndigheten. Se sid. 1.

19 Riksrevisionen 10 år, Granskning, ansvar, lärande. Kap. 7. Ingvar Mattson var vid bokens tillkomst kanslichef vid finansutskottet. Numera (oktober 2017) en av de tre riksrevisorerna vid Riksrevisionen.

2017/18:UFR2

2017/18:UFR2	BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER
	sådan noterats av undertecknad. I och för sig kan detta inte förväntas. Uppfölj-
	ningsrapporterna är ett komplement till Riksrevisionens årsredovisning och
	syftet är inte någon bred extern användning.
	Ett skäl till det begränsade externa genomslaget för uppföljningsrapport-
	erna kan vara att det inte görs några särskilda ansträngningar från Riksrevi-
	sionens sida att göra omvärlden uppmärksam på den. Normalt åtföljs publice-
	ringen bara av en enkel pressnotis på Riksrevisionens webbplats.

7.2 Kvalitativt kontra kvantitativt, olika mått på genomslag

Riksrevisionens uppföljning görs i vad som kan benämnas kvalitativa termer. Resultatet av den enskilda granskningen redovisas i en beskrivande text där händelser (åtgärder och effekter) återges i kronologisk ordning så långt som det är möjligt. Det finns alltså inga specifika mått på en gransknings genomslag, utan detta får bedömas utifrån den löpande texten. I den avslutande kommentaren gör Riksrevisionen en bedömning av genomslaget, förbättringar och kvarstående problem. Denna bedömning görs också i kvalitativa termer och relativt försiktigt. Avsikten med uppföljningsrapporten är ju att det är läsaren (och i första hand riksdagens finansutskott) som ska bedöma granskningarnas genomslag, inte Riksrevisionen.

I vissa länder, till exempel Storbritannien och USA, redovisas uppföljningen av genomslag (impact) just i sådana termer som anges ovan.20

Riksrevisionen har hittills avstått från att redovisa genomslaget med hjälp av mått som till exempel andelen genomförda rekommendationer och volymen sparade medel. I ett tidigt skede av utvecklingen av uppföljningen och uppföljningsrapporten togs dock kontakter med Uppsala universitet i syfte att ge universitetet i uppdrag att undersöka möjligheterna att redovisa genomslag med hjälp av denna typ av mått. Kontakterna ledde dock inte till att något sådant uppdrag lämnades.21

En eventuell fördel med sådana mått på genomslag kan vara att de ger stöd för en mer omsorgsfull formulering av en gransknings inriktning och av rekommendationerna.

En nackdel med att formulera nyttan av revisionen i kronor och ören är naturligtvis att det är svårt att fastställa sådana belopp. Det är också resurskrävande att i uppföljningen fastställa beloppen. Kausaliteten är svår att fastställa och måtten kan leda till överdrivna försök att ”vinna hem” medel till statskassan. I länder där detta görs sker det i viss utsträckning via ”förhandlingar” mellan revisionen och de granskade. Det kan leda till överenskommelser där

20 NAO Annual report and accounts 2016-17, highlights och U.S Government accountability office, Performance and Accountability Report Fiscal Year 2016.

21 Vid samma tid kom propåer från finansutskottet att Riksrevisionen borde redovisa kvaliteten i de genomförda granskningarna. Uppdraget till Uppsala universitet kom därför i stället att avse en så kallad cold review av granskningsrapporterna, som universitetet genomför ett antal år.

BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER

båda parter känner sig nöjda, snarare än att de belopp man kommer fram till är korrekta.

Att räkna andelen genomförda rekommendationer är också svårt. Förutom de svårigheter som tidigare nämnts när det gäller att fastställa kausaliteten mellan rekommendationer och åtgärder/effekter kan måttet också leda till överdrivna försök att nå bra resultat. En fördel kan vara att måttet blir ett stöd för att formulera tydliga och genomförbara rekommendationer.

7.3 Mål för genomslag?

USA och Storbritannien använder, som nämns ovan, distinkta mått i uppföljningen av genomslag. Man har också formulerat mål (targets) i samma termer. Riksrevisionen har inga explicita mål inriktade på genomslag. Det finns alltså inget mått som uppföljningsresultaten kan sättas i relation till. Det finns en omfattande diskussion om både fördelar och nackdelar med mål och om hur mål ska formuleras. Finansutskottet har dock förklarat sig nöjt med den information som ges i uppföljningsrapporterna och har också förklarat att det anser att Riksrevisionen medverkar till en bättre statlig verksamhet.

7.4 Resursåtgång för uppföljningen

De resurser som går åt för att genomföra uppföljningen och uppföljningsrapporten får betraktas som begränsade, även om en sådan slutsats innehåller en värdering. Totalt kostar en uppföljningsrapport ungefär en årsarbetskraft eller cirka 1 700 timmar. Tiden delas ungefär lika mellan rent uppföljningsarbete utfört av granskningsorganisationen å ena sidan och administration och framställning av uppföljningsrapport å den andra sidan. Besparingsåtgärder har redan genomförts i form av att den så kallade basuppföljning 1 slopades.22 Från och med 2014 års rapport redovisades endast djup uppföljning och så kallad basuppföljning 2, som alltså blev den enda basuppföljningen.23 Basuppföljningen omfattade före förändringen cirka 50 granskningsrapporter och halverades från och med 2014. Samtidigt utökades den djupa uppföljningen från 10 till 15 granskningsrapporter. Den besparing som åstadkoms blev troligen marginell. Framför allt minskade administrationen runt uppföljningen. Från och med 2017 utökades den djupa uppföljningen till 20 granskningsrapporter. Den besparing som eventuellt åstadkoms 2014 torde därmed i stort sett vara ”uppäten”. Den mest näraliggande besparing som relativt enkelt kan göras torde vara att låta även den kvarvarande basuppföljningen utgå. Det bör dock noteras att en sådan förändring får till konsekvens att den djupa uppföljningen då inte har någon tidigare gjord basuppföljning som stöd utan får, så att säga, börja från början. Det innebär alltså att besparingen i viss mån äts upp.

22Basuppföljning 1 gjordes 1–1½ år efter att granskningarna publicerades.

23Basuppföljning 2 görs 2–2½ år efter granskningsrapporternas publicering.

2017/18:UFR2

BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER

7.5 Organisering av uppföljningsarbetet

För närvarande är uppföljningsarbetet organiserat så att ett sekretariat bestående av två personer ansvarar för genomförandet. Sekretariatet har genom åren haft olika organisatorisk hemvist. Fram till och med 2015 låg det vid enheten för planering och kvalitet (PKE) som fungerade som stab till den dåvarande granskningschefsfunktionen. Från och med 2016 flyttades sekretariatet från granskningsverksamheten till stabsenheten för verksamhetsstöd, numera riksrevisorernas stab. Oavsett de olika organisatoriska omständigheter som rått har uppföljningen genomförts på likartat sätt.

I övrigt består ”uppföljningsorganisationen” av de revisorer som av enhetscheferna utses att genomföra det egentliga uppföljningsarbetet (se ovan, kapitel 4). Uppföljarna ”lånas in” till stabsenheten, som alltså finansierar uppföljningen. Genom detta sätt att organisera uppföljningen engageras ett relativt stort antal revisorer i uppföljningsarbetet. Revisorerna har också att planera in uppföljningen i förhållande till andra uppgifter (i allmänhet granskningsarbete). Ett alternativt sätt att organisera uppföljningen kan vara att ett mindre antal revisorer gör ett större antal uppföljningar per person (och kanske under tiden befrias från andra uppgifter).

7.6 Uppföljningen av den årliga revisionen

Uppföljningsrapporten innehåller också viss information om den årliga revisionen. Informationen har begränsats till att avse endast modifierade revisionsberättelser. Dessa synliggör endast en obetydlig del av den nytta som den årliga revisionen gör när det gäller att förbättra den statliga verksamheten. De modifierade revisionsberättelserna är inte sällan triviala i den meningen att en för sent inkommen årsredovisning med automatik medför en sådan. En inte obetydlig andel av de modifierade revisionsberättelserna avser just fall med för sent inkomna årsredovisningar.

Vid de informella träffarna mellan finansutskottets kansli och Riksrevisionen har det framkommit att för riksdagens del är omfattningen av uppföljningsinformationen om den årliga revisionen tillräcklig.

7.7 Reglering av uppföljningsrapporten, ökad formalitet i uppföljningsarbetet

Riksrevisionens uppföljningsrapport regleras inte i någon av de lagar som styr Riksrevisionens arbete. Som tidigare nämnts (kapitel 1) ansågs inte någon reglering behövas eftersom uppföljning är en handlingsregel som bland annat följer av god revisionssed. Den följer också av Intosais standarder för effektivitetsrevision.

Under åren har arbetet med uppföljningen formaliserats på olika sätt. Framför allt gäller detta i relationerna med Regeringskansliet. Efter några års upp-

BILAGA 2 RIKSREVISIONENS UPPFÖLJNINGSRAPPORTER

följning avtalades informellt mellan Riksrevisionens granskningschef och förvaltningschefen i Regeringskansliet att uppföljningen ska anmälas genom ett informationsbrev till respektive departements expeditionschef.24 Därefter ska uppföljaren ta kontakt med expeditionschefen innan kontakter tas med den som fungerat som kontaktperson i granskningen. Om denna person inte längre finns tillgänglig ska expeditionschefen tillfrågas om ny kontaktperson.

När det gäller övriga granskade organisationer ska uppföljningen introduceras via e-post till den tidigare kontaktpersonen för granskningen med kopia till myndighetschefen. Finns inte den tidigare kontaktpersonen kvar sänds förfrågan om ny kontaktperson till myndighetschefen.

Formaliteten har också ökat bland annat genom att de organisationer som berörs av uppföljningen allt oftare begär att få faktagranska utkast till de uppföljningspromemorior som uppföljarna upprättar.

Reaktionerna på uppföljningen kan tolkas som att de tidigare granskade organisationerna känner sig ”granskade en gång till”, trots revisionens försäkran om att uppföljningsinformationen ska användas till att bedöma Riksrevisionen och inte till att ställa organisationerna till ansvar för att de inte gjort tillräckligt.

Den ökande formaliteten i arbetet med uppföljningen kan i sig motivera en reglering av uppföljningsrapporten, med tydliga skrivningar om syftet med den. Kontakter med de tidigare granskade skulle kunna underlättas om uppföljningen var en instruktionsenlig uppgift för Riksrevisionen.25 Bland annat skulle en reglering kunna innebära ett starkare stöd för uppföljarna när det gäller att efterfråga nödvändig information. En reglering skulle också kunna medföra en starkare ställning internt för uppföljningsarbetet i konkurrensen med det ordinarie granskningsarbetet.

7.8 När bör uppföljning ske?

För närvarande genomförs djup uppföljning fyra till fem år efter att en granskning har publicerats. I allmänhet har en rad åtgärder vidtagits med anledning av granskningsrapporterna och åtminstone vissa förbättringar i de granskade verksamheterna kan skönjas. Ibland är dock uppföljningen ”för tidigt ute” för att en slutlig bild av genomslaget ska kunna ges. Det gäller till exempel när granskningar leder till översyn av lagstiftning. Som nämnts tidigare (fotnot 3 sidan 4) kommer också Uppföljningsrapport 2018 att innehålla granskningar som är yngre än fyra till fem år beroende på relativt låg produktion de år som urvalsramen omfattar. Frågan om när uppföljning ska genomföras kan alltså ställas. Den hittillsvarande ordningen har dock inte kommenterats i några negativa ordalag, och uppdragsgivaren riksdagen förefaller nöjd.

24Skälet var att uppföljarnas ”informella” uppdykande i Regeringskansliet orsakade viss irritation.

25Parentetiskt kan nämnas att uppföljningsrapporten i det interna språkbruket räknas som (eller åtminstone har räknats som) instruktionsenlig, tillsammans med årsredovisningen och den årliga rapporten.

2017/18:UFR2

2017/18:URF2

BILAGA 3

Av Jan-Eric Furubo

Effektivitetsrevision – förväntningar och identitet

2017/18:URF2	BILAGA 3			EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	Innehållsförteckning
	1	Inledning...................................................................................................			63
		1.1	Några påpekanden...............................................................................		64
		1.1.1		Stor nationell frihet att utforma effektivitetsrevisionen..................	64
		1.1.2		Begränsad forskning och diskussion..............................................	65
		1.1.3		Tveksamt om effektivitetsrevision är en profession.......................	66
		1.1.4		Bedrivs på olika håll.......................................................................	66
		1.1.5		En språklig fråga och något ytterligare ..........................................	67
	2	Den svenska effektivitetsrevisionens framväxt.........................................			68
		2.1	Tudelad under två sekel.......................................................................		68
		2.2	Några svenska särdrag.........................................................................		72
	3	Begränsad forskning om effektivitetsrevisionen.......................................			75
		3.1	Vad forskas det om?............................................................................		75
		3.2	Hur kan detta förklaras? ......................................................................		77
		3.3	Är detta ett problem?...........................................................................		77
	4	Analyser av statens verksamhet – olika syften med olika
	konsekvenser ................................................................................................				80
		4.1	Olika syften .........................................................................................		82
		4.2	Tillförlitlighet......................................................................................		84
		4.2.1		Tillförlitlighet i förhållande till olika syften...................................	87
		4.3	Generaliserbarhet.................................................................................		88
		4.3.1		En andra nivå .................................................................................	89
		4.3.2		Generaliserbarhet i förhållande till olika syften.............................	90
		4.4	Teorianknytning ..................................................................................		91
		4.4.1		Teorianknytning i förhållande till olika syften...............................	93
		4.5	Transparens .........................................................................................		94
		4.6	Relationens karaktär – oberoende eller involverad..............................		95
		4.6.1		En sammanfattande bild.................................................................	96
	5	Effektivitetsrevisionens roll och syfte.......................................................			98
		5.1	Kontrollinjen .......................................................................................		99
		5.1.1		Innebörden av ansvar och ansvarsutkrävande..............................	102
		5.1.2		Ansvarsperspektivet i revision .....................................................	104
		5.2	Kunskapslinjen..................................................................................		106
		5.2.1		Kunskapslinjen rymmer flera strategier (eller sublinjer)..............	107
		5.3	Olika verkansteorier ..........................................................................		108
		5.1.3		Motsättningen mellan lärande och kontroll..................................	111
		5.4	Betydelsen av oberoendet..................................................................		112
		5.4.1		Oberoende och förtroende............................................................	113
	6	Riksrevisorernas syn på uppdraget .........................................................			115
		6.1	Uppdraget..........................................................................................		115
		6.1.1		Granskningsplanerna 2004–2008: Skapa förutsättningar för
		ansvarsutkrävande..................................................................................			116
		6.1.2		Granskningsplanerna 2009–2010: Början på en
		omsvängning..........................................................................................			118
		6.1.3		Granskningsplanerna 2011/12 – 2014/15: Främjare av
		statens verksamhet .................................................................................			120
		6.1.4		Granskningsplanerna 2015/16 och 2016/17: Den främsta
		kunskapsproducenten.............................................................................			121
60

		BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
6.2	Valet av vad som ska granskas..........................................................		123
6.2.1		Problemkriteriet ...........................................................................	123
6.2.2 Mindre kända problem.................................................................			124
6.2.3		Handlingsfrihet.............................................................................	125
6.2.4		Oklara bedömningskriterier..........................................................	125
6.3	Några kommentarer...........................................................................		126
7 Avgörande frågor för effektivitetsrevisionen..........................................			128
7.1	Vad är effektivitetsrevisionens särart?...............................................		128
7.1.1		Kan olika syften förenas?.............................................................	129
7.1.2		Raison d´être och andra effekter – ett sätt att förena olika
synsätt ....................................................................................................			131
7.1.3		Ett tankeexperiment .....................................................................	133
7.2	Vem är effektivitetsrevisionens uppdragsgivare?..............................		134
7.2.1		Oberoendet i ett parlamentariskt system ......................................	134
7.2.2		Relationen till medborgarna.........................................................	135
7.3	Underlag för vems ansvarsutkrävande?.............................................		137
7.4	Vilket förhållande har effektivitetsrevisionen till politiken? .............		138
7.5	Effektivitetsrevisionens bedömningskriterier....................................		142
7.5.1 Målen ...........................................................................................			142
7.5.2		Bedömningskriterier förutsätter inte mål......................................	145
7.5.3		De tre E-na; economy, efficiency, effectiveness..........................	148
7.5.4		Riksrevisionsutredningens diskussion 2009.................................	150
7.5.5		Andra värden än de tre E:na.........................................................	151
7.6	Vilka frågor kan ställas av effektivitetsrevisionen?...........................		153
7.6.1		Frågorna ska avse ”verksamhet”..................................................	153
7.6.2		Frågorna ska kunna besvaras med tillförlitlighet .........................	154
7.7	Bör bedömningar av det som gjorts leda till rekommendationer?.....		155
7.8	Finns en risk att effektivitetsrevisionen blir alltför insnävad?...........		157
7.9	Fördelning av ansvar mellan regering och myndigheter....................		158
Referenser...................................................................................................			160

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

2017/18:URF2

1 Inledning

FN:s generalförsamling antog den 22 december 2011 resolutionen Promoting the efficiency, accountability, effectiveness and transparency of public administration by strengthening supreme audit institutions.1 Denna och en efterföljande resolution antagen av generalförsamlingen i december 2014 får ses som de mest auktoritativa uttalandena inom det internationella samfundet om vikten av en statlig revision.2

Generalförsamlingens resolutioner är en del i en process i vilken olika internationella sammanslutningar betonat att en oberoende statlig revision är en förutsättning för att enskilda stater ska kunna delta i olika processer, till exempel inom Världsbanken och olika internationella utvecklingsorgan. Dessa processer tar fasta både på existensen av vad som ibland beskrivs som vanlig revision och en mera utvidgad revision, som kan sägas täcka det som vi i Sverige talar om som effektivitetsrevision och som kan sägas motsvara den engelska benämningen performance audit.

Kravet på att det finns en sådan utvidgad statlig revision är alltså starkt. Den exakta innebörden av dessa allmänna deklarationer är dock inte självklar; de kan tolkas och tolkas de facto på skiftande sätt. Det är därmed inte möjligt att genom studier av hur performance audit bedrivs i Riksrevisionens motsvarigheter (Supreme Audit Institutions, SAI) i olika länder finna någon gemensam syn på vad det innebär att bedriva performance audit. Redan i den första jämförande studien, under ledning av Pollitt, av performance audit i fem olika nationella revisionsorgan urskiljer författarna fyra olika roller ”for performance auditors; as judges/magistrates, as public accountants, as researchers/scientists, or as management consultant/improvers”.3 Pollitt menar att de undersökta nationella revisionsorganen hade valt att placera sig i olika positioner i förhållande till dessa tänkbara roller. I senare studier, där olika nationella revisionsorgans performance audit jämförts, framträder väsentliga skillnader i normer och metoder men också i en rad andra avseenden.4 I riksdagens olika dokument i samband med Riksrevisionens tillkomst, i Riksrevisonsutredningen liksom i material från Riksrevisionen och dess föregångare framkommer att denna pluralism i synen på effektivitetsrevisionen präglat även den svenska diskussionen.

Vad det innebär att bedriva effektivitetsrevision, på vilket sätt den kan bidra till att förbättra statens verksamhet, dess roll i förhållande till uppdragsgivare och de som granskas, vad den kan och bör granska och vilka krav som kan ställas på effektivitetsrevisionens analyser är frågor på vilka självklara svar inte ges, varken i den svenska eller internationella diskussionen. Inte heller

1 A/RES/66/209.

2 A/RES/69/228.

3 Pollitt 1999, s. 210.

4 Bland annat Blume och Voigt 2011, Put 2011 och Lonsdale 2011.

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	denna promemoria syftar till att ge slutgiltiga svar på denna typ av frågor. I
	det följande görs dock ett försök att klargöra innebörden av olika tänkbara
	synsätt på effektivitetsrevisionen, vad de får för praktiska konsekvenser och i
	vilken utsträckning de står i konflikt med varandra eller om de tvärtom kan
	komplettera varandra. Syftet är alltså inte att hävda ett visst synsätts överläg-
	senhet framför andra synsätt. Syftet är att öppna för en fördjupad diskussion
	om vilka faktorer som är viktiga vid en diskussion om den svenska effektivi-
	tetsrevisionen.
	I det följande kapitlet (2) av denna promemoria beskrivs summariskt några
	utmärkande drag i den svenska effektivitetsrevisionens utveckling fram till
	2003. I kapitel 3 beskrivs inriktningen och omfattningen av den forskning som
	finns om effektivitetsrevision, vilken kommer att användas i de följande ka-
	pitlen. Därefter, i kapitel 4, diskuteras de syften olika former av analys och
	utvärdering, med statlig verksamhet som objekt, kan ha. I kapitlet behandlas
	hur syftet med dessa olika analyser påverkar vilka frågor som kan ställas, valet
	av metoder och så vidare. Med detta som grund förs därefter (kapitel 5) en
	diskussion om vad som särskiljer effektivitetsrevision från en rad andra former
	av analys och kontroll som kan uppfattas som likartade i den meningen att
	även de har statlig verksamhet som objekt. I denna diskussion presenteras
	olika synsätt. I kapitel 6 beskrivs hur Riksrevisionens ledning sett på centrala
	inriktningsfrågor alltsedan 2003. I det avslutande kapitlet (7) lyfts fram ett an-
	tal frågor av betydelse för effektivitetsrevisionens framtida utveckling och
	som därmed förtjänar att uppmärksammas i diskussionen om den framtida
	effektivitetsrevisionen.

1.1 Några påpekanden

Allra först ska dock några saker kort påpekas, trots att vissa av dem senare kommer att behandlas mera utförligt.

1.1.1 Stor nationell frihet att utforma effektivitetsrevisionen

Det första påpekandet är att det inte finns något som kan ses som en bindande internationell reglering om hur effektivitetsrevisionen ska bedrivas. De krav som ställs på den statliga revisionen kan sägas ligga på en övergripande nivå. Nyckelord som accountability (ansvarsutkrävande) och transparency (transparens) nämns i FN:s resolutioner, men effektivitetsrevision kan utformas inom mycket breda latituder så länge den kan sägas vara ”independent of the audited entite and […] protected against outside influences”.5 Olika vägledande dokument från Intosai (International Organisation of Supreme Audit In- stitutions) är också skrivna för att möjliggöra olika inriktningar av effektivitetsrevision.

5 A/RES/69/228.

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

2017/18:URF2

1.1.2 Begränsad forskning och diskussion

Att vikten av statlig revision och effektivitetsrevision betonas betyder inte att vi därmed har en omfattande kunskap om effektivitetsrevision. Även om ett sådant påstående är vanskligt är dock skillnaderna påtagliga mellan effektivitetsrevision och till exempel utvärdering och många andra inslag i det demokratiska statsskicket. Olika litteraturöversikter indikerar att det handlar om några dussin artiklar och böcker, högst något hundratal, som specifikt behandlar effektivitetsrevision snarare än hundratals eller tusentals.6 I den tämligen färska genomgången av Performance audit literature av Tremblay and Malsch beskrivs forskningsläget.

Overall, results suggest that there exist significant differences in how researchers define and approach the concept of performance auditing. From political perspectives to more technical definitions, performance auditing appears as a socially constructed and unstable object of knowledge. Secondly, field studies offer a description of auditors’ practices that tend to differ significantly from official prescriptions and guidelines. […] Third, there are contrasting findings and analysis on the impact of performance auditing. Some researchers see performance auditing, in a rather negative light, as inherently complicit in protecting political structures, while others highlight the critical role of performance auditing in modernizing and transforming public sector’s efficiency. Despite all this insightful research, most surprising is perhaps how little is known about performance auditing. Research on this topic remains fragmented and is far from constituting a robust and coherent body of knowledge.7

Åtminstone ett par möjliga förklaringar till denna brist på forskning ter sig rimliga. En förklaring är att vad effektivitetsrevision har uppfattats vara har berott på det omgivande institutionella sammanhanget. Det gör att forskning om effektivitetsrevision oftast har kommit att handla om vad som faktiskt utförs i de olika revisionsorganen som säger sig bedriva effektivitetsrevision. Det betyder att det som belyses i forskning om effektivitetsrevision är vilka metoder som används, vilka saker som tas upp av effektivitetsrevisionen, hur resultaten av effektivitetsrevision används och liknade ting. Det som forskningen däremot påtagligt sällan behandlar är frågor om effektivitetsrevisionens roll och hur den påverkas av andra inslag i det politiska och konstitutionella systemet.8

En annan tänkbar förklaring är att det helt enkelt inte funnits något särskilt behov att precisera vad effektivitetsrevision är. Under lång tid kunde effektivitetsrevisionen i länder som USA, Nederländerna, Storbritannien och även Sverige ses som en pådrivande kraft för att få till stånd en mera omfattande utvärdering av statliga verksamheter och kanske också bidra med (goda) exempel på hur sådana kunde genomföras. Hur effektivitetsrevision mer precist förhöll sig till annan utvärdering fanns det inte så mycket anledning att fundera över. Som senare kommer att utvecklas kan det hävdas att situationen härvidlag har förändrats.

6 Tremblay och Malsch 2015, Eurosai 2016.

7 Tremblay och Malsch 2015, s. 4.

8 Furubo, 2011, s. 23 - 25.

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

1.1.3 Tveksamt om effektivitetsrevision är en profession

Ordet profession används på olika sätt. I forskningen om professioner har olika försök gjorts att mera precist ringa in vad en profession är. Det finns ingen anledning att här gå närmare in på olika uppfattningar inom detta forskningsområde. Många professionsforskare pekar dock på sådant som vikten av mekanismer för att bestämma tillhörigheten till professionen, till exempel i form av utbildning och andra tillträdeskrav. Inom professionen måste det också gå att identifiera någon form av gemensam kunskap för professionen. Det är också så, menar nog de flesta professionsforskare, att tillhörigheten till professionen inte upphör bara för att en anställning upphör. Och även icke professionsforskare menar förmodligen att en läkare fortsätter att vara läkare även när han eller hon är arbetslös eller har övergått till en rent administrativ verksamhet. Ofta framhålls också att en profession karakteriseras av att professionen definierar sig själv på ett sätt som tar fasta på en vidare samhällelig roll och att den som tillhör professionen bejakar någon form av etisk dimension i sin professionella verksamhet, ofta uttryckta i olika kodex.9

I diskussionen om professioner framhålls också att det måste finnas forum för att diskutera frågor som är viktiga för professionen. Det måste finnas organisationer, tidskrifter och så vidare. Hur vi uppfattar professioner och deras hävdande av ett slags exklusivitet är inte självklart, och ligger också utanför föreliggande diskussion. När det gäller effektivitetsrevision är det dock tydligt att det saknas många av de karakteristiska som i olika sammanhang anses viktiga för att vi ska tala om något som en profession. Det kan konstateras att det inte finns sammanslutningar för effektivitetsrevisorer, att det inte ordnas några särskilda konferenser för dem och att det inte finns några särskilda tidskrifter, vare sig för forskare eller praktiker, som specifikt är inriktad på effektivitetsrevision. För att undvika missuppfattningar bör det påpekas att Intosai och till exempel Eurosai (European Organisation of Supreme Audit Institutions) är sammanslutningar av nationella revisionsorgan, inte av dem som arbetar med effektivitetsrevision.

Det är alltså långt ifrån självklart att det skulle gå att beskriva effektivitetsrevision som en profession. Det bör också läggas till att effektivitetsrevision inte är ett akademiskt kunskapsområde i den meningen att det går att utbilda sig till effektivitetsrevisor.

1.1.4 Bedrivs på olika håll

Synen på effektivitetsrevision är starkt påverkad av den internationella uppslutningen kring Intosai. I den forskning som finns om effektivitetsrevision är referenser till olika dokument upprättade av Intosai självklara och frekventa. Detta är naturligtvis rimligt. Samtidigt motiverar det ett påpekande om att ef-

9 En översiktlig bild av diskussionen om professioner med särskild relevans för utvärderingsområdet ges av Schwandt 2018.

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

fektivitetsrevision i dag bedrivs i många olika sammanhang och på andra nivåer än de som en SAI kan sägas företräda. Även om vi väljer att begränsa oss till politiskt beslutade verksamheter och organ, bedrivs effektivitetsrevision i dag på en rad olika nivåer, inom lokala och regionala organ.

Detta gör det tydligt att vi pratar om en verksamhet som åtminstone till en del måste diskuteras i mera generella termer. Frågor av den typ som kan sammanfattas med ”Vad handlar effektivitetsrevision egentligen om?” handlar alltså inte enbart om hur de statliga nationella revisionsorganen ser på saker och ting. I detta sammanhang är det dock självklart att ramen för diskussionen är ett statligt sammanhang.

1.1.5 En språklig fråga och något ytterligare

Redan på dessa inledande sidor har ordet effektivitetsrevision använts mer än fyrtio gånger. Det är därför nödvändigt att redan nu säga något om de termer som fortsättningsvis ska användas. I Sverige infördes benämningen effektivitetsrevision först under 1986. I Finland används samma benämning på revisionsmyndighetens svenska webbplats medan den norska revisionen talar om forvaltningsrevisjon. Den verksamhet med liknande inriktning som tidigare bedrevs inom såväl Riksrevisionsverket som Riksdagens revisorer benämndes förvaltningsrevision. I denna promemoria kommer dock, om än med viss tvekan och inte helt konsekvent, benämningen effektivitetsrevision att användas även när det handlar om förhållanden under perioder under vilka andra benämningar användes.

Inom en rad internationella organisationer, Intosai, Eurosai, Afrosai (African Organisation of Supreme Audit Institutions), OECD och Världsbanken används vanligen benämningen performance audit. Även detta kan dock, redan på ett språkligt plan, leda till förvirring. I flera fall är det tydligt att den benämningen har andra konnotationer, på det aktuella språket, än vad vi vanligen förknippar med engelskans performance. Notabelt är också att varken det brittiska NAO (National Audit Office) eller GAO (the U.S. Government Accountability Office) tidigare benämnde sin verksamhet som peformance audit, mer än just när den skulle beskrivas i internationella sammanhang.

2017/18:URF2

2017/18:URF2 BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

2 Den svenska effektivitetsrevisionens framväxt

Den statliga revisionens rötter går långt tillbaks i tiden; räknekammaren inrättades av Gustav Vasa 1539.10 Under 1600-talet skedde en utveckling som innebar att den avdelning, kammarrevisionen, inom Kammarkollegiet som arbetade med revision fick en alltmer självständig ställning och etablerades som en självständig myndighet 1695 som drygt ett århundrade senare bytte namn till kammarrätten.11 Det var dock först 1809 som en direkt brygga skapades till dagens Riksrevision genom att det stadgades att ständerna skulle utse särskilda revisorer.12 Efter en 20-årig utredningsprocess sammanfördes 1920 de reviderande funktionerna som legat på olika organ (det 1680 inrättade Statskontoret, kammarrätten och statsbokföringskommittén) till Riksräkenskapsverket.13 År 1943 inrättades Statens Sakrevision, och 1960 slogs Riksräkenskapsverket samman med Statens Sakrevision, som bedrev kameral granskning och sakrevision grundad på den kamerala granskningen, till Riksrevisionsverket.14 I detta kapitel beskrivs den svenska effektivitetsrevisionens utveckling, om än så kortfattat att gränsen till det rapsodiska möjligen överskrids. Avsikten är att fästa uppmärksamheten på vissa särdrag i den svenska utvecklingen.

2.1 Tudelad under två sekel

I ett kapitel i Riksdagens revisorer under två sekel gör Kerstin Ullenhag, ekonomisk historiker, några nedslag i Riksdagens revisorers verksamhet.15 Hon visar att Riksdagens revisorer redan under 1800-talet tog upp frågor som låg nära vad som senare kom att kallas sakrevision. Frågor som togs upp i granskningen år 1872, ett av hennes nedslag, gällde om traktamentsersättningar borde täcka kostnaderna för betjent och vad gäller Nationalmuseum diskuteras lämpligheten av att museet var stängt under jul- och nyårshelgerna då människor hade tid för besök. 1922 tas överbemanningen inom statens järnvägar upp, men också frågor om upphandling och vikten av ”fri och öppen tävling” mellan olika leverantörer. Vissa redovisningsfrågor förefaller ha tagits upp, men kanske mer sådana som knöts till vad vi i dag möjligen skulle tala om som prestationsredovisning, till exempel antalet inköpta kor vid Ultuna eller statistik över fångarnas arbete i fängelserna. Fredrik Sterzel beskriver utvecklingen av verksamheten i termer som bekräftar Ullenhags bild. Den räkenskapsgranskning som förekom inom Riksdagens revisorer minskade undan för undan i betydelse. Detta innebar att ”granskningen från allmänna besparings-

10 Cassel 1996, s. 92.

11 Fredriksson 1980, s. 58.

12 Sterzel 2003, s. 17.

13 Cohn 1966, s. 73, Fredriksson 1980, s. 60.

14 Cassel 1996, s. 93.

15 Ullenhag 2003.

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

2017/18:URF2

och rationaliseringssynpunkter (kom) att träda i förgrunden. Sådan granskning kom att dominera från slutet av 1930-talet”.16

Den revisionsverksamhet regeringen förfogade över hade en mera kameral inriktning. Och redan i början av 1900-talet, ungefär samtidigt som auktorisation och oberoende diskuterades på den privata sidan17, fördes en diskussion om den statliga revisionens inriktning. Utvecklingen av revisionen i de olika delarna av samhället hade uppenbarligen även en del gemensamt, vilket tydliggjordes genom att det i flera av de utredningar som behandlade den statliga revisionen också ingick ledande revisorer från den privata sidan.18 Även Riksrevisionsverket som inrättades 1961 hade en kameral inriktning. 1966 beskrev Riksrevisionsverkets dåvarande generaldirektör Gösta Renlund i en intervju verksamheten vid verket med att det sysslar med ” kontroll av statens finanser, dess bokföring och en hel del statistik som har med dessa finanser att göra”.19 Vad sakrevisionen är inriktad på beskriver regeringen några år senare:

Vid den sakrevisionella granskningen kontrollerar Riksrevisionsverket i första hand att de åtgärder eller förhållanden som föranlett kostnader är motiverade och ändamålsenliga. Liksom vid den kamerala granskningen infordras vid behov handlingar som kompletterar räkenskaperna i ett eller annat avseende. Vidare kontrollerar man t.ex. att lämpliga inköpskällor använts och att så förmånliga priser som möjligt erhållits. Vid den sakrevisionella granskningen tillses även att ersättningar för hyror, arrenden, uppdrag m.m. som skall inbetalas till staten är upptagna till skäliga belopp. Som ett led i den sakrevisionella granskningen ingår även besök hos myndigheterna.20

Det fanns därmed långt fram i tiden en verksamhetsmässig uppdelning mellan det som gjordes av Riksdagens revisorer och vad som gjordes i det revisionsorgan som regeringen förfogade över. Regeringens organ var inriktade på räkenskapsrevision och Riksdagens revisorers granskning avsåg mera själva verksamheten.

Genom Riksdagens revisorer ställdes således frågor som gällde själva verksamheten av den statliga revisionen redan under tidigt 1900-tal och till och med tidigare. Detta innebär dock inte att dagens effektivitetsrevision kan ses som utvecklad från dessa tidiga ansatser. Framväxten av den effektivitetsrevision som Riksrevisionen bedriver i dag har i stället att göra med en idémässig import från USA. Den förvaltningsrevision, för att använda den dåtida benämningen, som började bedrivas i slutet av 1960-talet var ett strategiskt medel i införandet av ett nytt styrsystem inom staten. Detta skeende har beskrivits av flera författare, bland annat Erik Amnå och Göran Sundström.21 Det budgetsystem som några år tidigare år hade utvecklats av Rand, en amerikansk tankesmedja som under 1960-talet framför allt arbetade åt det amerikanska försva-

16Sterzel 2003, s. 36.

17Cassel 1996, s. 93.

18Cassel 1996, s. 93.

19Cohn 1966, s. 74.

20Prop 1966/67:79, s. 5.

21Amnå 1981 och Sundström 2003.

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

ret, kom under namnet Program Budgeting att importeras till Sverige. I Sverige kom det att uppfattas som lösningen på en rad problem. Den byggde på föreställningar om en stark åtskillnad mellan värdemässiga politiska mål och politikens genomförande som var en teknisk och vetenskaplig fråga. Stefan Lindström beskrev i en rapport till den förvaltningspolitiska kommissionen programbudgeteringens framväxt:

Det var den amerikanska programbudgeteringen som utgjorde inspirationskällan för det svenska reformarbetet. En viktig grund var också det arbete som bedrivits inom bl.a. FOA med att utveckla operationsanalysen och senare systemanalysen. Operationsanalysen hade utvecklats i Storbritannien och USA under kriget. Den var ett försök att med matematiska metoder lösa olika slags militära och logistiska problem. Ledande forskare hade engagerats i de s.k. krigsansträngningarna och förelagts problem om hur konvojer skulle organiseras och jaktﬂyg fördelas på olika ﬂygfält. Efter kriget kom RAND Corporation, det amerikanska ﬂygets think-tank, att bli ett centrum för vidareutvecklingen av dessa idéer och en rik ﬂora av riktningar uppstod. Objektet för metoderna var inte längre bara försvarsmakten utan också den civila förvaltningen och näringslivet. De problem som skulle bearbetas var därmed av en annan och betydligt mera komplicerad art. Operationsanalysen utvecklades till systemanalys som i sin tur kom att inspirera cost-beneﬁt analys (CBA), policyanalys m.m. Det också vid RAND som programbudgeteringen utvecklades.22

Här ska inte diskuteras vilket faktiskt genomslag programbudgeteringen fick i statsförvaltningen. Det går dock en, åtminstone tämligen, rak linje mellan programbudgeteringen och senare reformer som mål- och resultatstyrning liksom mycket av idéinnehållet i det som under 90-talet kom att beskrivas som New Public Management.23

I efterhand kan det möjligen uppfattas som märkligt att programbudgeteringen sågs som så okontroversiell, även om Sundström konstaterar att Gunnar Sträng förefaller att ha haft en mera reserverad syn på saken. Programbudgetutredningen, som kan betraktas som det grundläggande dokumentet, saknar dock varje ansats till kritisk analys. I ett par stycken konstateras att ”mera principiell kritik” hade framförts av Charles Lindblom och Aaron Wildavsky. Kritiken avfärdas dock raskt, på mindre än en trycksida, och på ett sätt som knappast kan ha ökat läsarnas förståelse för de mera principiella frågor som lyfts fram i kritiken.24 Utan tvekan skrevs Programbudgetutredningen av entusiastiska reformatörer.

Riksrevisionsverket (RRV) blev ett av de centrala redskapen i det reformarbete som påbörjades. Redan innan Programbudgetutredningen presenterades föreslog RRV:s då nytillträde generaldirektör Lars Lindmark en total omläggning av den statliga revisionen, dess roll och dess konkreta verksamhet. Kronologin i den efterföljande reformprocessen har fixerats av andra författare. Emellertid sammanfördes så småningom ett knippe av idéer kring styrning och budgetering till det som kom att kallas Statens ekonomiadministrativa synsätt

22Lindström 1997, s. 21 – 22.

23Se till exempel Lanes diskussion 2000, särskilt s. 28.

24Programbudgetutredningen 1967, s. 75 – 76.

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

(SEA) – en tekniskt klingande benämning som kan förmodas ha dolt det förhållandet att det här var fråga om någonting som byggde på föreställningar som både gällde samhällets styrbarhet och relationen mellan förvaltning och politik, men också närmast kunskapsteoretiska frågor. I SEA:s skrifter från 1970-talet finns många av de pedagogiska grepp och beskrivningsmodeller som återkom under de följande decennierna. Resultatanalys, verksamhetsplanering och genomförande beskrevs som en ständigt pågående process, ofta illustrerad som en snurra. En särskild skrift ägnades åt mål och målnedbrytning. Relationen mellan statens intentioner för samhällsutvecklingen och den handfasta verksamheten i myndigheterna beskrevs i termer av ett självreglerande system. Synen på politiken antyds då man framhåller att planeringen måste utformas ”så att den kan anpassas till framtida värdeförändringar. Från planeringssynpunkt skulle det därför vara av stor vikt om man klarare än som sker idag sade ifrån om de formulerade målen är realiserbara med nuvarande värderingar eller om de kan realiseras endast genom värdeförändringar och således måste betraktas som utopiska i nuläget”.25

RRV och Statskontoret var både konstruktörer och pådrivare av de förändringar som skulle ske av den statliga förvaltningen. RRV skulle föra ut synsätt och tekniker. Detta innebar både att mera övergripande idéer och koncept skulle konkretiseras genom olika utvecklingsinsatser och en rad informationsinsatser. Genom dessa skulle de statliga tjänstemännen fås att tänka på ett nytt sätt.

Revisionen skulle vara en del i ett system för att säkra återkoppling av information om tillståndet i den statliga verksamheten. ”Revisionens expertuppgift är att avge omdömen som kan utgöra insiktsfulla och konstruktiva bidrag i den ständiga dialogen mellan statsmakterna och myndigheterna om bästa sättet nå ändamålen med den statliga verksamheten” heter det i en central skrift från RRV 1970.26 Citatet ger uttryck för att förvaltningsrevisionen, trots sitt namn, inte beskrevs och diskuterades i termer av revision. Det handlade om att ge återkoppling och medverka i en dialog i kraft av sin expertkompetens.

För att skapa förutsättningar för denna omorientering skulle den mer kamerala revisionen, liksom den sakrevision som tagits över från Statens sakrevision, föras bort från RRV till särskilda revisionskontor som var knutna till vissa värdmyndigheter. Först 1986 återfördes denna kamerala revision till RRV.27 Originaliteten i detta arrangemang bör framhållas; det är tveksamt om en liknande lösning valts i något annat land.

Det som skedde i slutet av 1960-talet och några år in på 70-talet var alltså en kraftfull omdaning från en revision som, så får väl Rehnlunds beskrivning tolkas, ägnade sig åt räkenskaper och siffror till en revision som såg sig som ett instrument i en omdaning av samhället. Sundström konstaterar att ”RRV

25RRV 1976, s. 38.

26RRV 1970, s. 164.

27Cassel 1996, s. 93.

2017/18:URF2

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	hade således på bara några få år förvandlats från ett traditionellt perspektivlöst
	’kontrollorgan’ till ett toppmodernt och slagkraftigt ’reformorgan’ ”.28
	Utvecklingen av Riksdagens revisorer kom att följa utvecklingen av Riks-
	revisionen på så sätt att den effektivitetsrevision som under de följande decen-
	nierna bedrevs av riksdagens revisorer, även här först under benämningen för-
	valtningsrevision kom att likna RRV:s. Beskrivningar av den verksamhet som
	bedrevs av riksdagens revisorer indikerar inte avgörande skillnader i synen på
	effektivitetsrevisionen i de olika revisionsorganen.29 Även den bild som getts
	av Ahlbäck bekräftar detta, en annan sak är hennes intressanta observation att
	Riksdagens revisorer under den period hon studerat kan bedömas ha varit mera
	oberoende i sina granskningar än RRV.30 Likheterna mellan effektivitetsrevi-
	sionen i de två statliga revisionsorganen kan möjligen också ha medverkat till
	att den dualism mellan personalen från tidigare organisationer, som ofta kvar-
	står under lång tid efter organisationssammanslagningar, i fallet med Riksre-
	visionen mycket snart försvann och i stället kom att omvandlas till en spänning
	mellan personalen och ledningen. Bringselius sammanfattar förloppet då hon
	konstaterar att ”personnel in the two merging organizations were quite easily
	united when opposition against management increased”. 31
	Den historiska framväxten av effektivitetsrevisionen innebär att den, åt-
	minstone vad gäller RRV, kom att starkt präglas av tanken att effektivitetsre-
	visionen i första hand skulle bidra till förbättring och inspiration. I en beskriv-
	ning av synsätten inom RRV illustrerar Summa och Pollitt detta med ett citat
	från en RRV-skrift om RRV:s verksamhet och särskilt avseende effektivitets-
	revisionen: ”From a holistic point of view information and new viewpoints
	will be intermediated which can seve as inspiration to change and re-priori-
	tization of state activities. Effective auditing gives incentives to effectiveness
	and thus fills for the public sector the same role as competition for market
	driven activities.32 Citatet styrker att effektivitetsrevisionen inom RRV inte
	diskuterades i termer av en leverantör av nya kunskaper och insikter som
	skulle påverka aktörer inom staten att handla bättre.

2.2 Några svenska särdrag

Pollitt och Bouckaert gör i sin breda och jämförande översikt Public Management Reform ett försök att beskriva den statliga revisionens utveckling i tre steg, även om de försiktigtvis påpekar att

”these should be regarded as no more than rough approximations to the complexities of detailed practise within each country and sector”.

28Sundström, s. 124.

29Ullenhag 2003, för en ingående beskrivning av en enskild effektivitetsrevision genomförd av Riksdagens revisorer se Rudeberg 2003.

30Ahlbäck 1999.

31Bringselius 2008, s. 282.

32Pollitt och Summa 1997, s. 331.

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

The first stage is that of traditional financial and compliance auditing. Here the basic concern of the auditors is with legally and procedural correctness. Has the money been spent on duly approved objects, through the correct procedures? Is there evidence of unauthorized expenditure or corruption? The second stage is to add investigations of some performance issues but still stay close to financial issues. For example, auditors may be empowered to search for waste, items which have been purchased at unnecessary expense, or items which have been perfectly legally purchased but which are not used very much (the school purchases a computer but no teacher can use it, so it sits in the storeroom). Another extension of traditional audit is to extend it into a deeper questioning of data quality (‘validation’). The figures presented to Parliament or Audit Office may add up, but how reliable are they. Have all transactions been recorded, and recorded accurately? This is, in effect, an audit of the performance of the organization’s internal auditing system. The third stage is the development of full-blown performance auditing as a distinct activity, often with a separate unit or section of the national audit office to develop performance auditing expertise. Full-blown performance auditing may still be concerned with financial issues (economy and efficiency) but it may also move on to look at non-financial performance, for example are visitors satisfied with the national museums, does the national weather bureau forecast the weather accurately?33

Det är inte svårt att känna igen den svenska utvecklingen i denna tre stegsbeskrivning. Några av Ullenhags exempel kan väl sägas vara just ”performance issues” som ligger nära ”financial issues”. Detsamma får väl också sägas gälla den sakrevision som Rehnlund beskrev. Samtidigt visar dock beskrivningen av den svenska utvecklingen att utvecklingen av den svenska effektivitetsrevisionen har haft flera särskiljande, och med varandra sammanhängande, drag.

Det första är att Sverige kan berömma sig av att ha etablerat effektivitetsrevision som en särskild verksamhet mycket tidigt, kanske tidigare än något annat land. Det förefaller dock inte ha lett till att den svenska effektivitetsrevisionen har varit en utgångspunkt eller ett referensobjekt när effektivitetsrevision etablerades i andra länder, som till exempel Storbritannien, Nederländerna osv.

Det andra är att effektivitetsrevisionen etablerades i en organisation som alltså inte bedrev någon annan form av revision. I alla andra länder etablerades den i organisationer som samtidigt bedrev traditionell, eller kameral revision, och redan från början uppstod därför frågor kring relationen mellan effektivitetsrevision och denna traditionella revision.

Det tredje var hur införandet av effektivitetsrevisionen motiverades. Den direkta och uttalade kopplingen till programbudgeteringen fanns inte i till exempel USA, Nederländerna och Storbritannien. I dessa länder sågs i stället etablerandet av effektivitetsrevision som en viktig del i, eller som en strategi för, införandet av utvärdering i den statliga verksamheten. Så var alltså inte fallet i Sverige. En illustration av detta är att i den omfattande skriften (224 sidor) Förvaltningsrevision, utgiven av RRV 1970, nämns över huvud taget

33 Pollitt och Bouckaert 2011, s. 86.

2017/18:URF2

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	inget av den amerikanska litteraturen kring utvärdering och inte heller den vid
	denna tidpunkt begränsade svenska litteraturen.34
	Även om både utvärdering och programbudgetering kan ses som utflöden
	av samma amerikanska tradition var inte skillnaden oviktig. I fallet med USA
	är det notabelt att när den dåvarande GAO-chefen Elmer Staats introducerade
	program utvärdering i GAO 1970, beskrevs denna inte i termer av revision
	utan just som utvärdering.35 Verksamheten bedrevs i en särskild organisation
	inom GAO som till att börja med kallades The Institute for Program Evalua-
	tion (IPE). Eleanor Chelimsky som under många år kom att leda denna verk-
	samhet talade om att hon rekryterade människor från en ”mix of evaluative
	disciplines… not only psychologists and sociologists, but also economists,
	engineers, environmental researchers, and so on”.36 I Nederländerna fick Al-
	gemene Rekenkamer under 1980-talet en central roll i att följa och påskynda
	utvecklingen av utvärdering, och flera forskare med bakgrund i utvärdering
	rekryterades.37 Algemene Rekenkamer fick på samma sätt som GAO en viktig
	roll i att etablera synsätt och metoder hämtade från utvärdering. I Storbritan-
	nien skapas National Audit Office (NAO) 1981, och genom National Audit
	Act 1983 vidgas NAO:s uppgifter till att innefatta ”ecconomy, efficiency and
	effectiveness of departmental operations”.38 Det förefaller dock, och här får
	det erkännas att tolkningen inte är självklar, att utvecklingen av effektivitets-
	revisionen i Storbritannien (som där beskrevs som Value for Money Audit)
	var en utveckling som var starkare knuten till den traditionella finansiella re-
	visionen än motsvarande utveckling i USA och Nederländerna.
	Att den svenska effektivitetsrevisionen i hög grad får ses som en del av en
	strategi att implementera programbudgeteringen gjorde att den startade med
	andra utgångspunkter än vad som var fallet i en del andra länder. Den svenska
	effektivitetsrevisionen blev dock snabbt påverkad av den på framväxande ut-
	värderingsvågen och blev i likhet med många motsvarigheter i andra länder
	inte bara en del av denna utan också en central kraft i spridningen av en utvär-
	deringspraktik i respektive land.39 Derlien beskriver också the Supreme Audit
	Institutions som en central förändringsagent i etablerandet av denna praktik.40
	I Sverige kom detta till uttryck genom att Riksrevisionsverket gav ut hand-
	ledningar och genomförde utbildningar om just utvärdering. Möjligen blev
	just denna roll särskilt accentuerad i Sverige genom att en särskild avdelning
	inom RRV svarade för de verksamheter som den 1 juli 1998 överfördes till
	Ekonomistyrningsverket. Inom denna avdelning var just stöd till myndigheter
	genom utveckling av utvärderingsmetoder, information och utbildning viktiga
	verksamheter.

	34 RRV 1970.
	35 Chelimsky 1997, Oral History Project Team 2009, s.237.
	36 Chelimsky/Miller 2009, s. 237.
	37 Bemelmans-Videc m.fl. 1994, s. 162 – 165, Bemelmans-Videc 2002 samt egna samtal med
	befattningshavare.
	38 Gray & Jenkins 1993, s. 55.
	39 Sandahl 1993, Vedung m.fl. 2000.
	40 Derlien 1990, s.162.
74

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

2017/18:URF2

3 Begränsad forskning om effektivitetsrevisionen

På nationell nivå har, med undantag för Sverige, effektivitetsrevision, eller performance audit, etablerats i organisationer som i huvudsak ägnar sig åt traditionell revision. I vissa fall, till exempel Finland, Frankrike och Storbritannien sågs den som en utvidgning av den revision som traditionellt bedrivits i respektive organisation.41 I andra fall sågs den som en ny helt verksamhet – evaluering (utvärdering) – och inte som revision över huvud taget; detta var särskilt fallet i USA när den på 60-talet etablerades inom GAO. Samtidigt var effektivitetsrevisionens egen relation till evaluering, eller utvärdering som man började säga i Sverige under 1970-talet, oklar. Trots detta blev en viktig uppgift för performance audit, under 1980- och 1990-talen, att etablera utvärdering i olika länders förvaltningar. Sedan 1990-talet har också performance audit varit en viktig del i en moderniseringsvåg av Public Administration som inte minst haft organisationer som OECD och Världsbanken som entreprenörer.

Effektivitetsrevision växer således fram i ett landskap av oklara gränser och influenser. Detta, liksom blandningen av människor från olika traditioner, i kombination med de många officiella uttalandena om vikten av effektivitetsrevision, gör att man möjligen skulle kunna förvänta sig en livlig debatt om hur denna verksamhet kan beskrivas, vad som är dess syften och de mekanismer genom vilka dessa syften kan nås. I verkligheten är det dock slående hur lite forskning som finns om effektivitetsrevision. Detta blir tydligt inte bara i jämförelse med till exempel ett område som utvärdering, utan också med ett fält som Public Administration. Även om det är står klart att varje försök att mäta omfattningen av forskningen om effektivitetsrevision leder till frågor om avgränsningar och definitioner, kan det påstås att de artiklar och böcker som publicerats om effektivitetsrevision ryms i tämligen normalstora bokhyllor. De litteraturöversikter som publicerats motbevisar inte detta påstående.42

I de följande kapitlen kommer det att hänvisas till många bidrag till den existerande forskningen om effektivitetsrevision. I detta kapitel ska dock ges en mycket översiktlig bild av inriktningen på denna forskning.

3.1 Vad forskas det om?

Den forskning som finns gäller oftast frågor som är principiellt betydelsefulla utifrån förhållanden i en eller några enstaka länder.43 I en artikel år 2008

41Pollitt et.al. 1999, Appendix 3.

42Eurosai 2016, Tremblay och Malsch 2016.

43Till exempel Ahlbäck 1999, Keen 1999, Morin 2004, Put 2011, Sharma 2007, Reichborn- Kjennerud 2014a, Reichborn-Kjennerud 2014b, Raudla m.fl. 2015, Jeppsen m.fl 2017.

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

noteras mera allmänt att “up till now, the – very small – available empirical literature has focused om analyzing the effects of SAI:s within countries”.44 Den forskning som finns fokuserar ofta också på jämförelser – likheter och skillnader – mellan effektivitetsrevision och utvärdering. Detta har rimligen samband med att en stor del av debatten om effektivitetsrevision har initierats av personer som är verksamma inom utvärderingsområdet, och olika inlägg har publicerats i litteratur (tidskrifter och böcker) som i första hand vänder sig till praktiker och forskare inom utvärdering. Detta är till exempel fallet när New Directions for Evaluation gav ut ett särskilt nummer med titeln ”Evaluation and Auditing: Prospects for Convergence” eller Maynes artikel ”Audit and evaluation in public management: challenges, reforms and different roles”

i Canadian Journal of Program Evaluation.45

Exemplen illustrerar också ett allmänt förhållande. Den avsaknad som tidigare nämnts, av tidskrifter, forskningskonferenser och så vidare kring effektivitetsrevision gör att det inte finns till exempel forskningsmiljöer, tidskrifter som är särskilt inriktade på effektivitetsrevision. Artiklar och diskussioner om effektivitetsrevision förs därmed i tidskrifter och på konferenser inom andra forskningsområden. De två mest framträdande är inom utvärdering och public administration. Om man ser på referenserna i olika artiklar kring effektivitetsrevision avser huvuddelen bidrag av författare som också är verksamma inom dessa områden. Härutöver återfinns artiklar om effektivitetsrevision i tidskrifter som är inriktade på revision i allmänhet.

Om beskrivningen av den befintliga litteraturen om effektivitetsrevision utvecklas något är det möjligt att skilja mellan fyra olika aspekter.

•Grundläggande föreställningar; Effektivitetsrevisionens underliggande rational/logik, föreställningar om hur effektivitetsrevisionen kan påverka administrativa och politiska system.

•Skillnader i institutionella och historiska förutsättningar för olika länders effektivitetsrevision (juridisk reglering, relation till parlamentet, tillgång på information och så vidare).

•Praktiken i olika nationella revisionsorgan; Metoder och tekniker som används, vad som granskas, vilka frågor som ställs och vilka bedömningskriterier som tillämpas, hur rekommendationer och analyser används.

•Hur skillnader mellan olika nationella revisionsorgans tillvägagångssätt kan förklaras.

Den litteratur som finns fokuseras på de tre senare aspekterna, och möjligen mest den tredje. Det är emellertid få bidrag som ställer frågor kring grundläggande föreställningar om effektivitetsrevision och dess roll i ett vidare demokratiskt sammanhang. Det betyder inte att detta inte alls har tagits upp i diskussionen.46 Trots detta kan vi påstå att forskning, och mera allmän debatt, om

44Blume och Voigt 2010, s. 216.

45Wisler 1996 resp. Mayne 2006.

46I viss utsträckning diskuteras dessa frågor till exempel av Leeuw 1996, Barzalay 1996, Schwartz 1999, Mayne 2006, Lonsdale och Bemelmans-Videc 2007, Ling 2007, Furubo 2011, Leeuw 2011.

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

effektivitetsrevision mest har gällt verksamheten i enskilda nationella revisionsorgan och ibland jämförelser mellan dem.

Det är alltså inte så att vi kan gå till litteraturen och snabbt finna klara, och allmängiltiga, svar på frågan om vad effektivitetsrevisionen ”handlar om”. Däremot kan den litteratur som finns hjälpa oss att förstå olika synsätt och argument.

3.2 Hur kan detta förklaras?

En möjlig förklaring till att forskningen om effektivitetsrevision är så begränsad är att den historiskt förknippas med den statliga revisionen, som vanligen utförs av endast en organisation i varje land. Performance audit har därmed helt enkelt blivit det som dessa organisationer valt att kalla effektivitetsrevision. Denna knytning till en organisation, en arbetsgivare, kan också ha bidragit till att det aldrig uppstått professionella organisationer eller andra fora för dem som bedrivit effektivitetsrevisionen. Det kan till exempel noteras att det inte finns någon tidskrift (journal) som ägnar sig åt effektivitetsrevision medan det finns ett stort antal utvärderingstidskrifter och tidskrifter för vanlig revision.

En annan tänkbar förklaring är att effektivitetsrevisionens roll under lång tid kan ha uppfattats som tämligen oproblematisk. Effektivitetsrevisionen var inte enbart en utvärderare bland många andra utan en dominerande aktör i det europeiska utvärderingslandskapet, något som bland annat framhållits av Derlien.47 De nationella revisionsorganens roll som entreprenör för utvärdering inom staten gjorde att det inte fanns någon anledning, vare sig för dessa organ själva eller för omvärlden, att särskilja det de propagerade för från det de själva gjorde.

3.3 Är detta ett problem?

En berättigad fråga är dock om den bristande forskningen om effektivitetsrevision och de skiftande uppfattningarna om vad den handlar om har varit ett problem. Mycket tyder på att så inte har varit fallet. Tvärtom är det kanske till en del just det förhållandet att effektivitetsrevisionens närmare innebörd har kunnat uppfattas på olika sätt som förklarar dess internationella spridning. Och litteraturen indikerar inte heller att ledningarna för olika nationella revisionsorgan eller deras uppdragsgivare sett detta som ett problem.

Under de senaste 15–20 åren har dock situationen förändrats i flera viktiga avseenden. Sammantaget har dessa förändringar gjort att oklarheten om vad effektivitetsrevisionen är kan ses som problematisk, både för uppdragsgivarna och för effektivitetsrevisionen själv.

47 Derlien 1990

2017/18:URF2

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	• En kraftfull ökning av utvärderingar. Några tillförlitliga siffor på hur
	mycket som utvärderas finns inte, resultatet av varje sådan beräkning beror
	på olika definitioner. För svenskt vidkommande har det dock antagits
	handla om ett antal miljarder.48
	• En institutionalisering av utvärderingar. Detta kan beskrivas i termer av
	”from studies to streams” och att det i ökande grad har skapats system för
	utvärdering.49 Denna institutionalisering har också starkt påverkats av de
	synsätt som sammanförts under etiketten New Public Management
	(NPM). I detta sammanhang kan vi också notera, inte minst i Sverige, att
	antalet utvärderingsmyndigheter, med lite olika benämningar har ökat.50
	• En växande diskussion och forskning om fenomen som utvärdering och
	revision. Ofta hänvisas här till Powers diskussion om the audit society.51
	Ett stort antal analyser har påvisat negativa sidoeffekter av utvärdering lik-
	som begränsningar i användbarheten av utvärderingarna.52 Den debatt som
	har förts under ungefär två decennier om negativa sidoeffekter både av
	olika performance measurement systems och utvärderingssystem träffar
	till en del också effektivitetsrevisionen, inte minst eftersom många nation-
	ella revisionsorgan uppfattats som entreprenörer för dessa idéer.
	• Ett ifrågasättande av många av de föreställningar om ”public administ-
	ration” som präglade forskning och diskussion under de år effektivitetsre-
	visionen växte fram, och som till en del kan ses som ”inbäddade” i effek-
	tivitetsrevisionen. I detta sammanhang bör det påpekas att det finns ett
	komplext samband mellan effektivitetsrevision och de synsätt, nyss
	nämnda, som växte fram inom offentlig förvaltning under i synnerhet
	1980-talet och som senare sammanfördes under etiketten New Public Ma-
	nagement (NPM). NPM påverkade effektivitetsrevisionen på flera sätt.
	Som framgått tidigare fick i flera länder, inklusive Sverige, de nationella
	revisionsorganen en roll i att genomföra de styrformer som växte fram un-
	der 1980-talet. Put har genom att analysera granskningar genomförda av
	de nationella revisionsorganen i Nederländerna och Storbritannien studerat
	hur de påverkats av olika karakteristika som associeras med NPM.53 De
	skillnader han kan konstatera kan förklaras av omfattningen av olika NPM-
	reformer i de olika länderna. Motsvarande studier av den svenska effekti-
	vitetsrevisionen finns inte. Det framstår emellertid inte som orimligt att

	48 För mer än tio år sedan genomförde Kim Forss på Styrutredningens uppdrag en studie i
	vilken kostnaderna för utvärdering inom staten skattades. Den avsåg utvärdering utförd inom
	myndigheter och Regeringskansliet och beräknade kostnaderna för denna till cirka 2 miljar-
	der. Här ingick dock inte all statlig utvärderingsverksamhet och utredningen konstaterade att
	en rimlig bedömning var att kostnaderna uppgick till mellan 2 och 3 miljarder (Styrutred-
	ningen 2007, s. 141). Stora delar av kommunal utvärderingsverksamhet ligger dock utanför
	också denna siffra. Även om exakta beräkningar av olika skäl är svåra att göra ligger kostna-
	derna för utvärdering i Sverige i vart fall på ett antal miljarder.
	49 Rist och Stame 2006, Leeuw och Furubo 2008.
	50 Statskontoret 2014, Sandahl 2018.
	51 Power 1994, Power 1997 och Power 2000.
	52 Se till exempel de Bruijin 2007, Leeuw 2011, Pollitt och Bouckaert. 2011, Johansson och
	Lindgren 2013 och Lindgren 2014.
	53 Studie av Put refererad i Put och Bouckaert 2013, s. 230.
78

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

anta att NPM starkt påverkat uppfattningen om vad effektivitetsrevisionen ska ställa för frågor och valet av bedömningskriterier.

•En debatt om sådana begrepp som accountability och ansvar. Inte minst gäller detta frågan om olika former av accountability och, vilket nämnts, vilka negativa effekter dessa kan ha men också mera teoretiska frågor.54

•Performance auditing görs i allt fler sammanhang. Detta är inte något helt nytt. Det kan dock hävdas att medvetenheten ökat om att effektivitetsrevision inte bara görs av de nationella revisionsorganen. Det finns i dag flera studier som fokuserar på effektivitetsrevision i delstater, provinser, kommuner etc.55

Den omvärld i vilken effektivitetsrevisionen verkar har alltså förändrats i viktiga avseenden. Effektivitetsrevisionen har i allt högre grad blivit ett av många sätt att bedriva utvärdering, tillsyn, inspektion, granskning och så vidare. Samtidigt problematiseras mycket av det som tagits för givet kring både utvärdering och revision. Detta kan förväntas leda till ökade krav på att klargöra vad effektivitetsrevisionen är och hur den antas verka och bidra till statens verksamhet.

Vad gäller effektivitetsrevision tillkommer också en särskild omständighet. Effektivitetsrevision har, jämfört med andra utvärderingssätt, getts en särskild organisatorisk exklusivitet. I Sverige innebär denna att ansvaret för effektivitetsrevision inom staten ligger på de tre riksrevisorerna. Deras position är reglerad i regeringsformen och ingen, inte heller riksdagen, kan bestämma vilka frågor som effektivitetsrevisionen ska ställa. Och utöver detta finns särskilda procedurer som garanterar att Riksrevisionens rapporter hanteras av riksdagen och att regeringen svarar på vad som framförs i olika granskningar. Det kan hävdas, och här förs en normativ ståndpunkt in, att just denna position gör att både Riksrevisionen och dess uppdragsgivare måste ha en klar bild av varför en effektivitetsrevision behövs och på vilket sätt den kan bidra till att förbättra den statliga verksamheten.

54Se till exempel Pollitt och Bouckaert 2011 och olika kapitel i Osborne 2010 och Bovens 2014.

55Weets 2011.

2017/18:URF2

2017/18:URF2 BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

4 Analyser av statens verksamhet – olika syften med olika konsekvenser

Det finns en fråga som ställs med samma frenesi både av de som är verksamma inom effektivitetsrevisionen och av de som forskat om effektivitetsrevision. Den gäller vad som skiljer effektivitetsrevision från andra verksamheter som, för att uttrycka det lite vagt, sysslar med ungefär samma saker. Frågan har dessutom blivit viktigare genom expansionen av verksamheter som benämns som utvärdering, granskning, tillsyn och så vidare. Forskare har gjort försök att besvara denna fråga genom att jämföra till exempel rapporter från organisationer som beskriver sin verksamhet som utvärdering respektive effektivitetsrevision. Detta har dock hittills gjorts i begränsad utsträckning.

Det går också att nalkas frågan genom att utifrån en definition av effektivitetsrevision diskutera vad som bör skilja denna från andra liknande verksamheter. Det problem som vi då ställs inför är att svaret på frågan kommer att bero på hur vi valt att definiera effektivitetsrevisionen. Mot varje svar som ges blir det möjligt att invända att ”jo, det kanske är riktigt om man definierar effektivitetsrevision som du gör, men eftersom jag inte har samma uppfattning om vad effektivitetsrevision är så håller jag inte alls med”. Och som framgått redan i föregående kapitel finns det olika uppfattningar om hur effektivitetsrevision definieras, och en analys om vad som särskiljer effektivitetsrevisionen leder därför lätt in i en återvändsgränd.

För att undvika denna fälla kommer jag därför att i ett första steg diskutera vad som särskiljer eller utmärker effektivitetsrevision på ett mera öppet sätt. Detta innebär att jag i stället för att utgå från en bestämd definition av effektivitetsrevisionen utgår från att utvärderingar/analyser/undersökningar av statlig verksamhet kan ha olika syften oavsett hur de benämns. Med denna utgångspunkt kommer jag därefter att diskutera vilka konsekvenser olika syften får, till exempel i avseende på valet av vilka frågor som ställs, valet av metoder och – inte minst viktigt – synen på analytikerns oberoende.

En fråga som inställer sig när diskussionen förs på detta sätt, blir vad vi ska använda för allmän beteckning på de utvärderingar/analyser/undersökningar som är inriktade på statlig verksamhet. En lösning är att använda utvärdering som en slags paraplyterm. Det är rimligt eftersom de konkreta produkterna som levereras av de organisationer som bedriver effektivitetsrevision, oavsett hur vi närmare definierar den, kan sorteras in under rubriken utvärdering.

Det beror på att det gemensamma för de många definitionerna av utvärdering är att de är mycket breda. En av utvärderingsforskningens förgrundsgestalter Michael Scriven svarar för den kanske bredaste definitionen, som också

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

återfinns i åtskilliga läroböcker: ”Evaluation refers to the process of determining merit, worth, or value of something, or the product of that process”.56 Utan att här diskutera den närmare innebörden av Scrivens definition är det inte svårt att se att effektivitetsrevision täcks av denna. Detsamma gäller åtskilliga av de definitioner som andra utvärderingsteoretiker presenterat. Weiss, och många andra, har också valt att definiera utvärdering i förhållande till ett särskilt fenomen, nämligen ”programs and policies”. Weiss definierar utvärdering som the systematic assessment of the operation and/or outcomes of a program or a policy, compared to a set of explicit or implicit standards, as a means of contributing to the improvement of the program or policy (kursiveringar i orginalet).57 Vedungs definition är att utvärdering är en ”noggrann bedömning i efterhand av utfall, förvaltning och beslutsinnehåll samt organisering av offentlig verksamhet, vilken tänkes spela en roll i praktiska beslutssituationer.”58 De två senare definitionerna tar fasta på att utvärdering handlar om bedömning i efterhand. Även om detta inte är en oomtvistad uppfattning så torde det dock stämma väl med kravet i lagstiftningen att granskningen avser ”den verksamhet som bedrivs”.59 Andra definitioner än de som nämnts ovan betonar också aspekter som rör utvärderingens relation till forskning, och Rossi et al inför villkoret att det handlar om ”use of social research procedures”.60 Formulerat på detta sätt kan effektivitetsrevisionens rapporter fortfarande ses som utvärderingar. Oftast kommer därför i detta kapitel utvärdering att användas som en övergripande benämning.

Utvärderingar inriktade på offentlig verksamhet har som ett överordnat mål att bidra till att förbättra statens verksamhet. Det är, som här getts exempel på, till och med en del i många definitioner av utvärdering. Förbättring kan dock ske på olika sätt och det är därför möjligt att ringa in olika syften eller funktioner som utvärdering mera precist kan ha. Dessa avspeglar olika uppfattningar om hur bättring kan komma till stånd på olika sätt och hur utvärderingar kan påverka människor och organisationer. Det är därför också möjligt att tala om olika förbättringsstrategier.

Möjligen kan läsaren tycka att det är lite märkligt att i ett kapitel som är en del av diskussionen om effektivitetsrevisionens särart fortsättningsvis inte nämna ordet effektivitetsrevision. Förhoppningen är att detta ska underlätta den fortsatta diskussionen om vilka syften som effektivitetsrevisionen bör ha.

56Till exempel i Scriven 1991, sid. 139. Scriven använder i andra sammanhang significance som synonym till value, se Scriven 2003, s. 15.

57Weiss 1972a, s. 4.

58Vedung 2009, s. 22.

592 §, lag om revision av statlig verksamhet m.m.

60Rossi m.fl. 1999, s. 4.

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

4.1 Olika syften

I den diskussion som förs i utvärderingslitteraturen är frågan om utvärderingens olika syften och konsekvenserna av olika syften central.61 Det finns naturligtvis inte någon indelning som på ett självklart sätt är riktigare än någon annan. Vilken indelning som är fruktbar att använda beror på vad diskussionen handlar om. I den kommande diskussionen ska skiljas mellan fyra olika syften. Det ska dock här skjutas in, för undvikande av missuppfattningar, att syften inte behöver sammanfalla med användning. Frågan om den faktiska användningen av utvärdering, till exempel rituell sådan, tas inte upp i detta sammanhang.

Ett syfte är att förbättra hur olika uppgifter utförs på en operativ nivå, det vill säga att bidra till att mera handfast förbättra eller utveckla verksamheten, syftet kan beskrivas som verksamhetsfrämjande. Det kan handla om hur ansökningar behandlas i en myndighet, genom vilka kanaler man når ut till olika grupper i en statlig informationsinsats, konstruktionen av tjänstgöringsscheman och så vidare. Det handlar om att identifiera styrkor och svagheter i syfte att visa på hur olika uppgifter kan utföras bättre. Ett annat syfte kan vara att förbättra statliga verksamhet på en mera övergripande nivå. Gränsen mellan dessa två kategorier är förstås inte alltid klar och i många fall kan denna finfördelning av syften te sig överflödig. Den framstår dock som praktisk i detta sammanhang. Ett exempel kan tydliggöra skillnaden. En analys som kan vara användbar i utformningen av en kampanj som syftar till att reducera rökning bland ungdomar (formulering av budskapet, valet av kanaler och så vidare) kan föras till den första kategorin. En analys som inriktas på relationen mellan information och andra styrmedel, som till exempel skatter och olika förbud skulle vi rimligen placera under den senare kategorin. Gränsen är därför åtminstone delvis korrelerad med beslutsnivåer. Mera policyorienterade frågor tänker vi oss vanligen också fattas på högre administrativa eller politiska nivåer än de som handlar om själva genomförandet. Utvärderingar kan därför också ha ett mera policyinriktat syfte och beskrivas som policyfrämjande.

Men syftet med utvärderingar av statlig verksamhet kan också vara att informera överordnade nivåer – till exempel medborgarna, riksdagen och regeringen – om hur väl olika verksamheter genomförs till exempel med avseende på hur väl resurser används och i vilken utsträckning det som görs uppfyller olika krav. Syftet är i detta fall att ge ett underlag för att bedöma hur organisationer och befattningshavare fullföljt sina skyldigheter. En viktig del av sådana utvärderingar är att knyta ansvaret för tillkortakommanden och misslyckanden till olika åtgärder som genomförts, eller kanske inte genomförts, av dessa organisationer eller befattningshavare. Det gäller då också att undersöka om dessa aktörer haft faktiska möjligheter att undvika dessa misslyckanden eller tillkortakommanden genom att agera på andra sätt. Och i motsatt fall handlar det om att ta reda på om en framgång kan länkas till hur en organisation eller person agerat.

61 Exempel på indelningar finns i Patton 2008, Halvorsen m.fl. 2016, Stockmann 2016.

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Dessa tre syften har att göra med utvärderingar som är tänkta att användas av individer eller institutioner som på ett eller annat sätt är involverade i den statliga verksamheten. Det är dock även möjligt att tala om ett fjärde syfte som inte omedelbart kan relateras till verksamhetens aktörer. Syftet är i stället att bidra till byggandet av kunskap om hur samhällsproblem kan lösas eller mildras genom olika statliga verksamheter. Utvärderingar kan, lite metaforiskt uttryckt, bidra till den bank av kunskap som kan hjälpa politiker och andra att ta ställning om och på vilket sätt staten kan påverka utvecklingen på olika områden.

Att utvärdering av statlig verksamhet kan ha detta syfte bygger på tanken att statliga verksamheter som har som mål att påverka skeenden i samhället gör detta utifrån en (implicit eller explicit) föreställning om de sociala, biologiska, ekonomiska eller andra mekanismer som på något sätt kan inverka på dessa skeenden. Det kan illustreras med ett enkelt exempel. När staten har försökt påverka människor att sola mindre för att minska frekvensen av malignt melanom, är det uppenbart att informationsinsatserna bygger på föreställningar inte bara om hur solande påverkar risken att drabbas av malignt melanom, utan också om hur människor väger långsiktiga risker mot kortsiktiga fördelar, till exempel hur attraktiviteten påverkas av att vara solbränd. Denna kunskap kan ha byggts upp på många olika sätt. Studier av befintliga verksamheter, olika utvärderingar, är ett sätt. Genom ansträngningarna att förklara varför vissa interventioner lyckats och andra inte, kan bidrag lämnas till denna mera generella kunskap. Det framhålls också inom forskningen om utvärderingen, till exempel när Weiss i en tidig skrift framhåller att under ”appropriate condititions, it [evaluation] can also contribute to the development of basic knowledge […] Finding out how successful these efforts have been, and why, can lead to discoveries about basic concepts of human behavior and social structure – if this research is carried out with care and insight.62 Ett fjärde syfte för utvärdering kan alltså vara kunskapsgenererande och bidra till en slags grundkunskap, för att lite klumpigt, översätta det uttryck Weiss använde.

Detta innebär dock inte att utvärderingar av tidigare statliga insatser är det enda, eller kanske ens det huvudsakliga sättet, att producera sådan kunskap. De flesta, även utvärderingsforskare, skulle inte beskriva en studie av vilka faktorer som påverkar barns läsförmåga, som görs utan något samband med en statlig insats för att förbättra barns läskunnighet, som en utvärdering. Kunskap om varför människor och organisationer (kriminella, statstjänstemän, mindre företag och så vidare) handlar på ett visst sätt och om vilka faktorer som kan påverka deras handlande kan produceras genom forskning i laboratorier, studier av processer i klassrum och på en rad andra sätt som vi inte skulle beskriva som utvärdering, även med de breda definitioner av utvärdering som här har nämnts. Och detta är också fallet om sådan forskning i efterhand faktiskt skulle kunna användas för att konstruera statlig verksamhet. Detta innebär att bedömningar av huruvida ett visst skeende kan påverkas av statliga insatser

62 Weiss 1972a, s. Viii.

2017/18:URF2

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	och i så fall hur dessa ska konstrueras många gånger görs utifrån forskning om
	biologiska, fysiska, psykologiska och andra mekanismer vars framtagande inte
	har varit relaterat till en specifik intervention. Resonemanget är viktigt, inte
	minst i detta sammanhang. Om utvärdering beskrivs som all kunskap som kan
	vara av nytta vid till exempel beslut och genomförande av statliga verksam-
	heter – ja, då blir det liktydigt med näst intill all kunskapsproduktion.63 En helt
	annan sak är att utvärderingar kan använda kunskap från olika vetenskapliga
	studier och att utvärdering i sin tur kan användas av forskare.
	Att utvärderingar av statlig verksamhet kan ha olika syften är förvisso inte
	märkligt. Mer intressant är att diskutera konsekvenserna av olika syften, det
	vill säga på vilket sätt olika syften gör att olika undersökningar skiljer sig från
	varandra, i avseende på vilka frågor som kan ställas, uppläggning och kanske
	också användningen av undersökningen. Diskussionen om detta har ordnats
	under fem underrubriker: Tillförlitlighet, generaliserbarhet, teorianknytning,
	transparens och relationen mellan utvärderaren och det som utvärderas.

4.2 Tillförlitlighet

När vi talar om tillförlitlighet kan vi mena olika saker. Läroböckerna talar om reliabilitet och menar med detta att vi ska få samma resultat om vi repeterar en mätning av någonting. Det är alltså viktigt att förändringar mellan mättillfällena ska bero på att det man vill mäta förändrats och inte förändringar i mätinstrumenten. I praktiken kan redan detta grundläggande krav vara svårbemästrat.

Anledningen till att detta avsnitt har tillförlitlighet som rubrik är dock att frågan om tillförlitlighet kan betraktas på ett vidare sätt. Den omfattande diskussion som förts om vad som menas med evidence har gällt just detta. Denna debatt rör teoretiskt svåra frågor. Det är dock möjligt att föra diskussionen utan att, om uttrycket tillåts, trassla in sig i dessa.

Vi ska göra detta genom att på ett mycket praktiskt sätt illustrera problemet. Vid beslut om olika reformer har mål sedan lång tid använts för att ange den bakomliggande politiska viljan. Ett exempel på detta är den studiesociala utredning som för drygt ett halvsekel sedan presenterade de grundläggande dragen i det studiemedelssystem som alltfort existerar. Ett av de mål utredningen angav och som här ska användas i resonemanget, var ”att med studiesociala åtgärder underlätta tillträdet till högre studier för ungdomar från hem med svag ekonomi”.64 En utvärdering som i dag skulle granska på vilket sätt det studiesociala systemet bidragit till förverkligandet av detta mål skulle förmodligen inte kunna leverera speciellt tillförlitliga resultat. Utvärderaren skulle snabbt ställas inför en rad klassiska problem som i princip existerar vid alla effektstudier. Hur ska vi kunna urskilja just effekterna av denna reform från alla de andra faktorer som påverkat utvecklingen och som också påverkar i ytterligt

63 En mera utförlig diskussion av detta förs av Furubo och Karlsson Vestman 2011, s. 4. För en mera principiell diskussion se också Mathison 2008:189.

64 Studiesociala utredningen 1963, s. 32.

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

svåröverblickbara processer? Detta problem är, ska det här sägas utan att en rad referenser förs in, centralt i utvärderingslitteraturen och beskrivs i termer av kausalitet, attribution, isolering och på en rad andra sätt.

Dessa svårigheter har ytterst att göra med förhållandet att effekter av en viss aktion inte är något som vi kan direkt observera eller mäta. När vi talar om effekter avses orsakssamband. Det handlar alltså inte enbart om utvecklingen på ett visst område. Att till exempel de mål som riksdagen angett i samband med en viss reform uppnåtts säger ingenting om att det beror på just denna reform. Vi kan föreställa oss att andra saker inträffade ungefär samtidigt som reformen sjösattes. Utvecklingen kunde helt, eller delvis, blivit densamma. Vi kan till och med tänka oss att det blivit ”ännu mera” som politikerna ville utan att till exempel ett visst styrmedel sattes in.65 Att effekter egentligen handlar om skillnaden mellan det som inträffat efter att en viss påverkande faktor satts in och det som skulle inträffat utan existensen av denna faktor har forskare varit medvetna om länge. Gunnar Myrdal framhöll 1934, i en statlig utredning, att verkningarna av en viss finansiell reglering gäller ”skillnaden mellan det ekonomiska händelseförlopp, som utlöser sig vid denna reglering, och det förlopp som utlöser sig vid en annan reglering. I en annan mening än såsom skillnaden mellan två förlopp vid alternativa finansiella regleringar är allt tal om verkningar utan bestämd innebörd”.66

Svårigheten att skaffa sig en bild av vad som skulle skett utan de statliga insatserna, eller vad som hänt om dessa sett annorlunda ut, påverkas av tiden. En tänkt alternativ utveckling skulle ha lett fram till andra handlingsmöjligheter än de som faktiskt förelegat. Den kontrafaktiska utvecklingen kan alltså inte beskrivas som ett förlopp utan blir snabbt ett vittförgrenat grenverk av alternativa utvecklingsförlopp. Lyckligtvis är dessa problem, som förvisso aldrig är okomplicerade, lättare att praktiskt hantera i vissa situationer än i andra.

I vissa situationer är det faktiskt så att vi genom en ingående analys av det aktuella fallet med betydande säkerhet kan säga att några andra faktorer inte kan ha påverkat utvecklingen än just den aktuella statliga insatsen – det är uppenbart att andra faktorer kan beskrivas som konstanta. Om en myndighet genomför, för att ta ett mera administrativt exempel, en teknisk förändring i syfte att påverka handläggningstiderna och andra faktorer som personalens kompetens, personalledning, ärendenas karaktär och så vidare inte förändrats, är det svårt att tänka sig att förändringar i hur lång tid det tar att handlägga olika ärenden påverkats av något annat än den tekniska förändringen. Det finns många situationer där vi kan sluta oss till att förändringar i huvudsak beror på just den åtgärd som är utvärderingens objekt. I andra situationer är läget det motsatta. Vi anser oss kunna vara tämligen säkra på att endast en liten del av

65Ett faktiskt exempel på detta möjliga förhållande gavs redan i en utvärdering genomförd under 1980-talets första del om de statliga insatserna för en bättre energihushållning, Statens Energiverk 1984, s. 103.

66Myrdal 1934, s. 8.

2017/18:URF2

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	utvecklingen, och förändringar i denna, kan tillskrivas den insats som utvär-
	deras.
	De praktiska problem som utvärderaren ställs inför när det gäller att be-
	döma effekterna av en viss aktion varierar alltså. I nedanstående figur lyfts
	fram två av de faktorer som påverkar våra svårigheter att praktiskt hantera
	dessa problem. Den ena faktorn är det som faktiskt gjorts, den statliga verk-
	samheten eller om man så vill interventionen, det är det som är Y-axeln i figu-
	ren. Det staten gör kan vara alltifrån en avgränsad, begränsad insats som pla-
	ceras längst ner på Y-axeln till ett ”helt paket” av åtgärder som vi placerar
	avsevärt högre upp på Y-axeln. En informationsbroschyr om energisparande
	riktad till hushållen får ses som exempel på en avgränsad åtgärd. Avsevärt
	mera sammansatt är en rad olika informations- och rådgivningsinsatser riktade
	till olika målgrupper. Än mer sammansatt är statens samlade åtgärder för ener-
	gihushållning, som kan bestå av lagstiftning, ekonomiska stimulanser och så
	vidare och riktas till aktörer inom olika samhällssektorer.
	X-axeln i figuren representerar en tänkt effektkedja, alltså nödvändiga steg
	i ett kausalt skeende för att det staten gör ska kunna leda fram till det som var
	det långsiktiga målet. I detta fall antar vi att målet handlar om minskad miljö-
	påverkan. Om vi vill fullfölja vårt exempel med informationsbroschyren har
	vi längst till vänster uppmärksammande av information. I exemplet med in-
	formationsbroschyren får denna antas vara tänkt att leda till vissa kunskaper
	som i sin tur antas leda till exempelvis beteendeförändringar som leder till
	minskad energianvändning och bättre miljö. Eftersom X-axeln har samband
	med tid kan vi säga att ju längre vi förflyttar oss till höger i figuren desto längre
	tid har gått sedan interventionen gjordes (eller påbörjades).
	Vad gäller broschyren till hushållen kan vi förmodligen skaffa oss ganska
	tillförlitlig information om på vilket sätt den kommit fram till hushållen och i
	vilken omfattning mottagarna ”tagit del” av dess innehåll. Vi kanske till och
	med kan få reda på hur den påverkat kunskaperna hos olika grupper. Att få
	reda på hur informationen i broschyren påverkat beteenden är avsevärt svårare,
	detta påverkas ju av en rad andra faktorer. Än svårare blir det förstås att veta
	hur denna specifika broschyr påverkat utsläpp och miljön i stort. I de flesta fall
	skulle en utvärdering av denna informationsbroschyrs effekter förmodligen
	uppfattas som tillförlitlig enbart så länge utvärderingen håller sig i närheten av
	a) i figuren.
	Om vi förflyttar oss uppåt efter Y-axeln handlar det om allt mer samman-
	satta statliga insatser för att påverka utvecklingen. Högst upp har vi någonstans
	vad som kan beskrivas som det mera storslagna programmet. Kring detta ställs
	rimligen också frågor som kan formuleras ungefär som: ”Gör allt staten gör
	nytta, leder alla satsade miljarder till de mål som riksdagen sa sig vilja
	uppnå?”. Det är alltså därför lätt att förstå att det politiska intresset många
	gånger här riktas på punkt b).
	För läsaren torde det vara uppenbart att påståenden om effekterna av kom-
	plexa interventioner i än mer komplexa sociala processer har en helt annan
	karaktär än de omedelbara effekterna av en avgränsad insats.
86

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Figur 1: Olika utvärderingssituationer

Det som sagts kan sammanfattas så här:

•Ju längre fram i en effektkedja som man försöker utröna effekterna av en intervention – desto svårare och osäkrare.

•Ju mer aggregerad insats som man försöker utröna effekterna av – desto svårare och osäkrare.

4.2.1 Tillförlitlighet i förhållande till olika syften

Det resonemang som förts här kan nu kopplas med olika syften som utvärdering kan ha. Om syftet är kunskapsgenererande så är det centralt att utvärderingen kan relateras till tidigare kunskap och hypoteser om de mekanismer som påverkar till exempel individers eller företags handlande. Utvärderingen är ett sätt att använda en existerande eller avslutad verksamhet för att bidra till kunskapen om dessa mekanismer. Därmed ska forskare på olika områden bli bättre rustade när det gäller att svara på frågor om huruvida det är möjligt att påverka dessa mekanismer med statliga insatser och hur dessa i så fall kan konstrueras. Konkret innebär detta att om en viss typ av antimobbningsinsatser studeras, eller insatser mot en viss typ av brottslighet, och syftet är att bidra till att öka kunskaperna om olika mekanismer som leder till mobbning eller brottslighet så måste resultaten av studierna kunna återföras till de forskare som sysslar med dessa mekanismer. Även om resultatet är osäkert och öppnar för olika möjligheter (till exempel ”givet antagande si så är det sannolikt att utvecklingen förklaras av faktor X men givet antagande så är det mera sannolikt att faktor Y förklarar utvecklingen”) så kan utvärderingen leda fram till nya hypoteser när den prövas i förhållande till tidigare kunskap.

Syftet förutsätter alltså att kunskapen kan föras tillbaks till forskarsamhället och att det som framkommit i utvärderingen kan verifiera eller falsifiera tidigare antaganden och kanske leda fram till nya hypoteser. När vi här talar om tillförlitlighet handlar det därmed i hög grad om själva utvärderings- eller

2017/18:URF2

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	forskningsprocessen. Detta innebär att de tillvägagångssätt som använts i ut-
	värderingen måste uppfylla vetenskapssamhällets krav. Exakt hur dessa ser ut,
	och kring detta kan det förstås finnas olika uppfattningar ligger utanför denna
	framställning.
	Kraven på tillförlitlighet är andra om det handlar om att få underlag för att
	bedöma huruvida de som haft ett ansvar har ”skött sig”, och pröva hur ansvaret
	för att det inte ”gått som man ville” ska fördelas. Självfallet ställs även här
	krav på processen, men det centrala är att en utvärdering som ska användas
	som ett underlag för att bedöma olika aktörers ansvar och som därmed kunna
	vara ett underlag för att utkräva ansvar måste vara tillförlitlig också i en mer,
	det ligger nära till hands att säga, trivial mening. Det handlar om ett mera sub-
	stantiellt tillförlitlighetskrav, det måste vara möjligt att säga att ett visst förlopp
	väsentligen förklaras av den ena eller andra faktorn. Det resonemanget gäller
	förstås oavsett om det gäller förhållanden inom det statliga produktionssyste-
	met eller hur de prestationer som förts ut från detta påverkar samhället, även
	om exemplen i huvudsak gällt det senare.
	De två syften som senast tagits upp kan ses som ytterligheter och det är
	tämligen lätt att komma fram till en uppfattning om hur synen på tillförlitlighet
	påverkas av respektive syfte. Vad gäller de andra syftena är det något svårare.
	Utvärderingar som görs med ett verksamhetsfrämjande syfte behöver många
	gånger ge utrymme för olika tolkningar av vad som hänt. Här är ju ofta själva
	tanken att den utomstående utvärderaren ska interagera med den grupp som på
	olika sätt är involverad i verksamheten och olika tolkningar blir då kanske na-
	turliga. När det gäller förbättring på mera övergripande nivå, det som beskri-
	vits som policyinriktad eller policyfrämjande utvärdering, ställs krav på till-
	förlitlighet i en mera substantiell mening men samtidigt förefaller det ofta
	också finnas att en stor acceptans för att det som sägs i utvärderingen är osäkert
	– inte sällan hänvisar utvärderaren själv till att det är ”för tidigt” och ibland
	kanske ”för sent”. Mottagarna torde dock förutsätta att sådana utvärderingar
	tagits fram med beaktande av olika vetenskapliga krav.

4.3 Generaliserbarhet

Generaliserbarhet kan förstås på olika sätt. En form av generaliserbarhet är avgörande för många samhällsvetenskapliga, men också till exempel naturvetenskapliga, undersökningar. Det handlar om intern validitet. Intern validitet i en utvärdering innebär att den kan besvara frågan om den insats som utvärderingen handlar om faktiskt ledde till observerade effekter. Mera specifikt handlar intern validitet om de kvalitetskrav som följer av att man hämtar data från någon form av urval. Detta urval förutsätts, med viss angiven sannolikhet, kunna ge en bild av den företeelse som undersöks, alltså generalisera till den grupp från vilket urval gjorts.

Att detta kvalitetskrav är uppfyllt gäller i alla sammanhang där undersökningar använder urval. Om en undersökning om den äldre befolkningens resvanor visar att häften av alla individer som är mellan 65 och 70 år reser till

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Italien minst en gång per år bör detta vara korrekt, givet angivna restriktioner, oavsett syfte. En resebyrå som arbetar med att utveckla sin verksamhet skulle förmodligen se det som bekymmersamt om man blev felinformerad.

4.3.1 En andra nivå

Med generaliserbarhet kan dock också menas något mera vittgående, vi kan tala om en andra nivå av generaliserbarhet. Det handlar om att det ska vara möjligt att ”generalisera resultaten utöver det specifika fallet”.67 I litteraturen används inte sällan uttrycket extern validitet. Innebörden förklaras av Cook och Campbell i en ofta citerad passus: ”To what populations, settings, treatment variables, and measurement variables can this effect be generalized?”68 Vad det innebär kan illustreras med ett exempel. En undersökning har gjorts av ett informativt styrmedel för att påverka alkoholkonsumtionen bland studenter vid en viss högskola. Undersökningen har baserat sig på ett urval av studenter vid högskolan och undersökningen uppfyller sådana kvalitetskrav, på den första nivån, att den kan generaliseras till studenterna vid den aktuella högskolan.

En helt annan fråga gäller dock möjligheterna att på grundval av denna studie säga något om vilka effekter en liknande styrinsats skulle ha på studenter vid andra högskolor, på ungdomar som inte bedriver högskolestudier, på medelålders statsanställda etc. För de flesta torde det vara uppenbart att det inte är möjligt att, utifrån denna enskilda studie, generalisera till andra grupper än undersökningspopulationen. Men, kan vi fortsätta att fråga, om det gjorts 23 studier kring liknande informationsinsatser, är det då möjligt att utifrån dessa 23 undersökningar dra slutsatser av mera generell giltighet? Har vi då möjlighet att ange under vilka betingelser och i vilka grupper informativa styrmedel verkar vara ett bra sätt att påverka alkoholkonsumtionen?

Svaret på den frågan är svårare att ge, och mycket av den evidensdebatten, som nyss berörts, har handlat just om detta. Det förefaller rimligt att möjligheterna att dra sådana generella slutsatser är störst då det kan antas att effekterna inte är särskilt beroende av den yttre kontexten. Möjligheterna är mindre om interventionens effekter kan antas vara beroende av den yttre kontexten. Om interventioner sker i dynamiska sociala processer tillförs därmed ytterligare en svårighet.

Det som nu beskrivits är en slags rumslig aspekt. Det är dock möjligt att också föra in en tidsdimension. Många statliga, eller andra, interventioner i samhället kan antas ge upphov till effekter som förändras över tiden. Om vi ännu en gång återvänder till de 23 undersökningarna och tänker oss att vi, faktiskt, lyckats med att dra ett antal specifika slutsatser om under vilka betingelser informationsinsatser kring alkoholkonsumtionen kan ha effekter, så vet vi inte om dessa också gäller i framtiden. Det finns alltså en begränsning i gene-

67Bryman 2011, s. 169.

68Campbell och Stanley, 1963, s. 5. Här citerat efter Mark 2011, s. 8..

2017/18:URF2

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	raliserbarheten som avser tid. Frågan är hur giltiga resultaten är inför framti-
	den, det är ju avgörande om man utifrån de gjorda studierna ska lämna förslag
	till fortsatta insatser. Det torde vara uppenbart att betydelsen av olika beting-
	elser kan vara tidsspecifika.

4.3.2 Generaliserbarhet i förhållande till olika syften

Resonemanget visar på att problemen med att generalisera utöver det enskilda fallets nivå är betydande. Hur viktigt är då denna andra nivå av generaliserbarhet i förhållande till olika syften? Om utvärderingens syfte är kunskapsgenerande, att ge sådan basic knowledge som Weiss talade om, är detta syfte av stor betydelse. Utvärderingen ska då bidra med kunskap som kan användas för att bedöma huruvida olika samhällsproblem kan påverkas av statliga verksamheter, och i så fall hur. För att kunna lämna detta bidrag är det av avgörande betydelse att det ska gå att göra generaliseringar på det som här beskrivits som den andra nivån. Om en utvärdering ska kunna användas för att diskutera hur alkoholkonsumtionen kan begränsas måste utvärderingen, som kanske gällt en insats riktad till en speciell grupp, ge kunskap som kan användas i andra situationer än den som specifikt undersökts. Undersökningen måste därför bygga på tidigare kunskap, och dess resultat måste kunna ställas mot denna tidigare kunskap om vad som kan påverka människor till att använda mindre alkohol. För att en utvärdering med ett kunskapsgenererande syfte ska möjliggöra en prövning av tidigare hypoteser, som på något sätt kan relateras till tidigare existerande kunskap om vilka mekanismer som påverkar ett visst skeende, förutsätts att resultaten kan generaliseras till en högre nivå än det enskilda fall som studerats. Detta gäller både om det handlar om vad som ibland beskrivs som yttre effekter, såsom i alkoholexemplet ovan, eller hur den statliga verksamheten ska organiseras, till exempel av samordning eller relationen mellan centrala och lokala nivåer och så vidare.

När det gäller verksamhetsutveckling och lärande bland dem som mera operativt genomför en verksamhet är nog grundsvaret det motsatta: denna form av generaliserbarhet är av underordnad betydelse. Hur just den specifika verksamheten ska bli bättre är den avgörande frågan. När det gäller att förbättra statliga verksamheter på mera övergripande nivåer, det som här också beskrivits som policyfrämjande utvärdering, är svaret mindre självklart. Re- kommendationer om till exempel avvägningen mellan olika styrmedel förutsätter oftast att man utgår från mera allmän kunskap och teoribildning. Resultaten i sådana granskningar kan därför i vissa fall återföras till forskning, men detta får uppfattas som något sekundärt. Även här är ju det avgörande att ge de som fattar beslut om olika verksamheter ett underlag för att här och nu förbättra det som görs.

Om syftet handlar om att bedöma hur organisationer och befattningshavare fullföljt sina skyldigheter, att ge underlag för ansvarsutkrävande, kan rimligen inte kravet på generaliserbarhet vara centralt. Det som underlaget kan avse är

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

ju ansvaret och hur det kan fördelas mellan de som på något sätt har till uppgift att genomföra den verksamhet som utvärderingen avser.

4.4 Teorianknytning

Detta avsnitt handlar om teorier som gäller den verksamhet som undersöks. Dessa teorier kan vara av många olika slag. rent praktiskt, snarare än principiellt, kan vi skilja mellan å ena sidan teorier som gäller de substansfrågor som den aktuella verksamheten är inriktad på och å andra sidan teorier som gäller organisering, mekanismer i organisationer, alltså teorier som kan användas för att analysera till exempel inomstatlig styrning. Teorier som gäller substansfrågorna kan vid en granskning av till exempel arbetsmarknadspolitik gälla hur arbetsmarknaden fungerar, vilka faktorer som påverkar inträdet på arbetsmarknaden etc. eller, om vi granskar en brottsförebyggande åtgärd, vad som motverkar olika typer av brott. De teorier som vi talar om kan hämtas från en rad olika kunskapsområden och traditioner.

Under många år har diskussionen om teorier varit central inom utvärdering. Detta är inte så självklart som det möjligen kan tyckas. I en mera experimentell tradition, som tidigt påverkade utvärderingsfältet och som delvis fått en renässans i delar av evidensrörelsen, hade förklarande teorier en underordnad roll. Redan under 1960-talet kom dock frågan om utvärderingens relation till olika former av teorier att diskuteras. Suchman beskrev vad som senare kom att kallas programteori 1967.69 Under 1980-talet kom diskussionen om teoriernas roll i utvärdering att intensifieras. Allt fler talade och skrev om vikten av ”theorydriven evaluation” och liknande.70 Och därefter har en ström av böcker och artiklar publicerats kring det som kommit att kallas programteori, och det finns en rad enskilda utvärderingsteoretiker som i dag förknippas med just programteori. Särskild betydelse har här realistic evaluation haft, en strömning som förknippas med Pawsons och Tilleys bok Realistic Evaluation som gavs ut 1997. I denna strömning poängteras att program är ”theories incarnate” och utvärderingen måste därför alltid återvända till ”the core theories about how a programme is supposed to work and then interrogate it - is that basic plan sound, plausible, durable, practical and, above all, valid?” Den centrala frågan för utvärderaren är inte ”What works” utan i stället ”What works for whom in what circumstances and in what respects, and how?”71

Program theory är svåröversatt till europeiska sammanhang. Ordet program uttrycker en annan syn på statlig verksamhet än den vi har i Europa. Flera förslag har också kommit på andra benämningar; Vedung står kanske för den bästa. Han har föreslagit att vi ska tala om interventionsteorier.72 Det är förvisso ett bättre uttryck därför att interventioner inte förknippas med någon särskild nivå och inte heller med någon särskild sändare.

69Suchman 1967, särskilt s. 51 – 56.

70Till exempel Chen 1990.

71Pawson and Tilley, 2004, s. 2 – 3.

72Till exempel i Vedung 1997, s. 138 – 139 samt Vedung och Dahlberg 2013, s. 75ff.

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

En programteori handlar om antaganden om de olika stegen i den kausala process som gör att avsedda syften kan nås genom en specifik intervention. Rossi m.fl. definierar det som ”the set of assumptions about the manner in which a program relates to the social benefits it is expected to produce and the strategy and tactics the program has adopted to achieve its goals and objectives”.73 Diskussionen om programteorier kan, om en viss frihet i uttryckssättet tillåts, krånglas till avsevärt. För att illustrera en programteori har dock en mycket enkel sådan, översatt till effektkedja, hämtats från en 30 år gammal skrift från RRV. Exemplet handlar om Tullverkets kontrollverksamhet. Det är självklart att det är möjligt att avgränsa verksamheten ytterligare, till exempel till de hundar som tränats till att upptäcka narkotika och stegen mellan satsningen på dessa hundar och deras yttersta syfte – att påverka konsumtionen av narkotika.74 I exemplet har de kausala stegen kompletterats med inlagda antaganden som knyter an till olika forsknings- eller teoriområden. Det praktiska syftet framgår också av att det blir möjligt att föra in andra påverkande faktorer, inklusive statliga insatser. Det är också uppenbart att redan en enkel bild likt den nedanstående kan vara underlag för en diskussion om vilka effekter det över huvud taget är rimligt att försöka fånga in i en utvärdering.

Figur 2: En förenklad program- eller interventionsteori

En intervention är naturligtvis i verkligheten oftast mera komplex än vad som framgår av den förenklade bilden ovan. Delar av den kan träffa den slutliga mottagargruppen direkt, men interventionen kan också träffa olika mellanliggande grupper som i sin tur träffar den slutliga gruppen. Själva implementeringsprocessen kan inrymma olika återkopplingsmekanismer och interaktioner. I verkligheten är det förstås också så att en intervention, även en mycket enkel sådan, kan leda till olika kausala förlopp som leder fram till samma effekt. Det går också lätt att ge exempel på att en intervention kan ha olika mål som vart och ett ger upphov till olika kausala processer. Det är dessutom så att

73Rossi m.fl. 2004, s. 432.

74RRV 1987.

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

de kausala förloppen inte alltid är sekventiella på det sätt som figuren antyder. Olika kausala förlopp kan även inrymma spänningar.75

Olika steg i den kausala kedjan kan vara mer eller mindre omedelbart mätbara. Om hastigheten på vägarna har ökat eller minskat är till exempel lättare att få reda på än om föräldrar i ökad grad intresserar sig för sina barns skolarbete. Men oberoende av med vilken lätthet eller hur omedelbart vi kan observera förändringar i de kausala stegen hjälper oss programteorierna också att blottlägga de antaganden som måste vara helt eller åtminstone delvis korrekta för att det föregående steget ska orsaka en förändring i nästa steg. Med ett annat språkbruk handlar det om huruvida något som setts som en förutsättning verkligen är en förutsättning.

De olika antagandena om statlig verksamhet kan delas upp i olika kategorier och vetter åt olika forsknings- och kompetensområden. En grupp av antaganden kan till exempel gälla själva substansfrågan, till exempel sopsortering, start av företag och kalkning av sjöar. Staten vill att företag eller individer ska genomföra vissa handlingar därför att dessa beteenden till exempel påverkar miljön. Antaganden kan gälla till exempel biologiska förhållanden men också sociala eller psykologiska processer. Men statlig verksamhet bygger också på antaganden om vilka mekanismer som leder fram till dessa handlingar. Vad är det som gör att individer kan fås att minska på solandet eller påverkar kommunernas vilja att kalka sjöar? Vad är det som får villaägare att investera i energisparåtgärder? Antagandena handlar oftast om psykologi, organisationsteori, diffusionsteorier etc. Slutligen kan vi tala om antagandena om vad som påverkar förekomsten av faktorer som styr beslut eller beteenden, det vill säga antaganden om utvecklingen av de olika styr- eller påverkansfaktorerna. Hur påverkas till exempel andra finansiärers och informationsgivares agerande av den statliga verksamheten. Många antaganden i denna grupp kan därför också handla om undanträngningseffekter.

4.4.1 Teorianknytning i förhållande till olika syften

Med ett kunskapsgenererande syfte är det förstås avgörande att utvärderaren utifrån existerande kunskap identifierar centrala antaganden om verksamheten. Därmed kan också resultaten av utvärderingen bidra till att pröva riktigheten i dessa antaganden och därmed bidra till förbättrad kunskap om statens möjligheter att påverka en viss utveckling också i framtida situationer som väsentligen skiljer sig från dagens. Detsamma torde i hög grad gälla mera policyfrämjande utvärdering. Även här är det viktigt med en teorianknytning som gör att de frågor som ställs verkligen avspeglar vad som kan ses som relevant och aktuell forskning. Om det handlar om att skapa förutsättningar för att bedöma och fördela ansvar är det viktigt att förstå de kausala antagandena bakom de verksamheter som studeras för att kunna fixera vilka frågor som ska ställas och därmed valet av metoder. Detta blir särskilt viktigt om man, vilket inte är

75 Se till exempel diskussionen om causal paths hos Rogers 2008.

2017/18:URF2

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	ovanligt, inte kan undersöka ”hur det gått” med det som anses vara verksam-
	hetens överordnade mål utan i stället undersöker hur det gått i avseende på
	förhållanden som kan ses som förutsättningar för det man egentligen vill
	uppnå. Här handlar det alltså om att kunna troliggöra att det man menar är en
	förutsättning för något annat verkligen är det. Detta kommer också att disku-
	teras i följande avsnitt.
	Endast om syftet är verksamhetsutveckling blir detta krav mera problema-
	tiskt. Med detta syfte kan det vara naturligt att det genom utvärderingen förs
	in forskningsbaserad kunskap i verksamheten. Det centrala för utvärderaren är
	dock att förstå erfarenheterna hos dem som ska genomföra verksamheten. När
	en rektor tillsammans med lärare och föräldrar beslutat om ett antimobbnings-
	program och vill ha hjälp att förbättra detta, är det centrala inte hur skolans
	insatser kan bidra till generell kunskap om sociala och psykologiska mekanis-
	mer utan om hur mobbningen kan motverkas i den aktuella skolan.

4.5 Transparens

Transparens översätts ibland med genomsynlighet. I detta sammanhang handlar det om att det ska vara möjligt att förstå de olika stegen i utvärderingsprocessen och varför vissa val träffats framför andra. Det är viktigt i relation till åtminstone tre av de syften som tagits upp här. Vad gäller utvärdering med ett verksamhetsutvecklande syfte framstår kravet som något problematiskt. En utvärdering med detta syfte måste givetvis vara transparent för dem som deltar i den aktuella verksamheten. Det är kanske dock lika viktigt att den är transparent för utomstående. Det kan till och med vara så att själva utvärderingen inte dokumenteras, det viktiga är i stället processen och de diskussioner som förs inom dess ram för att utveckla synsätt och metoder.

Vad gäller de tre övriga syftena är det dock mera självklart. En utvärdering med ett kunskapsgenererande syfte måste vara transparent för forskare som ska kunna relatera utvärderingens analys till tidigare kunskap och de förklaringsmodeller som finns inom olika vetenskapsområden. Detsamma gäller utvärderingar som syftar till att ge underlag till mera övergripande beslut om statens verksamhet på olika områden. För en undersökning med ett ansvarssyfte är kravet på transparens minst lika avgörande. Hur utvärderaren resonerat ska inte behöva rekonstrueras och det ska också gå att förstå varför olika vägval gjorts, varför vissa metoder valts och på vilka grunder olika operationaliseringar gjorts. Det ska gå att utläsa från den skriftiga rapporten. I alla dessa tre sammanhang har kravet också en demokratisk betydelse. Bristande genomsynlighet gör det helt enkelt svårt för alla de som vill följa samhällsutvecklingen, inklusive politiker, att på olika sätt förstå och använda utvärderingar. Detta är ett kvalitetskrav som kan te sig självklart, i praktiken är det förstås inte alltid självklart att det uppfylls, något som kommer att beröras senare i denna promemoria (7.5).

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

4.6 Relationens karaktär – oberoende eller involverad

Många av dem som förespråkar att utvärdering kan ha en viktig roll i löpande verksamhetsutveckling framhåller vikten av att den utomstående utvärderaren eller forskaren är starkt involverad i själva verksamheten. Det framhålls också att de som ansvarar och genomför den verksamhet som utvärderas måste vara med och lägga upp utvärderingen, välja frågor, metoder och påverka slutsatser. Det är viktigt att de ”äger” undersökningen. Denna syn på utvärderingens roll är förvisso inte ny, den förknippas i hög grad med Guba och Lincoln och deras diskussion snart 40 år tillbaka.76 Deras diskussion har starka beröringspunkter med än tidigare diskussioner om forskningens roll i förhållande till det som studeras och diskussionen av det som ibland beskrevs som aktionsforskning.

Det som på svenska kommit att kallas löpande utvärdering, eller följeforskning som den också ofta kallats, är ett exempel på en sådan interaktiv syn på utvärderingens och utvärderarens roll. Löpande utvärdering har fått betydelse genom att den kommit att förespråkas av Europeiska kommissionen under benämningen on-going evaluation. Den lärande ansatsen som betonas i löpande utvärdering innebär ett mera interaktivt utförande av utvärderingsinsatserna.77 Ofta framhålls därför att följeforskare/utvärderare behöver träffa och föra en dialog med uppdragsgivare, projektledare, styrgrupper, beslutsfattare med flera för att kunna fullgöra sitt uppdrag. I arbetsuppgifterna ingår att löpande återföra och diskutera upptäckter och slutsatser med involverade aktörer. Program och projektägare ska utifrån nya insikter och kunskaper om sitt program eller projekt kontinuerligt kunna styra om där så behövs, för att bättre kunna uppnå sina mål, alternativt revidera sin målsättning om det krävs.

Graden av oberoende för utvärdering med ett verksamhetsutvecklande syfte kan naturligtvis variera, men det som starkt betonas är en deltagande utvärderarroll där utvärderarens förmåga att ”facilitating learning” är en nyckelfaktor för framgång.78

Helt annorlunda ser situationen ut om vi ser på utvärdering med ett ansvarsinriktat syfte. Vi ska mera utförligt diskutera aspekter på detta i det följande kapitlet. Redan här ska dock framhållas att en prövning och fördelning av ansvar i en verksamhet förutsätter att utvärderaren som har detta uppdrag har en särskild grad av oberoende i förhållande till de som haft ansvar för verksamheten. Självfallet finns här en relation mellan utvärderaren och de som beslutar om och genomför verksamheten. De senare grupperna måste lämna information och ha möjlighet att framföra sina bedömningar men det är långt från den relation som finns, om syftet beskrivs som verksamhetsutvecklande.

Vad gäller mera policyinriktad utvärdering, och också kunskapsgenererande utvärdering, kan det möjligen framstå som självklart att utvärderaren kan beskrivas i termer av oberoende. Här finns dock olika traditioner bland forskare. Oberoendet kan även avse olika saker. Diskussion om oberoende tar

76Guba och Lincoln 1981.

77Vedung och Dahlberg, 2013, s. 116–117.

78Patton 2008, s. 140.

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

oftast upp frågan om det kan ses som institutionellt oberoende. Det är dock möjligt att diskutera oberoendet också i termer av utvärderarens relation till den verksamhet som utvärderas. Det handlar om på vilket sätt utvärderaren är präglad av samma synsätt och teorier om verksamheten som dominerar bland dem som beslutar om och genomför verksamheten. Inte minst problematiskt kan detta vara på områden där kontakterna är omfattande mellan utvärderare och forskare å ena sidan och myndigheterna och deras personal å den andra. Denna diskussion tas bland annat upp i en skrift publicerad av the European Group for Public Administration – en skrift med artiklar av olika forskare inom Public Administration. Wim van de Donk diskuterar här att forskarna ofta har ”a close relationship with their object of knowledge”. Han framhåller:

We often see the same movements in the circles of the object as in the circles of the holders of knowledge […]

There was in my view sometimes a fatal symbiosis between the object of knowledge and the scientific study thereof. That was very clearly visible with the advent of the so called ‘new public management’[…] It is surprising to see how much the method and the object of knowledge that was declared applicable to it almost continuously ran into each other.79

Citatet illustrerar att oberoendet har en rad olika aspekter och att varje diskussion om graden av det faktiska oberoendet kan problematiseras. Till en del av detta ska framställningen återkomma.

4.6.1 En sammanfattande bild

Det som nu har diskuterats ska sammanfattas i en enkel bild. Självklart kan styrkan i de krav som följer av olika syften variera och diskuteras. Det viktiga är att kraven på och utformningen av en analys påverkas av analysens syfte. Uppfattningen om effektivitetsrevisionens grundläggande uppdrag, som ska diskuteras i nästa kapitel, påverkar därför också i hög grad kraven på effektivitetsrevisionens produkter.

79 Van de Donk 2010, s. 12.

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET 2017/18:URF2

Figur 3: Analys av statlig verksamhet – syften och krav

Olika syften	Verksamhets-	Policy-	Ansvars-	Kunskaps-
Olika krav	främjande	främjande	inriktad	genererande
	utvärdering	utvärdering	utvärdering	utvärdering

Tillförlitlighet	Inte självklart	Process:	Process:	Process:
		Viktigt	Viktigt	Mycket viktigt.
		Substantiell:	Substantiell:	Substantiell:
		Ganska viktigt	Mycket viktigt	Mindre viktigt
Generaliser-	Ej viktigt	I viss mån	Ej viktigt	Mycket viktigt
barhet
Teori-	I viss mån	Mycket viktigt	Mycket viktigt	Mycket viktigt
anknytning
Transparens	I viss mån	Mycket viktigt	Mycket viktigt	Mycket viktigt
Relation	Involvering	Kan variera,	Oberoende	Kan variera,
	viktigt	olika synsätt	mycket viktigt	olika synsätt

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	5 Effektivitetsrevisionens roll och syfte
	Hur vanligt förekommande effektivitetsrevision är i olika länder beror förstås
	på definitioner och olika avgränsningar. Det förefaller dock vara klart att långt
	ifrån alla nationella revisionsorgan bedriver effektivitetsrevision.80 Put och
	Bouckaert framhåller att ”on a wordwide scale performance audits are only
	conducted by a miniority of SAIs (Supreme Audit Institutions)”.81 Även om vi
	enbart ser på OECD-länderna så kan en nyligen genomförd OECD-studie tol-
	kas som att performance audit inte heller bedrivs i alla dessa.82 Detta förhål-
	lande, tillsammans med det faktum att det som beskrivs som performance au-
	dit kan vara något mycket skiftande, kan motivera en mera allmän diskussion
	om vad effektivitetsrevision är.
	Även om effektivitetsrevision, som framgått av det föregående kapitlet, kan
	sorteras in under den övergripande benämningen utvärdering bortfaller inte
	behovet av att definiera effektivitetsrevisionen. Förhållandet att en mera av-
	gränsad företeelse ingår i en större kategori gör ju inte att behovet av att defi-
	niera den specifika företeelsen bortfaller. Och varför, kan det spörjas, måste
	en särskild organisation ges en speciellt exklusiv konstitutionell position för
	att bedriva just denna form av utvärdering? Frågan kvarstår därmed: Vad är
	effektivitetsrevision?
	Alla som pläderat för en statlig effektivitetsrevision menar nog att en sådan
	bidrar till en bättre statlig verksamhet. Argumenten för effektivitetsrevisionen
	skiljer sig därmed inte från till exempel andra former av utvärdering. Gemen-
	samt för sådana verksamheter är att de inte i första hand görs för att bygga upp
	en allmän kunskap om olika företeelser i naturen eller i samhället. Eftersom
	syftet med dem snarare är att förbättra något är också gemensamt för dem att
	användningen står i centrum. Produkterna (rapporter, granskningar, artiklar
	och så vidare) ska i första hand kunna användas för att beslut om, och genom-
	förandet av, statlig verksamhet ska bli bättre. Produkterna, som utvärdering
	levererar, ska bidra, för att hämta en formulering från en lärobok i utvärdering
	”to social betterment by providing assisted sense-making to the democratic
	institutions that are directly charged with defining and seeking that better-
	ment”.83 Detta utesluter inte att utvärdering kan ge detta stöd till de demokra-
	tiska institutionerna också på ett indirekt sätt genom att forskare kan använda
	den kunskap som producerats genom utvärderingar när de ger råd till politiker
	och andra beslutsfattare.
	På detta plan är det därför svårt att se att effektivitetsrevision skiljer sig från
	andra former av utvärdering som har statens verksamhet och statens organi-
	sationer som objekt. Det är inte heller möjligt att finna ut vad som är speciellt

	80 Angleryd 2014, s. 79.
	81 Put och Bouckaert 2013, s. 227.
	82 OECD 2016.
	83 Mark m.fl.2000, s.7.
98

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

med effektivitetsrevision genom att se på det som konkret görs under etiketten effektivitetsrevision. Det är alltså föga märkligt att skiljelinjen mellan effektivitetsrevision och annan utvärdering kanske är den fråga som, åtminstone under de senaste 25 åren, diskuterats mest i olika inlägg som sökt ringa in vad effektivitetsrevision handlar om.

Ett sätt att nalkas frågan är, givet utgångspunkten att olika former av utvärdering syftar till förbättring, ställa frågan om det finns skillnader i uppfattningen om hur denna förbättring kan komma till stånd. Och det är möjligen just i synen på vilka olika mekanismer som kan leda till förbättring vi kan finna effektivitetsrevisionens särart.

I litteraturen om utvärdering, och också den som specifikt är inriktad på effektivitetsrevisionen, besvaras frågan om hur sådana verksamheter kan leda till förbättring efter två olika linjer. Den första framhäver kontrollelementet och tanken att de som har fått ett ansvar för att göra något måste kontrolleras. Den andra linjen framhäver kunskapselementet. Den kunskap som tas fram, och som bibringas människor som deltar i olika processer, leder till lärande och som följd av detta fattas klokare beslut och verksamhet genomförs bättre. I forskningen om effektivitetsrevision ses inte sällan kontroll och lärande som motsatspar. Till exempel diskuterar Lonsdale och Bemelmans-Videc hur olika former av utvärdering och effektivitetsrevision i förhållande till hur de står ”with regard to accountability and learning”.84 Förhållandet mellan kontroll och lärande har även under de allra senaste åren tagits upp i flera forskningsbidrag rörande effektivitetsrevisionen. Det finns därför anledning att mera utförligt diskutera grunderna för dessa olika synsätt på effektivitetsrevision och också att ställa frågan om på vilket sätt de är förenliga.

Det som diskuteras i det följande är det vi kan tala om som effektivitetsrevisionens raison d’être eller existensmotiv. Diskussionen om detta måste dock skiljas från de faktiska effekterna av effektivitetsrevisionen. Även något som i första hand görs för att öka kunskaperna eller stödja utvecklingen av en verksamhet kan identifiera brister i verksamheten som i sin tur kan leda till konsekvenser för befattningshavare. Även med ett renodlat ansvarsperspektiv måste den enskilda granskningen läggas upp på ett sådant sätt att man blottlägger praktiska svårigheter och alternativa lösningar som kan leda till förbättringar.

5.1 Kontrollinjen

Behovet av kontroll inom staten finns uttryckt genom dokument skrivna långt innan demokratins framväxt. Accountability blir dock viktig också i diskussionen om demokratins funktionssätt. Tanken att en agent har, för att låna en formulering från Lewins bok Democratic Accountability en ”duty to account for his actions to his principal, who in turn can punish him if he fails to perform

84 Lonsdale och Bemelmans-Videc 2007, s.12.

2017/18:URF2

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	according to expectation”85 får en annan innebörd när det är folket som är prin-
	cipal. I den tidiga diskussionen om USA:s styrelseskick framhölls att legisla-
	turen är ”…at the same time accountable to the society over which they are
	placed”.86 Året efter att, förmodligen, Madison skrev detta förklaras i den fem-
	tonde artikeln i 1789 års deklaration om människans och medborgarnas rättig-
	heter, anslagen på central plats i Cour des Comptes i Paris, vikten av att alla
	som innehar ett offentligt uppdrag är skyldiga att redovisa för sitt uppdrag87.
	Resultatet från den aktuella forskningen kring accountability ligger långt
	från dessa mera högstämda deklarationer. Inte sällan handlar forskningen om
	de negativa konsekvenserna av olika former av system som byggts upp i syfte
	att stärka möjligheterna att hålla olika befattningshavare accountable och ge
	underlag för ansvarsutkrävande. Innan något mera sägs om detta ska dock en
	fråga som inte sällan väcks behandlas. Det påpekas inte sällan att ansvarsut-
	krävande och accountability inte alls täcker varandra. Detta är naturligtvis en
	viktig synpunkt eftersom det påverkar hur den forskning som handlat om till
	exempel system för accountability kan överföras till vår svenska diskussion
	om ansvarsutkrävande. Det kan därför finnas anledning att något kort disku-
	tera vad som skiljer och vad som förenar de två orden.
	Både accountability och ansvarsutkrävande har ett bakåtriktat ansvarspers-
	pektiv. Det handlar om att någon som har ansvar – i en framåtriktad mening –
	för att ”sköta om” en uppgift också har att bära konsekvenserna för olika till-
	kortakommanden. Orden gör det dock med olika ”ingångar”. Accountability
	börjar med informationsfrågan. Den som är accountable är enligt Oxford Dic-
	tionary: ”Required or expected to justify actions or decisions”.88 Behn påpekar
	också att de formella språkliga definitionerna inte innehåller någonting om
	”punishment”.89 En mera korrekt översättning av ”to be accountable” skulle
	alltså vara ungefär ”att vara redovisningsskyldig”. Men som Flint framhåller,
	accountability handlar också om sanktionsmöjligheter90, något Lewin också
	påpekade i citatet ovan. Marie-Louise Bemelmans Videc framhåller, efter en
	genomgång av litteraturen på området, att accountability inte bara handlar om
	en skyldighet att ge information. Hon konstaterar att ”to sanction is a vital part
	of that relation” (kursiverat i original).91
	När vi använder det svenska ordet ansvarsutkrävande är vår ingång i stället
	just sanktionsfrågan, de möjliga konsekvenserna (som också kan vara posi-
	tiva). Ansvarsutkrävande säger, formellt språkligt, ingenting om att det före-
	ligger någon form av informationsskyldighet. Men för att ansvar ska kunna
	utkrävas skapas olika arrangemang som säkrar att den underordnade nivån,
	eller personen, har en skyldighet att lämna information om utförandet av olika

	85 Lewin 2007, s. 4.
	86 Federalist Papers, nr. 55, 15 februari 1788. Beträffande nr. 55 av Federalist Papers är det
	inte helt klar om Madison eller Hamilton var författare, kongressens hemsida anger båda som
	möjliga. De flesta forskare förefaller dock anse att det var Madison.
	87 La Société a le droit de demander compte à tout Agent public de son administration.
	88 Oxford Dictionary 2005.
	89 Behn 2001, s. 4.
	90 Flint 1988:24.
	91 Bemelmans-Videc 2007, s. 24.
100

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

uppgifter. Att termen ansvar har en tydlig etymologisk koppling också till skyldigheten att redovisa och försäkra framgår av Hellquists etymologiska ordbok92 och också den tämligen omfattande artikeln om ansvar i Svenska akademiens ordbok.

De engelska och svenska orden kan därmed sägas täcka olika delar i en process. Engelskans term tydliggör kravet på redovisning men implicerar sanktioner om det som sägs i redovisningen, eller framkommer på annat sätt, inte är tillfredsställande. Svenskans term tar fasta på sanktionerna men implicerar också skyldigheten att lämna redovisning.

Oavsett dessa olika ingångar finns det i dag en omfattande forskning om de bieffekter som uppträtt i samband med de reformer som syftat till att skapa bättre accountability och ansvarsutkrävande. Redan för tio år sedan kunde Styrutredningen referera till en omfattande forskning. Denna forskning tar särskilt upp de negativa effekterna av olika former av mätningar av prestationer. Det får anses som välkänt att krav på sådana mätningar skapar incitament för strategiska beteenden som gör att produktionssystemet ökar mängden prestationer i förhållande till vissa kriterier, trots att dessa prestationer inte är de som är mest ändamålsenliga i förhållande till målen med verksamheten. Verksamheten riktas mot sådana typer av ärenden, eller grupper av människor, där det är lätt att kvantifiera att verksamheten är framgångsrik. Forskningen har pekat på att sådana mätningar kan motverka innovationer, att förhållanden som inte är jämförbara ställs mot varandra och så vidare. Den omfattande forskningen kring dessa negativa sidoeffekter och fenomen som goal displacement refereras i Styrutredningens betänkande för tio år sedan.93 Därefter har detta belysts ytterligare av olika forskare.94 Under de allra senaste 2 – 3 åren är det också uppenbart att debatten om de effekter som här berörts har kommit att spridas till fler grupper och också kommit att bli en del av en mera spridd och allmän diskussion.

I den kritiska diskussionen av ansvarsutkrävande – för att använda det svenska ordet – pekas också på riskerna för ett ”se-bakåt-tänkande” och jakt på syndabockar. Det viktiga nu, har vi hört företagsledare – och ibland politiker – säga, är inte att se bakåt utan i stället se vad som kan göras för att saker och ting ska fungera bättre i framtiden. Samtidigt har allmänheten konfronterats med en rad avslöjanden, inte minst gjorda av journalister, om missförhållanden i inte sällan skattefinansierad verksamhet. Upprördheten är ofta betydande och ibland ställs också frågor om varför statens organ inte själva upptäckt missförhållandena.

Mot denna bakgrund är det ofrånkomligt att i en diskussion om den grundläggande synen på effektivitetsrevisionen något utförligare diskutera innebörden av ansvar och ansvarsutkrävande och också förhållandet mellan lärande och kontroll.

92Hellqvist 1980.

93Styrutredningen 2007, s. 167–169.

94Till exempel Lindgren 2014, Pollitt och Bouckaert 2011, Leeuw 2011 och Perrin 2018.

2017/18:URF2

101

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

5.1.1 Innebörden av ansvar och ansvarsutkrävande

Ovan berördes innebörden av ansvarsutkrävande i samband med diskussionen om hur detta svenska ord förhöll sig till accountability. Om innebörden av ansvarsutkrävande något utvecklas förutsätter ansvarsutkrävande att en uppdragsgivare ställer krav på en utförare eller uppdragstagare och att uppdragsgivaren har rätt att vidta åtgärder som kan vara negativa för uppdragstagaren om inte denne fullgjort sina skyldigheter (och förstås positiva åtgärder i motsatt fall). Denna relation ger en dubbel innebörd åt ansvar. Ansvar har en framåtriktad dimension och kan därmed översättas med uppgift eller skyldighet.95 (se till exempel Norstedts synonymordbok 2004 och Svenska akademiens ordbok). Men ansvar används också i en bakåtriktad betydelse. Det handlar om, som framhålls ovan, någon form av konsekvenser som kan följa om genomförandet av dessa skyldigheter brustit. Synonymordboken ger här bland annat alternativen ”bära följderna” och ”stå till svars”.

De två innebörderna har ett tydligt samband. Det är först om det finns ett ansvar i den framåtriktade betydelsen som vi kan anse att någon ska stå till svars eller bära konsekvenserna när skyldigheten inte fullföljts eller att den som hade att genomföra den på något sätt felat. Ansvar kan alltså inte utkrävas av en person (eller institution) för något mer allmänt missförhållande, även om detta missförhållande alldeles uppenbart står i strid mot olika förväntningar och till exempel uppdragsgivarens beslut. De konstaterade problemen måste gå att koppla samman med agerandet hos någon person eller institution. Den som hålls ansvarig måste ha haft befogenhet att agera, och det är detta agerande, eller bristen på agerande, som ska visas ha orsakat missförhållandet.

Det som här sagts innefattar ett slags befogenhets- eller kapacitetsprincip. Att utkräva ansvar för något av någon som inte haft någon möjlighet, inte ens potentiellt, att påverka det som skett skulle anses stötande. Men ansvarsutkrävande bygger också på en kausalitetsprincip, det måste gå att visa att det som har skett har samband med det som den ansvarige gjort eller underlåtit att göra.

Ansvarsutkrävande förutsätter också att uppdragstagaren har getts en bild av vad han eller hon förväntas göra, vilka krav som ställs på beteenden, verksamhet, prestationer, information som lämnas och så vidare. Kraven som ställs på uppdragstagaren måste alltså – på någon nivå – ha existerat i förväg. Detta ”förvägskriterium” innebär inte att kraven måste vara uttryckta i detalj. I en diskussion om ansvar, revision, accountability och ansvarsutkrävande talas ibland om förväntningar.96 Vissa krav kan anses ligga i ett uppdrags natur. Det kan förutsättas att den som åtagit sig ett visst uppdrag också accepterat vissa krav även om de inte tydliggjorts. Det går också, för att låna en formulering från Katastrofkommissionen, att diskutera huruvida till exempel politiker och tjänstemän levt upp till de krav som ”situationen ställt dem inför”.97

Det är alltså inte självklart, något som diskuteras på annan plats i denna promemoria, att bedömningar av brister i uppdragstagarens agerande enbart

95Se till exempel Norstedts synonymordbok 2004 och Svenska akademiens ordbok.

96Se till exempel Flint 1988 och Behn 2001.

972005 års Katastrofkommissionen, s. 65.

102

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

ska baseras på kriterier som mer explicit följer av de beslut uppdragsgivaren har fattat om den specifika verksamheten eller beslut som fattats som gäller till exempel alla myndigheter. Sådana krav måste kompletteras med professionella eller yrkesmässiga krav. Det kan också antas att riksdagen förutsätter att statlig verksamhet inte ska underskrida vad som betraktas som normal standard, givet olika expertnormer, vad gäller de aktuella prestationerna. I vissa fall finns sådana professionella normer uttryckta som ett slags ”överkrav” i olika verksamheter, till exempel när man i medicinska sammanhang talar om ”vetenskap och beprövad erfarenhet”.

Vi föreställer oss också att hur detaljerat kraven uttrycks till en del beror på vilken hierarkisk nivå det handlar om. Ju ”högre upp” desto fler handlingsalternativ står till buds. Det som är en förutsättning på en lägre nivå kan den högre chefen undanröja. I sin klassiska bok Speaking Truth to Power illustrerar Wildavsky detta med att ett beslut på en högre nivå kan gälla fördelningen av resurser mellan ”national parks and urban recreation” medan de som har ansvaret för att ”run the parks” fattar beslut om fördelningen av resurser ”within parks”.98

En annan aspekt är att kraven kan tänkas avse företeelser som är mer eller mindre direkt kopplade till den verksamhet som bedrivs. Dessa delas in på olika sätt i olika sammanhang. En aspekt av detta fångas dock in om vi tänker oss skalan från olika former av finansiella krav, to ”account for the money”99 till effekter av verksamheten. Rent principiellt kan ansvarsutkrävande kopplas till vad som helst på denna skala. Det bör dock framhållas, som senare kommer att diskuteras, att det kan vara avsevärt svårare att koppla effekter av en myndighets verksamhet till vad en myndighetsledning gjort än till exempel formerna för representation i myndigheten. Krav kan också stå i konflikt med varandra. Forskare menar, som här nämnts, att ett starkt betonande av procedurer och hantering av pengar kan stå i konflikt med innovativitet och flexibilitet som – kanske – positivt skulle kunna befrämja verksamheten. Efterlevnaden och uppfyllandet av kraven kan också vara mer eller mindre svåra att kontrollera.

Kontroll kan kanske beskrivas som bryggan mellan det framåtsyftande och det bakåtriktade ansvaret. För att utkräva ansvar måste det finnas en kontroll av om den som tilldelats ett ansvar levt upp till de krav som ställs. Kontrollen kan gälla både vad uppdragstagaren faktiskt gör och hur denne beskriver det som gjorts. Det innebär också att det är svårt att tänka sig styrning utan kontroll. Om uppdragsgivaren helt lämnar uppdragstagaren åt sitt öde skulle vi knappast kunna tala om styrning. I realiteten skulle ju en sådan situation innebära att uppdragstagaren, åtminstone när uppdragstagaren inser att det inte förekommer kontroll, kan göra precis det han eller hon behagar.

Kontroll har både beskrivande och förklarande inslag. Det är självklart att kontroll förutsätter att vad som faktiskt hänt reds ut. Det gäller både om frågan

98Wildavsky, 1979, s. 217.

99Behn 2001, s. 7.

2017/18:URF2

103

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	handlar om till exempel ärendehandläggningen i en myndighet eller om det
	gäller utvecklingen av miljöfarliga utsläpp. Men kontroll förutsätter också att
	det som skett förklaras, det måste gå att koppla det som skett till en eller flera
	aktörers agerande. Det innebär att det ska vara möjligt att påvisa om konstate-
	rade brister i en verksamhet skulle ha kunnat undvikas om den som haft ett
	visst uppdrag har haft faktiska möjligheter att agera annorlunda och på ett sätt
	som gjort att dessa brister skulle ha kunnat undvikas eller begränsas. I kontroll
	finns dessutom ett värderande inslag: Hur allvarliga är bristerna och kan de
	ursäktas?

5.1.2 Ansvarsperspektivet i revision

Det vi kan tala om som vanlig revision bygger på tanken att de som anförtros att sköta något för någon annans eller några andras räkning måste kontrolleras.100 Diskussionen av kontrollinjen kan därför börja med att försöka att beskriva revision i allmänhet på ett så renodlat sätt som möjligt. En sådan renodling innebär att vi försöker beskriva revisionen som en idealtyp (Gedankenbild) för att använda Webers term, bortseende från alla de variationer och reservationer som måste föras in när vi talar om hur revisionsverksamhet praktiskt bedrivs.101

En sådan renodling förutsätter att vi går tillbaka till vad som kan ses som grundläggande postulat gällande revision. I Philosophy and Principles of Au- diting (1988) gör David Flint ett försök att konstruera ett antal postulat för revision. Hans första postulat är ”the primary condition for an audit is that there is a relationship of accountability or a situation of public accountability”.102 Han delar upp detta första postulat i flera delar. Den första delen (1a) är att det finns ”a relationship of accountability between two or more parties in the sense that there is a duty of acceptable conduct owed by one party to the other party or parties”.103 Den enklaste formen av en sådan relation ”is a situation in which two parties can be specifically identified”.104

Den relation Flint talar om kan existera på olika nivåer och kan också ses som en kedja av accountability relations. I sin bok Rethinking Democratic Accountability utvecklar Robert. D. Behn resonemanget genom att tala om accountability holder or holdees och konstaterar att vi kan vara accountability holder i en relation och accountability holdee i relation till en överordnad nivå.105 I denna kedja är det i demokratiska samhällen väljarna som ytterst utkräver ansvar.

I alla relationer i denna kedja finns ett essentiellt element och det är ”that the actions of the first party […] are subject to scrutiny by another group or

100 I redovisningsrevision används ordet kontroll ofta på ett annat sätt än vad som görs här

och avser ofta intern kontroll inom en organisation. 101 Weber 1949, s. 90.

102 Flint 1988, s. 23.

103 Flint 1988, s. 22.

104 Flint 1988, s. 23.

105 Behn 2001.

104

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

groups who are in the position to invoke or impose some sanction or penalty if the performance falls short of what can be expected by reference to the criteria that have been established. The first parties are required to give an account, provide information or provide access to information as a basis of decision by the group or the groups to whom they are accountable”.106

Emellertid täckte Flints första postulat också situationer ”of public accountability” i vilka någon eller några har ett berättigat krav att få information utan att mottagaren av information kan ”invoke or impose some sanction”. De som har detta berättigade krav på information kan vara ”a specified group or groups of which the members may not be constant or individually identifiable”.107 Det kan vara fråga om potentiella investerare, anställda etc. Dessa indirekta relationer är – även om de inte här ska diskuteras vidare – många gånger av central betydelse och har haft betydelse vid utformningen av lagstiftningen på flera olika områden.

Dessa (del) postulat säger ingenting om behovet av revisorer. Flints andra postulat för in dessa: ”The subject matter of accountability is too remote, too complex and/or of too great significance for the discharge of the duty to be demonstrated without the process of audit”. Flint betraktar också independence som ett postulat. Med viss tolkning av Flint kan detta ses som en nödvändig följd givet de två första postulaten. Accountability förutsätter independence och ”freedom from investigatory and reporting constraints”.108 En rimlig tolkning av Flint är att han här i första hand avser relationen till den som granskas. Hans resonemang om olika indirekta relationer, som togs upp i föregående stycke, gör dock att hans uppfattning ligger nära den som Cassel hävdat. Cassel menar att revisorn inte bara har sin vanliga uppdragsgivare utan också, för att använda Cassels ordval, en generaliserad uppdragsgivare som kan utgöras ”av en marknad eller någon annan teoretiskt konstruerad företeelse, som har revison av högre kvalitet och större omfattning än de existerande individuella uppdragsgivarna”.109 Revisorn har därmed, menar Cassel, ett mera komplext förhållande till sin uppdragsgivare än till exempel andra tjänstemän. Det gäller också den statliga revisionen.

Det som här har sagts torde ses som självklart för de flesta. Få ifrågasätter att det behövs en tredje part för att kontrollera till exempel ett företags räkenskaper och de beskrivningar ledningen lämnar om dess ekonomiska ställning. Att vi anser att detta är självklart har inget att göra med att vi misstror enskilda individer. Vi kan ha mycket stort förtroende för kassören i till exempel bostadsrättsföreningen och anse oss veta att hon eller han aldrig skulle göra något oärligt men samtidigt anse att det på ett mera allmänt plan är mera sannolikt att den som vet att han eller hon inte kontrolleras kan komma att fuska eller ”plocka ut lite extra” i kassan.

106Flint 1988, s. 24.

107Flint 1988, s. 22.

108Flint 1988, s. 22.

109Cassel 1996, s. 106.

2017/18:URF2

105

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	Om vi något närmar oss den praktiskt bedrivna effektivitetsrevisionen har
	en viktig fråga varit vad revisionen faktiskt ska granska eller vad den ska uttala
	sig om. Det säger sig självt att revisionen måste granska andra ting om det är
	en liten förening jämfört med en stor och komplex verksamhet med mängder
	av intressenter som har berättigade krav att veta att den information som läm-
	nas är riktig och att olika åtgärder är rimliga. Revision är alltså något som
	undan för undan förändrats både när det gäller synen på vilka som har berätti-
	gade krav på information och vad den granskar. Effektivitetsrevisionen kan
	ses som en sådan utvidgning av traditionell revision, vilket innebär att de
	grundläggande krav som gäller för vanlig revision kan appliceras på effektivi-
	tetsrevisionen. Och diskussionen om vad effektivitetsrevision är skulle under-
	lättas av om det var på detta sätt – effektivitetsrevision är inget annat än revi-
	sion – det följer ju till och med av själva namnet.
	Tyvärr, är det frestande att säga, är det inte riktigt så enkelt. Det är i stället
	omdiskuterat om effektivitetsrevision kan definieras på samma sätt som annan
	revision. Barzelay menar att ”performance auditing is therefore something of
	a misnomer. Performance auditing is an evaluative activity of a particular sort
	whose name happens to include the word ’auditing’ ”.110 Det är också möjligt
	att se performance auditing som ett sätt att utvidga de nationella revisionsor-
	ganens ambitioner till ett område som ligger utanför vad som vanligen menas
	med revision. Power påpekar att ”to call something an ’audit’ places it within
	a field of social and economic relations which would be different if it was
	called ’assessment’ or ’evaluation’. Labelling activities as audit makes it pos-
	sible for them to acquire the idealized characteristics of audit over time”.111
	Och på en mera anekdotisk nivå: Många av dem som arbetar som effekti-
	vitetsrevisorer skyndar sig snabbt att påpeka att de förvisso inte är revisorer.
	De beskriver sig i stället som utvärderare, analytiker, utredare o.s.v.

5.2 Kunskapslinjen

Den andra linjen har sin utgångspunkt i en tankegång som är grunden för många idéer kring hur statlig verksamhet bör beslutas och styras. Den handlar i grunden om att kunskap om hur statlig verksamhet fungerar gör att den undan för undan kan bli bättre. Det finns därför ett behov av institutionella lösningar som säkrar att sådan kunskap tas fram. De länder som är någorlunda jämförbara med Sverige har alla också byggt upp olika institutionella arrangemang för att se till att sådan kunskap tas fram på ett mera systematiskt sätt. I framställningar av utvärdering i olika länder beskrivs effektivitetsrevisionen också som en del i detta vidare landskap av utvärdering. Effektivitetsrevision beskrivs av dessa också som en producent bland flera andra av utvärdering.112

110Barzelay 1996, s. 19.

111Power 2000, s. 116.

112Jacob m.fl. 2015.

106

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Emellertid är det uppenbart att även ett starkt betonande av vikten av utvärdering, eller mera allmänt uttryckt vikten av ökad kunskap om hur statlig verksamhet fungerar och kan förbättras, inte automatiskt leder fram till att denna verksamhet ska bedrivas av det nationella revisionsorganet och att ordet revision därmed naturligen ingår i benämningen på den. Det är lätt att, åtminstone i några länder, identifiera en argumentation som handlade om att det var ett sätt att ge utvärderingsverksamheten en kraftfull skjuts. Det nationella revisionsorganet hade en storlek och en möjlighet att rekrytera experter som gjorde att utvärderingsverksamheten kunde utvecklas på bred front.

Det är dock möjligt att argumentera för effektivitetsrevision efter denna kunskapslinje med ett mindre kvantitativt och tidsbundet argument. Det handlar om att det behövs ett särskilt utvärderingsorgan som inte är knutet till någon sektor utan kan utgå från ett helhetsperspektiv och sätta in insatserna där de behövs. Det som sägs av det nationella revisionsorganet får också en särskild tyngd till följd av det institutionella oberoendet. En tidigare medarbetare i Riksrevisionen uttrycker detta med stor klarhet: ”Någon med överblick och insyn men utan ideologiska eller andra partshänsyn behöver ha rätten och makten att granska för att kunna se det andra inte ser, våga säga det andra inte säger samt kunna ifrågasätta det andra tar för givet”.113 Andra organ inom staten producerar kunskap som visserligen ofta är väl underbyggd, men ”den är samtidigt perspektivbunden och partiell”.114

Denna argumentation tar fasta på att det i dag produceras kunskap om statlig verksamhet på en rad olika håll och just detta gör att det behövs någon som producerar kunskap som inte är ”perspektivbunden och partiell”. När Barzelay talar om performance auditing som en misnomer skulle de som företräder denna linje kunna svara: ”Jodå, låt vara att benämningen performance auditing är en misnomer. Det viktiga är dock att denna ’evaluative acitivity’ gör att det finns kunskap om statlig verksamhet som inte skulle finnas annars”.

5.2.1 Kunskapslinjen rymmer flera strategier (eller sublinjer)

I en beskrivning av det som här kallats kunskapslinjen bör också framhållas att det är möjligt att tala om främjande på olika nivåer och med olika förutsättningar. Det är därför möjligt att tala om olika främjandestrategier. Dessa strategier tangerar också den diskussion som fördes vid finansutskottets konferens den 15 mars 2017.

Strategierna avspeglar tre av de syften som diskuterades i föregående kapitel. När diskussionen om spänningen mellan främjande och kontroll diskuteras i mera konkreta termer handlar det vanligen om hur effektivitetsrevisionen kan bidra till att förbättra det som görs på en operativ eller professionell nivå, det som här tidigare beskrivits som verksamhetsfrämjande. Mottagarna eller kunskapsanvändarna är alltså här chefer och medarbetare som praktiskt ska genomföra verksamheten på ett område. Det handlar om att främja en pågående

113Angleryd 2014, s. 72.

114Angleryd 2014, s. 74.

2017/18:URF2

107

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	verksamhet, identifiera svagheter och styrkor och visa på hur verksamheten
	kan utvecklas av dem som på ett mera direkt sätt deltar i den. Men det är också
	möjligt att argumentera för att effektivitetsrevisionens granskningar kan
	främja statlig verksamhet genom att ge kunskap som kan vara för mera över-
	gripande ställningstaganden om den statliga verksamheten. Det handlar då om
	att ge kunskap som är till hjälp vid avvägningen mellan olika styrmedel och
	verksamhetens mera allmänna inriktning. Oftast handlar detta om beslut som
	fattas av riksdagen, om än vanligen efter förslag från regeringen. Det kan
	också hävdas att effektivitetsrevision bör ha till uppgift att bidra till att bygga
	en mera allmän kunskap om förutsättningar, villkor, tillvägagångssätt och så
	vidare gällande statlig verksamhet. Med andra ord ska effektivitetsrevisionen
	ha ett kunskapsgenererande syfte. Sådan kunskap kan handla om de mekanis-
	mer som en viss intervention syftar till att påverka och hur dessa i sin tur kan
	påverkas av statliga interventioner och vilka faktorer i omvärlden som stärker
	eller försvagar interventionen. En sådan syn innebär att effektivitetsrevisionen
	kan bidra till att bygga kunskap om mekanismer som är viktiga för att kunna
	lösa problem genom statliga åtgärder, till exempel om hur företag påverkas av
	olika regleringar, hur terrorism uppstår och kan påverkas och så vidare.

5.3 Olika verkansteorier

Både det som här beskrivits som kontrollinjen och kunskapslinjen syftar till att det som effektivitetsrevisionen gör ska möjliggöra och leda fram till förbättring. Förbättringen sker dock på olika sätt. Det handlar om hur man föreställer sig att organisationer och människor handlar och hur detta handlande kan påverkas. Det är möjligt att säga att de olika linjerna leder till olika verkansteorier för effektivitetsrevisionen. Detta avsnitt behandlar därmed teorier om effektivitetsrevision och hur den kan påverka olika skeenden. En annan sak är hur teorier kan användas i effektivitetsrevision, alltså teorier om det som granskas. Betydelsen av sådana teorier har diskuterats i föregående kapitel och kommer också att tas upp i kapitel 7.

En utgångspunkt för det som här kallats kunskapslinjen är att beslutsfattare och genomförare är villiga att använda kunskap. Det är ett antagande som är viktigt för förståelsen av framväxten av utvärdering. Utvärdering skulle ge svaret på viktiga frågor som beslutsfattare och genomförare hade. Weiss pekade på att policy makers ville veta om ett program skulle fortsätta eller avslutas, högsta programchefen ville veta vilka strategier som var framgångsrika och vilka som inte var det och den personal som svarar för den konkreta verksamheten ville veta vilka delar av den som skulle betonas”, och så vidare.115 Svaret på dessa frågor skulle leda fram till klokare beslut och förbättrad verksamhet. Det bör dock åter sägas att utvärderingsforskarna tidigt insåg, inte minst Weiss, att användningsprocessen kunde vara komplex och att det fanns många former av användning av utvärdering, och också olika former av mis-

115 Weiss 1972a, s. 14.

108

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

use. Barriärer och problem i användningsprocessen har varit ett centralt tema den teoretiska diskussionen om utvärdering som till exempel framgår av historiska exposéer, till exempel de två upplagorna av Evaluation Roots.116 Grundantagandet handlar dock om att kunskapen som sådan kan bidra till att bättre beslut fattas och bättre verksamhet genomförs. Denna syn har också starkt påverkat effektivitetsrevision i olika länder, inte minst genom att många som bidragit till utvecklingen av det vi i Sverige talar om som effektivitetsrevision haft en bakgrund i andra utvärderingsorganisationer.

Kontrollsynen bygger på en mindre optimistisk föreställning om de drivkrafter som finns bland de som ska förverkliga de beslut som till exempel riksdagen fattat. Även här handlar det om förbättring. Men det som leder till förbättring är att den som granskas eller kan komma att granskas är medveten om existensen av utomstående granskare. Denna medvetenhet gör att tjänstemannen eller myndigheten kommer att hantera sina plikter och förvalta offentliga resurser bättre än vad som annars skulle ha blivit fallet. Kontroll medverkar till bättre beteenden och bättre beslut och leder fram till en effektivare användning av gemensamma resurser och påverkar nivån av förtroende i samhället. Det kan möjligen ses som en paradox: Eftersom vi som medborgare har anledning att hysa misstroende mot makten och dess utövande i statens institutioner blir det möjligt att hysa förtroende för statens institutioner enbart då vi vet att de kontrolleras av en part som – i någon rimlig mening – är oberoende av dessa institutioner.

Synen på effektivitetsrevision, och även mera konkreta ställningstaganden kring den, har alltså att göra med frågan om förvaltningens drivkrafter eller dess behov av yttre kontroll. Detta är förvisso ingen ny fråga. Den har diskuterats under lång tid och har varit föremål för en omfattande forskning. Inte sällan nämns dock fortfarande, möjligen beroende på den tydlighet med vilken de olika ståndpunkterna framfördes, den debatt som fördes 1940 och 1941 mellan två europeiska statsvetare, Finer och Friedrich, som vid tidpunkten för sitt meningsutbyte levde i USA. Bakgrunden till debatten var den tilltagande komplexiteten i den moderna statsapparaten och ökningen av förvaltningens ”befogenhetsutrymme” (diskretionära utrymme).

Friedrich menade att det är möjligt att föra in mekanismer i själva förvaltningen som gör att den använder den kunskap som finns ”concerning the technical issues involved” men också att förvaltningen måste ta hänsyn till ”existing preferences in the community, and more particularly the prevailing majority”.117 Friedrich positiva syn på att föra in vad vi kan tala om som olika interna korrigeringsmekanismer i förvaltningen gör att dess vidgade utrymme blir förenligt med demokratin.

Finer delade inte denna optimistiska syn. Han menar att de valda politikerna ges ökade möjligheter att påverka även det som enligt Friedrich bör anförtros byråkratin. Bakom Finers ståndpunkt ligger i grunden uppfattningen att olika

116Alkin 2004 och Alkin 2013.

117Friedrich 1965, s. 169.

2017/18:URF2

109

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	former av makt måste övervakas. Han hänvisar till att den politiska och admi-
	nistrativa historien ”of all ages” visat att alla styrelseskick – också ”the
	benevolent”– utan minsta tvivel kommer att visa att ”there is an abuse of po-
	wer when external punitive controls are lacking”.118 Detta beror inte bara på
	svagheter och mänskliga tillkortakommanden inom förvaltningen. Han är lika
	bekymrad när det handlar om ”genuine, sincere, public-spirited zeal”. Med ett
	citat från Montesquieu konstaterar han att formuleringen ”virtue itself hath
	need of limits” förtjänar att sättas i centrum av diskussionen om ”public re-
	sponsibility”. Han konstaterar att ”we in public administration must beware of
	the too good man as well as the too bad, each in his own way may give the
	public what it doesn’t want.119 Det handlar alltså, för att tolka resonemanget,
	bland annat om risken att tjänstemän i förvaltningen väljer att driva vissa verk-
	samheter med oproportionerlig kraft och på ett sätt som avviker från de prio-
	riteringar som till exempel riksdagen avsåg när de beslutade om en viss verk-
	samhet.
	Hur kan man då se på denna diskussion 70 år senare? Finer själv skulle,
	gissningsvis, hänvisa till den forskning som förknippas med public choice och
	han skulle mena att den gett honom rätt. Vad Friedrich skulle säga är mindre
	självklart. Det som dock kan konstateras är att det centrala antagandet i många
	av de idéer om offentlig administration som har dominerat de senaste årtion-
	dena har byggt på att beslutsfattarna är villiga att följa upp och justera det som
	görs till följd av ny information.
	Inom utvärderingsdiskussionen har också denna positiva syn varit viktig för
	många ledande teoretiker. Detta betyder inte att de har värjt för alla de problem
	som försvårar användningen av utvärdering inom politik och förvaltning.
	Tvärtom diskuteras med stor utförlighet frågor som gäller barriärer för använd-
	ning och olika former av användning. Detta kan snarast beskrivas som ett
	centralt tema i utvärderingslitteraturen. Trots detta är det svårt att se på utvär-
	dering som annat än ett utflöde av en stark rationalistisk syn på politik och
	statlig verksamhet. Utvärdering som en mer specifik verksamhet växer fram
	under starkt betonande av att utvärdering handlar om att förbättra. Weiss fram-
	håller att ”almost all authors agree that the purpose of evaluation research is
	to provide information for decision making about programs”.120 Owen inleder
	en lärobok i utvärdering med att klargöra att premissen för utvärdering är att
	den kan ”enhance the quality of interventions (policies and programs) de-
	signed to solve or ameliorate problems in social and corporate settings […]
	Evaluation should be seen as a process of knowledge production, which rests
	on the use of rigorous empirical inquiry”.121 Citaten vill dock inte på något sätt
	antyda att användningen sågs som en rätlinjig process. Tvärtom. Det viktiga
	är dock att tanken att det var kunskapen i sig, och kanske för en del själva
	processen med att ta fram kunskapen, som skulle påverka inte rädslan för att

	118 Finer, 1965. s. 179.
	119 Finer 1965, s. 180.
	120 Weiss 1972b, s. 14.
	121 Owen 2007, s. 1.
110

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

någon annan ska kontrollera oss och till exempel peka på vår bristande effektivitet eller bristande kompetens.

Diskussionen om förvaltningens drivkrafter kan inte ses som avslutad, och det skulle vara dumdristigt att ens försöka döma i denna fråga. Här ska i stället hävdas att även om vi antar att de flesta byråkrater och byråkratiska institutioner i de flesta situationer agerar med det allmännas bästa för ögonen, kan vi inte utgå från att detta alltid är fallet. Och även om det finns olika internaliserade och professionella mekanismer som innebär att administrativa system blir ”självkorrigerande” så kan vi inte utgå från att dessa alltid är tillräckliga.

5.3.1 Motsättningen mellan lärande och kontroll

Innan vi lämnar denna renodling av olika synsätt på effektivitetsrevision finns det anledning att något diskutera den grundläggande motsättningen mellan å ena sida kontroll, å andra sidan lärande och förbättring. Är det verkligen riktigt att se detta som en dikotomi? Ett alternativt sätt att se saken är att se lärande som en förutsättning både för förbättring och ansvarsutkrävande. Lärande kan alltså också ses som en förutsättning för alla former av användning av utvärdering, effektivitetsrevision och andra undersökningar av statlig verksamhet.

Detta har naturligtvis att göra med hur vi förstår lärande. Forss och Rebien definierar, utifrån Bateson, Piaget and Perris, i ett första steg ”learning as changes in knowledge structures.” De definierar därefter kunskapsstrukturer genom att säga att de ”are complex patterns that arise as the human brain receive stimulus from life experiences. These stimuli are received interpreted, processed and stored. So knowledge structures are the root of learning; they are the result of learning and at the same time they shape learning.”122 Med detta betraktelsesätt är det svårt att ställa ansvarsutkrävande och lärande mot varandra. Om man tänker sig att en utvärdering som görs med det uttalade syftet att förbättra en särskild verksamhet upptäcker problem i verksamhetens genomförande och pekar på hur dessa kan lösas är det självklart att de som är involverade i genomförandet måste lära sig för att verksamheten ska förbättras. Emellertid, om vi i stället tänker oss en utvärdering som genomförts med syftet att möjliggöra ansvarsutkrävande förutsätts att denna utvärdering inte bara identifierar utan också redogör för i vilken utsträckning dessa problem eller fel kan förklaras av hur personer eller institutioner agerat och om de skulle haft möjligheter att agera annorlunda.

Redan detta exempel visar att även när det handlar om ansvarsutkrävande måste den information som en effektivitetsrevision eller någon annan ger, bli ”interpreted, processed and stored.” Ansvarsutkrävande, oavsett om det handlar om elektoratet som utkräver ansvar av de som valts eller någon annan relation i ansvarskedjan, kan inte beskrivas i termer av en mekanisk relation mellan två parter. Det är svårt att tänka sig ansvarsutkrävande utan lärande.

122 Forss och Rebien 2006, s. 236.

2017/18:URF2

111

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

5.4 Betydelsen av oberoendet

De två olika sätten att resonera om effektivitetsrevisionen, som vi här försökt renodla, har ett samband med synen på oberoendet. Oberoende uppfattas ofta som en kvalitet i sig. När vi talar om att ”oberoende forskare visar i en rapport” föreställer vi oss att det oberoende det hänvisas till gör att kan vi lita mera på informationen i rapporten än om forskarna har knytningar till företag eller individer med intressen i den fråga forskningen avser. Det är alltså möjligt att tänka sig att en studie, vars syfte är att ge förslag på hur en verksamhet kan förbättras, uppfattas som mera trovärdig om det kan visas att den som gjort den står fri från bindningar till verksamheten. Och de som företräder kunskapslinjen menar att det förhåller sig på detta sätt. Just genom att den statliga effektivitetsrevision som del av ett nationellt revisionsorgan, har ett konstitutionellt garanterat oberoende så kan den ställa frågor som inte ställs av andra producenter av kunskap om statlig verksamhet. Det gör också att revisionens uppdragsgivare och andra kommer att känna att de kan lita på den information de får av effektivitetsrevisionen.

Kunskapslinjen leder därmed fram till empiriska frågor. Den första gäller om det faktiskt är så att ett nationellt revisionsorgan ställer helt andra frågor än till exempel forskare eller olika expertorgan och om rapporterna i någon mening kan anses bättre än andras. Denna empiriska fråga är det dock inte möjligt att besvara i denna promemoria, någon tillförlitlig forskning att åberopa finns inte heller. Den andra frågan gäller om förtroendet för den kunskap som revisionen tar fram är större än för annan kunskap. Litar man mera på de studier som görs av ett organ som Riksrevisionen än om motsvarande studier görs av till exempel olika forskningsinstitutioner, framstående enskilda forskare, specialistmyndigheter och så vidare? Ordet man kursiverades i syfte att peka att svaret kanske kan variera beroende på om vi talar om riksdagsledamöter, tjänstemän i Regeringskansliet, föräldrar, tjänstemän på socialkontor eller ytterligare någon annan grupp. Denna fråga ska tangeras i kommande avsnitt, men det ska dock redan här sägas att det även när det gäller denna fråga inte finns några studier som svarar på frågan.

Det ska också, som tangerats i tidigare diskussion, framhållas att det ter sig svårt att mera allmänt hävda att just oberoendet skulle göra att effektivitetsrevisionen har förutsättningar att vara mera främjande än andra som undersöker och föreslår förändringar i statlig verksamhet. Flera forskare framhåller att just beroendet, i stället för oberoendet, kan vara viktigt om syftet är att bidra till användning och förbättringar på operativ nivå. Som tidigare framhållits gäller detta bland annat Patton.123 Att oberoendet inte är något självklart värde torde också vara uppenbart om vi ser på till exempel hur olika organ som sysslar med rådgivning och organisationsförbättring arbetar.

En rad olika utvärderingsansatser som syftar till att vara stöd för de som på olika nivåer, till exempel en myndighetsledning, en chefsgrupp eller medarbetarna på en enhet, vill förbättra den verksamhet som de svarar för bygger på

123 Patton 2009, s. 140 och 168.

112

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

att chefer och medarbetare är involverade i valet av utvärderingens inriktning och uppläggning. Nyckelorden i diskussionen om hur studier ska komma till nytta för lärande och förbättring av en verksamhet är ofta ”interactive”, ”participatory”, ”involving” och att utvärderaren ska verka för till exempel ”closeness” och ha en roll som ”facilitator”, snarare än att vara den som värnar sitt oberoende. Innebörden av detta är att oberoende ibland är viktigt när det ska tas fram kunskap som mera direkt syftar till att användas för att förbättra en verksamhet. Men ibland är det inte det – oberoendet kan med andra ord diskuteras i instrumentella termer. Bidrar det eller bidrar det inte till förbättring?

Det finns här anledning att peka på att många utvärderingar görs i ett sammanhang av kontroll och ansvarsutkrävande. Många utvärderingsforskare har också framhållit att utvärdering kan ha detta syfte.124 En utomstående utvärderare – till exempel en forskare eller konsult – kan kallas in av en ledning för att granska underlydande organs eller befattningshavares verksamhet. Oberoendet, i förhållande till den verksamhet som utvärderas, kan alltså vara betydande, men det gäller just det tilldelade uppdraget. Den tillkallade utvärderaren agerar inte utifrån en ”egen” institutionell plattform som gör det möjligt att till exempel själv välja vad som ska granskas samt när och hur och hur kontraktsrelationen ser ut i varje enskild situation. Om vi talar om den som har ett uppdrag att granska en verksamhet eller institution i ett kontrollsyfte är detta oberoende knutet till den granskande institutionen. De egenskaper som vi uppfattar som centrala för oberoendet måste vara knutna till den granskande institutionen som sådan.

Synen på oberoendet skiljer sig alltså på ett avgörande sätt mellan de två linjer eller verkansteorier som här diskuterats. Om syftet är att kontrollera hur någon sköter sitt uppdrag kan inte oberoendet ses i instrumentella termer, det är inte en villkorlig, och kanske tillfällig, egenskap utan en avgörande förutsättning för verksamheten. Oberoende blir en del av definitionen av effektivitetsrevision eftersom kontrollsyftet inte är möjligt utan oberoende. Om det handlar om verksamhet som finns till för att öka kunskapen om statlig verksamhet blir vikten av oberoende beroende på svaren på ett antal empiriska frågor. Värdet av att det finns en effektivitetsrevision vars oberoende, som en del av Riksrevisionen, är särskilt reglerat blir då beroende på hur väl den bidrar till förbättring, ökad kunskap och så vidare och gör detta i högre grad än alternativa lösningar skulle göra.

5.4.1 Oberoende och förtroende

Om effektivitetsrevision motiveras utifrån det som här omtalats som kontrolllinjen är alltså oberoendet ofrånkomligt. Det är också detta som gör att effektivitetsrevision, på ett skenbart paradoxalt sätt, kan bidra till att stärka förtroendet för den offentliga verksamheten. Revisionens utgångspunkt är visserligen misstro, dess existens bygger på att det inte kan uteslutas att makt och

124 Alkin och Christie 2004, s. 12.

2017/18:URF2

113

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	befogenheter kan missbrukas. Demokratin förutsätter till en del denna misstro,
	men om misstron blir för stor kan inte samhället fungera. Just det förhållandet
	att medborgarna vet att någon kontrollerar den statliga förvaltningen bidrar
	därför till att det skapas balans mellan misstro och förtroende.

114

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

2017/18:URF2

6 Riksrevisorernas syn på uppdraget

I ett försök att ringa in ”vad effektivitetsrevision handlar om” bör rimligen en bild ges av riksrevisorernas syn på effektivitetsrevisionens uppdrag. En sådan beskrivning kan göras på olika nivåer. Bäst, ligger det i alla fall nära till hands att tycka, vore en systematisk undersökning av de granskningar som gjorts. En sådan undersökning borde ge en klar bild av riksrevisorernas syn, men är en omfattande forskningsuppgift som inte är möjlig inom ramen för denna promemoria.

En annan nivå är att gå igenom vad riksrevisorerna skrivit om dessa ting. Riksrevisorerna formulerar sina ambitioner och synsätt i flera olika sammanhang. Av särskilt intresse är granskningsplanerna. Det är det enda dokument, vid sidan av årsredovisningen, som enligt lag ska beslutas gemensamt av de tre riksrevisorerna. I lagen om revision av statlig verksamhet m.m. och olika kommentarer sägs dock ingenting mera precist om vad detta dokument ska innehålla. Riksrevisorerna har dock, alltsedan myndighetens start, låtit dokumentet inte bara vara en lista över vad som ska göras utan har också i det försökt precisera sin uppfattning i mera principiella inriktningsfrågor.

En strävan i detta kapitel har varit att fokusera sådant som har relevans vid en diskussion om effektivitetsrevisionens uppdrag i demokratin. Kapitlet är uppdelat i två avsnitt. I det första och mest utförliga avsnittet behandlas hur riksrevisorerna beskrivit effektivitetsrevisionens uppdrag. Det är också den fråga som kan bedömas vara mest relevant i detta sammanhang fokus riktas mot spänningen mellan de två linjer, kunskapslinjen och kontrollinjen, som diskuterats i tidigare kapitel (kap. 5). Oavsett hur uppdraget uppfattas av riksrevisorerna ligger det dock i sakens natur att förskjutningar skett under åren beträffande vad man de facto granskar. Etablering och integration har till exempel inte oväntat tagits upp oftare under senare år än under de tidigare. En analys av dessa förskjutningar, som förvisso är en viktig del i riksrevisorernas ansvar, ligger dock utanför denna framställning. Det finns dock ett antal mera principiella frågor kring valet av granskningar som lyfts fram i granskningsplanerna. Några av dessa diskuteras i avsnitt två i detta kapitel.

6.1 Uppdraget

Av granskningsplanerna framgår tydligt att riksrevisorerna alltsedan Riksrevisionens bildande velat tydliggöra vad de sett som kärnan i effektivitetsrevisionens uppdrag och – möjligen lite högtidligt uttryckt – dess roll i det demokratiska systemet. Det intresseväckande är att vi möter en långt ifrån enhetlig syn på detta under de knappt femton år Riksrevisionen funnits. Det är i stället möjligt att se att synen påtagligt förändrats.

115

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

6.1.1 Granskningsplanerna 2004–2008: Skapa förutsättningar för ansvarsutkrävande

Den första granskningsplanen som läggs fram avser år 2004 och beslutades i december 2003. I detta dokument möter vi ett antal principiella ställningstaganden. Det är alldeles uppenbart att den första uppsättningen riksrevisorer strävar efter att mycket tydligt tala om vad de tycker att effektivitetsrevision handlar om.

Deras sätt att beskriva effektivitetsrevisionen kan tolkas som ett uttryck för uppfattningen att även effektivitetsrevisionen på ett grundläggande plan måste ses som revision och att det inte är fråga om en misnomer för att använda Barzelays karakterisering av performance audit (kap. 5). I vad som rimligen får uppfattas som det mest centrala avsnittet fastslår riksrevisorerna i den första granskningsplanen i avsnittet Mandat och inriktning för effektivitetsrevisionen:

Revisionen skall utgå från en faktiskt bedriven verksamhet och bedrivs därför alltid i efterhand. Vidare bör granskningarna ta fram underlag som möjliggör ansvarsutkrävande. De revisionella iakttagelserna måste kunna utgöra underlag för att fördela kritik och ansvar. Detta innebär att de revisionella iakttagelserna skall visa var eventuella brister finns och därmed ge underlag för beslut om konkreta åtgärder. Revisionsfrågorna skall kunna formuleras och besvaras i förhållande till fastställda normer. När riksdagen angivit sådana utgör dessa alltid utgångspunkter för granskningen.

Granskningarna kan täcka hela verkställighetskedjan från regering till underlydande verksamheter. De revisionella iakttagelserna skall ha en hög grad av tillförlitlighet (kursiveringar i original).125

Kravet på att granskningarna ska kunna utgöra underlag för ansvarsutkrävande och att det handlar om en faktiskt bedriven verksamhet kan ses som uttryck för en hållning som innebär just att effektivitetsrevisionen i grunden uppfattas som all annan revision. Implicit finns tanken på uppdragsgivare och uppdragstagare och revisionen som en tredje part. Att det som granskas ska vara faktiskt bedriven verksamhet kan ses som ett poängterande av att revisionen inte mera allmänt ska utgå från vad staten bör göra för att komma till rätta med olika problem, det måste avse genomförandet av någonting.

Den tydlighet med vilken riksrevisorerna framför sin syn kan tolkas som ett sätt för dem att klargöra att de nu önskade inta en annan position till effektivitetsrevisionen än den som präglade både Riksrevisionsverket (RRV) och Riksdagens revisorer. Det råder nämligen ingen tvekan om att denna position innebar ett trendbrott i den svenska effektivitetsrevisionen. Stöd för detta ges särskilt av Bringselius i hennes avhandling men också i en senare bok. Hon visar med stor tydlighet att det här var fråga om ett medvetet val av de tre första riksrevisorerna att förändra den tradition som fanns inom RRV och Riksdagens revisorer av vad hon beskriver som ”breda granskningar” till att ”omtolka effektivitetsrevisionens inriktning till en fråga om primärt ansvarsutkrävande och regelefterlevnad. Utvecklingen var, som denna studie visar,

125 Granskningsplan för Riksrevisionen 2004, s. 5.

116

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

resultatet av ett medvetet systematiskt arbete från de första riksrevisorernas sida”.126 Bringselius bild av en starkt förändrad syn på effektivitetsrevisionen stöds av de observationer Pollitt med flera gjorde i sin studie 1999. Pollitt pekade på att RRV, som var en av de nationella revisionsorgan som omfattades av studien, i ökande grad hade glidit mot den roll som beskrevs som researcher/scientist men också mot rollen som management consultant. Han framhåller att ”within this role, both the scientific niceties and the demands for transparency are less to the force than securing improvements in the management of public agencies”. Innebörden illustreras med ett citat från RRV:s årsredovisning för 1995/96. ”In its work the RRV shall provide a transfer of know-how, advisory services and support to the Cabinet Office and government agencies to ensure that appropriate measures are taken”. Innebörden av en sådan roll är att effektivitetsrevisionen för att bli ”useful […] needs to be close to the auditee, to understand its problems and work with its members to achieve reform”.127

Det som kan ses som de centrala momenten i detta stycke återkommer under de följande åren. När granskningsplanen för 2005 anger vilka kriterier ”valet och genomförandet av granskningarna […] i allt väsentligt” ska utgå från läggs ett par ting till. Riksrevisorerna slår fast att ”det måste finnas aktörer med definierade befogenheter och dessa kan inte kritiseras för det som ligger utanför deras ’påverkanssfär’” innan det upprepas att rapporterna ska utformas så att de kan utgöra underlag för ansvarsutkrävande, något som nu kallas ansvarskriteriet.128 Även vad som sägs om det som nu kallas bedömningsgrunderna har utvecklats då det fastslås att ”bedömningsgrunderna för granskningen måste kunna anges. De ska följa antingen av direkta beslut av riksdagen (eller i förekommande fall regeringen) eller kunna härledas från riksdagens direkta eller indirekta ställningstaganden (kravkriteriet)”.129

Till de kriterier som introducerades redan i den första granskningsplanen läggs redan i granskningsplanen för 2005 till ett femte kriterium. Det är: ”Granskningen ska ta sin utgångspunkt i ett förmodat problem (problemkriteriet)”.130 Vad det innebär kommer att diskuteras senare i detta kapitel.

Den syn på effektivitetsrevisionen som framträder i de första granskningsplanerna är alltså påtagligt konsekvent. De tillägg, och smärre förändringar, som görs kan rimligen sägas vara en naturlig utveckling från en grundposition. Mera oklart är dock den närmare innebörden av det som sägs. De olika kriterierna är långt ifrån självklara, tvärtom torde de i så gott som samtliga fall kunna leda till olika tolkningar. Kriterierna tangerar i flera fall, för att inte säga samtliga, frågor som också har varit föremål för diskussion i akademiska och andra sammanhang. Riksrevisorerna väljer dock, trots att granskningsplanen är det enda framåtriktade dokument som de gemensamt beslutar om, att inte utveckla innebörden av de olika kriterierna.

126Bringselius 2013, s. 11.

127Pollitt med flera 1999, s. 211–212.

128Granskningsplan för Riksrevisionen 2005, s. 7.

129Granskningsplan för Riksrevisionen 2005, s. 7.

130Granskningsplan för Riksrevisionen 2005, s. 7.

2017/18:URF2

117

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	De problem detta medför, åtminstone vid en analys ett antal år efteråt, är
	att det inte är möjligt att gå till andra dokument, som beslutats gemensamt av
	riksrevisorerna, för att få hjälp i tolkningen av det som sägs. Såvitt bekant
	valde inte heller de första riksrevisorerna att på andra sätt, till exempel i arti-
	kelform, utveckla och klargöra hur de resonerade.

6.1.2 Granskningsplanerna 2009–2010: Början på en omsvängning

Granskningsplanen för 2009 innebar en förändring. Den starka ambitionen att klargöra vad effektivitetsrevision är tonas ner. I stället väljer riksrevisorerna att lyfta fram på vilka grunder de väljer vad som ska granskas. Även tidigare hade det funnits en argumentation för vilka områden (teman, frågeställningar) som stod i fokus. I 2009 års granskningsplan uttrycks dock detta som vad som rimligen kan kallas fem principer för valet av vad som ska granskas. Det är uppenbart att dessa ersätter de tidigare kriterierna i de tidigare granskningsplanerna. De är i likhet med de tidigare kriterierna placerade direkt efter det stycke som beskriver lagstiftningen och anger att effektivitetsrevisionen enligt riksrevisorernas beslut ska vara inriktad på för ”samhället väsentliga frågeställningar där det finns klara risker för effektivitetsbrister” och att granskningen ska avse hela verkställighetskedjan.131 De fem principerna var följande:

• Främst ska genomförandet av statlig verksamhet granskas: Riksrevisorerna framhåller att innebörden av att effektivitetsrevision, enligt lagen om revision av statlig verksamhet, ska ta sikte på genomförandet och resultat är att det som ska granskas är ”prestationer och effekter i förhållande till mål och syften som ställs upp för verksamheten. Att även genomförandet av verksamheten ska granskas innebär att Riksrevisionen inte bara ska upptäcka brister i effektiviteten inom olika verksamheter utan även försöka klarlägga var i genomförandekedjan, vare sig det är på regerings- eller myndighetsnivå, som orsaken till dessa brister uppkommit.

• Anknytningen till statens budget ska beaktas i de flesta fall: Revisionslagens formulering om anknytning till statens budget ska enligt riksrevisorerna ses som ”en markering att de finansiella konsekvenserna av olika brister […] ska lyftas fram” och formuleringen i lagen utgör därmed ett väsentlighetskriterium. ”Allt annat lika bör således granskningar prioriteras som rör verksamheter med stora anslag, eller med risk att betydande statliga medel används ineffektivitet.”

• Granskningar ska utgå från allmänna samhällsintressen: Riksrevisorerna framhåller här att innebörden är att granskningen ”inte bör bedrivas utifrån olika typer av särintressen. I praktiken betyder detta att utgångspunkten för granskningsverksamheten ska vara riksdagens, såsom främsta

131 Punkterna är hämtade från Granskningsplan för Riksrevisionen 2009, s. 11–12. Texten är i stort likalydande följande år. I den näst sista punkten har i näst sista raden ordet ”högre” lagts. Det finns inte med i granskningsplanerna vilket här antagits bero på tryckfel.

118

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

uttolkaren av det allmänna samhällsintresset, intentioner med den granskande verksamheten. Granskningarna ska utgå från de mål och/eller syften som riksdagen ställt upp för verksamheten i fråga eller från generella mål för effektivitet såsom de uttrycks i budgetlagen. De bör följa av direkta beslut av riksdagen eller kunna härledas från riksdagens ställningstaganden.”

•Granskningarna ska främja ett effektivt utbyte av statens insatser:

Det som revisionslagen här säger tolkas av riksrevisorerna som ”en förväntan att revisionen bör ha en viss inriktning mot ekonomiska förhållanden, med fokus på resultat och effektivitet i förhållande till uppsatta mål och anslagna resurser. Betoningen på främjande tolkar vi som att revisionen inte bara ska blottlägga brister utan också konstruktivt bidra till att verksamheten kan bli effektivare genom väl avvägda rekommendationer och därigenom nå en högre verkningsgrad. Detta förutsätter i sin tur ett tydligt ställningstagande till vem som bär ansvaret för att undanröja konstaterade brister.”

•Rapporterna ska medge underlag för ansvarsutkrävande: ”Riksrevisionens rapporter ska utformas så att de kan utgöra underlag för ansvarsutkrävande. Det är därför viktigt att i granskningarna kunna fördela ansvar och kritik mellan berörda aktörer. Huruvida ansvar faktiskt utkrävs eller i vilka former detta görs är däremot inte en fråga för Riksrevisionen.”

Vad gäller de fyra första principerna hänvisas, i något fall mera indirekt, till lag om revision av statlig verksamhet m.m. På vilket sätt det som faktiskt sägs i granskningsplanen representerar en förändrad tolkning av denna är inte alldeles lätt att se. Det som sägs i den första punkten om att klargöra till vilken nivå brister i genomförandet kan hänföras kan rimligen inte ses som en omorientering. Detsamma gäller kravet på att granskningarna ska vara inriktade både på prestationer och de effekter dessa ger upphov till. Det som sägs i övrigt i granskningsplanerna för 2009 och 2010, och även i de följande granskningsplanerna, ger inte heller uttryck för ståndpunkten att alla granskningar skulle ha denna dubbla inriktning. Det väsentlighetskriterium som införs genom den andra principen är uppenbarligen ett sätt att nalkas frågan om på vilken grund riksrevisorerna väljer vad som ska granskas även om den mera precisa innebörden av den knappast framstår som särskilt klar. Den tredje principen genom vilken det klargörs att effektivitetsrevisionen inte bör bedrivas utifrån olika särintressen utan utifrån vad riksdagen beslutat kan möjligen uppfattas som självklar men får ses som ett sätt att klargöra innebörden av ”allmänna samhällsintressen”. Betonandet av vikten av rekommendationer, i den fjärde principen, får uppfattas som ett sätt att tydligare än tidigare markera att detta är en viktig del av effektivitetsrevisionen.

Ingen av dessa fyra principer har alltså en karaktär som gör det svårt att föreställa sig att de, i huvudsak, skulle ha kunnat föras in i de tidigare granskningsplanerna. Det notabla är i stället vad som inte står i granskningsplanerna

2017/18:URF2

119

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	för 2009 och 2010. Ansvarskriteriet förs visserligen in som den femte princi-
	pen men är placerat i en uppräkning av kriterier som även i övrigt kan ses som
	ett uttryck för viljan att placera effektivitetsrevisionen i ett sammanhang av
	ansvarsutkrävande. Här har också, möjligen för att klargöra missuppfattningar,
	förts in att utkrävandet av ansvar inte tillkommer Riksrevisionen.
	För fullständighetens skull bör det nämnas att 2009 års granskningsplan
	också innehåller ett särskilt stycke om ”krav på granskningar”. De krav som
	nämns följer av framställningen i övrigt med undantag av att ”granskningen
	ska vara problemorienterad” som alltså motsvarar det problemkriterium som
	infördes redan 2005.132

6.1.3 Granskningsplanerna 2011/12 – 2014/15: Främjare av statens verksamhet

De följande fyra granskningsplanerna avviker inte bara i layout (från 2012/13 också i format) från de föregående. De innehåller flera hänvisningar till Intosai och internationella standarder – det är uppenbart att det finns en ambition att visa att man uppfyller de krav som ställs i Intosai:s dokument. Det är också påtagligt att analyser av ”förändringar och trender i omvärlden” ses som en viktig del i arbetet med att ta fram granskningsplanen.

Det är också tydligt att riksrevisorerna i dessa granskningsplaner, mer än i de närmast föregående, klart vill formulera vad man ser som Riksrevisionens uppgift. Om de första granskningsplanerna beskriver att effektivitetsrevisionens granskningar måste utformas så att de möjliggör ansvarsutkrävande, framträder här i stället en mera pluralistisk hållning. I avsnittet om utgångspunkter för effektivitetsrevision fastslås både i granskningsplanerna för 2011/12 och 2012/13 att ”effektivitetsrevision har som uppgift att granska och lämna förslag till förändringar så att den statliga verksamheten bedrivs effektivare, med högre kvalitet och/eller till lägre kostnader. Genom granskningsrapporter ger Riksrevisionen underlag som möjliggör för riksdagen att utkräva ansvar (jämför det engelska uttrycket accountability). Genom att inrikta granskningen på indikerade problem, redovisa tydliga iakttagelser samt ge rekommendationer försöker revisionen uppnå förbättringar i syfte att främja effektivitet och resurshushållning”.133

Det är dock notabelt, oavsett hur detta kan tolkas, att det redan nästa år sker en form av återgång till en mera renodlad ansvarslinje. Här är det inte längre fråga om att peka på olika syften. Själva medlet, som Riksrevisionen förfogar över, för att öka effektiviteten i den statliga verksamheten är nu ”att lämna underlag som gör det möjligt för riksdagen att utkräva ansvar av såväl regeringen som dess myndigheter, bolag och stiftelser för de effektivitetsbrister som identifieras i granskningen”.134 Detta gör det förstås än mera intressant att det är i den därpå följande granskningsplanen som tanken på att effektivitetsrevi-

132 Granskningsplan för Riksrevisionen 2009, s. 13

133 Granskningsplan för Riksrevisionen 2011/12 och 2012/13 s. 9 resp. 17–18. 134 Granskningsplan för Riksrevisionen 2013/14 s. 18.

120

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

sionen ska möjliggöra ansvarutkrävande försvinner och främjandelinjen helt ersätter ansvarslinjen. I ingressen till avsnittet Effektivitetsrevision under huvudavsnittet Utgångspunkter för granskningsverksamhet ersätts den tidigare nyss citerade texten av en text med ett radikalt annorlunda innehåll: ”Effektivitetsrevisionen syftar till att öka effektiviteten i den statliga verksamheten. Detta görs genom att Riksrevisionen påtalar brister i den statliga verksamheten och klargör huruvida dessa hade kunnat undvikas om de som haft ansvar för att utföra verksamheten hade handlat annorlunda inom ramen för sina faktiska möjligheter. Det innebär att Riksrevisionen också, genom att lämna rekommendationer, klargör på vilket sätt olika verksamheter skulle ha kunnat bedrivas bättre. Därmed får Riksrevisionen en främjande roll.”135 (2014/15, s. 20). Den mellersta meningen i citatet får väl möjligen ses som ett slags indirekt hänvisning till ansvarsutkrävandet. Att se om de som haft ansvar ”haft faktiska möjligheter” att handla annorlunda har ju onekligen relevans i en prövning av någons ansvar.

Trots detta snabba kast är det tydligt att granskningsplanerna undan för undan blir dokument som uttrycker en mera pluralistisk syn på effektivitetsrevisionen, men där ansvarslinjen undan för undan trängts undan. I granskningsplanen för 2014/15 möter vi en effektivitetsrevision som i första hand får beskrivas som främjande och rekommenderande genom att berätta om hur saker kan göras bättre.

6.1.4 Granskningsplanerna 2015/16 och 2016/17: Den främsta kunskapsproducenten

Dessa två granskningsplaner, de sista som genomgången omfattar, påminner i hög grad om de allra första i ett alldeles särskilt avseende. Det är uppenbart att granskningsplanen för 2015/16 beslutats av tre riksrevisorer som vill klargöra att det är fråga om en ny inriktning av effektivitetsrevisionen.136 Målsättningen för Riksrevisionen, fastlås i granskningsplanen, är att den ska bidra till ”ett högt förtroende för det offentliga åtagandet och att det statliga åtagandet bedrivs med högsta möjliga kvalitet och att det är långsiktigt hållbart”.137 Detta är förvisso inte något som ter sig frapperande i en diskussion om effektivitetsrevisionen. I hög grad, som också framgått av denna promemoria (kap. 5) har diskussionen handlat om på vilket sätt effektivitetsrevisionen kan bidra till att vi, som medborgare, kan känna förtroende för staten och dess verksamhet.

I granskningsplanen 2015/16 och efterföljande år kopplas dock detta direkt till en konkret uppgift. I granskningsplanerna framhålls att i det långsiktiga perspektivet ska Riksrevisionen kunna uttala sig generellt om huruvida det ”offentliga åtagandet åtnjuter högt förtroende, dvs. om det offentliga åtagandet är effektivt och om det bedrivs med högsta möjliga kvalitet givet tillgängliga

135Granskningsplan för Riksrevisionen 2014/15 s. 20.

136Granskningsplan för Riksrevisionen 2016/17 beslutades av endast en riksrevisor, Margareta Åberg.

137Granskningsplan för Riksrevisionen 2015/16, s. 9.

2017/18:URF2

121

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	resurser samt om det är långsiktigt hållbart”.138 Det är en intresseväckande for-
	mulering. Det implicerar att högt förtroende följer av att det offentliga åtagan-
	det är effektivt, har hög kvalitet samt är långsiktigt hållbart. Resonemanget
	utvecklas dock något med hänvisning till den forskning som finns om den be-
	tydelse kvaliteten i offentlig förvaltning har för ett lands välstånd och det fram-
	hålls att genom ”att en oberoende instans granskar att det statliga åtagandet
	håller vad det lovar, är effektivt och oklanderligt, kan medborgarnas vilja att
	bidra till det gemensamma åtagandet stärkas”.139
	Riksrevisionens roll blir därmed att uttala sig i förtroendefrågan genom
	egna men också andras analyser. Det handlar om att ”på grundval av Riksre-
	visionens granskningar, kompletterade med andra aktörers utvärderingar och
	uppföljningar återkommande kunna ge ett samlat uttalande om allmänhetens
	förtroende för och hållbarheten i det statliga åtagandet”.140 Den närmare inne-
	börden av dessa uttalanden är inte självklar. Rimligen innebär det inte att Riks-
	revisionens centrala uppgift är att på grundval av olika mätningar uttala sig om
	vilket förtroende allmänheten de facto har för hållbarheten i det statliga åta-
	gandet utan snarare att uttala sig om huruvida den statliga verksamheten be-
	drivs på ett sådant sätt att allmänheten kan antas känna förtroende för det stat-
	liga åtagandet.
	Det som kan ses som centralt är dock att effektivitetsrevisionen placeras in
	i ett sammanhang med andra kunskapsproducenter inriktade på statens verk-
	samhet. I syfte att kunna ge en ”nyanserad värdering av det statliga åtagandet”
	gäller det att använda kunskap framtagen på olika håll. Effektivitetsrevision-
	ens uppgift är att ”åstadkomma en heltäckande och nyanserad värdering av det
	statliga åtagandet. Därmed skapas förutsättningar för att också dra lärdomar
	av de goda exemplen.”141 Ambitionen formuleras likartat i granskningsplanen
	för 2016/17 där det konstateras att Riksrevisionen planerar en ”systemgransk-
	ning av samtliga utgiftsområden som, om några år, kommer att rapporteras till
	riksdagen. Syftet är att ge en samlad bedömning av utveckling, resultat, fram-
	tida risker och angelägna åtgärder inom alla viktiga samhällsområden där sta-
	ten har ett ansvar samt där staten helt eller delvis finansierar verksamheten.
	Rapporten ska baseras på tidigare granskningsrapporter, utvärderingar, forsk-
	ningsrapporter, Riksrevisionens omvärldsanalys m.m.”142 Förvisso har uttryck
	som heltäckande och liknande även förekommit i tidigare granskningsplaner.
	Det har även tidigare påpekats att enskilda studier sällan möjliggör uttalanden
	om effekterna av statliga verksamheter och att det därför måste genomföras
	flera granskningar inom ett område.143 Skillnaden är att det tidigare var fråga
	om ett tillvägagångssätt för att kunna ge en bild av situationen på ett område
	eller kring en viss verksamhet, nu gällde det staten som helhet.

	138 Granskningsplan för Riksrevisionen 2015/16, s. 9.
	139 Granskningsplan för Riksrevisionen 2015/16, s. 12.
	140 Granskningsplan för Riksrevisionen 2015/16, s. 10.
	141 Granskningsplan för Riksrevisionen 2015/16, s. 10.
	142 Granskningsplan för Riksrevisionen 2016/17, s. 11.
	143 Granskningsplan för Riksrevisionen 2013/14, s. 19.
122

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Effektivitetsrevisionen ges i dessa två granskningsplaner rollen att vara det organ som fördjupar kunskapen om staten och förutsättningarna för statliga interventioner och under vilka förutsättningar dessa bäst kan leda till effektivitet och hållbarhet i det statliga åtagandet. Det är en främjande roll som inte handlar om att sätta fokus på de områden där det kan misstänkas finnas problem och där effektivitetsrevisionen kan bidra med kunskaper om hur verksamheten kan bli bättre. Grunden för valet av granskningar är i stället att ”säkerställa” att Riksrevisionen kan åstadkomma denna heltäckande och nyanserade bild (2015/16, s. 10). Detta beskrivs också som en tyngdpunktsförskjutning mot att värdera effekter och samhällsnytta av de statliga insatserna samt att i större utsträckning analysera de bakomliggande orsakerna. Det är ett sätt som, för att använda de termer som introducerades i kapitel 4 i denna promemoria, kan beskrivas som policyfrämjande eller kunskapsgenererande. Det handlar om att bygga ett slags grundkunskap som svarar på frågan, som det uttrycks i granskningsplanen för 2015/16, ”om det statliga åtagandet är hållbart”.144

6.2 Valet av vad som ska granskas

I de olika granskningsplanerna beskrivs mer eller mindre utförligt den planeringsprocess som leder fram till riksrevisorernas ställningstaganden till vad som ska granskas och beskrivs redan i granskningsplanen för 2006 som ”en kontinuerlig process som är integrerad i verksamheten”.145 Vikten av den egna omvärldsanalysen framhålls i ökande grad och blir under några år (särskilt 2011/12–2014/15) en central del i granskningsplanen, och pekar på övergripande faktorer som påverkar statens roll och verksamhet (globalisering, den demografiska utvecklingen, välfärdens finansiering och hållbarhet och så vidare) som kan påverka förutsättningarna för statens verksamhet och utgöra risker för olika verksamhetsområden. På vilket sätt dessa beskrivningar de facto har varit styrande för urvalet av granskningar och deras närmare inriktning kräver dock en avsevärt mera ingående analys än vad som här har varit möjligt att genomföra.

I granskningsplanerna diskuteras dock vissa fall principiella frågor kring valet av vad som granskas. Några ska beröras här.

6.2.1 Problemkriteriet

Redan i granskningsplanen för 2005 infördes som ett särskilt kriterium för valet av vad som skulle granskas att ”granskningen ska ta sin utgångspunkt i ett förmodat problem”.146 Kriteriet, som på ett eller annat sätt återkommit i de olika granskningsplanerna fram till 2015/16, formuleras i granskningsplanen för 2012/13 att lagens krav om att effektivitetsrevisionen ska främja att staten

144Granskningsplan för Riksrevisionen 2015/16, s. 13.

145Granskningsplan för Riksrevisionen 2006, s. 10.

146Granskningsplan för Riksrevisionen 2005, s. 7.

2017/18:URF2

123

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	med hänsyn till allmänna samhällsintressen får ett effektivt utbyte av sina in-
	satser innebär att ”effektivitetsrevisionen primärt bör identifiera områden där
	det finns risker för ineffektivitet i synnerhet om detta kan få konsekvenser för
	statsbudgeten eller allmänna samhällsintressen. Granskningen är därmed pro-
	blemorienterad och inriktas vanligen mot områden där riksdagens mål och in-
	tentioner inte uppnås.”147 Uppfattningen att ett problem i huvudsak definieras
	i statsbudgetstermer uttrycks än starkare nästföljande år. Med hänvisning till
	samma lagrum konstaterar riksrevisorerna att detta innebär ”att effektivitets-
	revisionen primärt bör identifiera risker för ineffektivitet inom områden i sta-
	tens verksamhet som ur ett principiellt eller kvantitativt perspektiv har stor
	betydelse för statsbudgeten. Granskningen är därmed problemorienterad.”148
	Tolkningen av problemkriteriet, när det nu definieras, är inte självklar. En
	fråga är förstås innebörden av ett ”principiellt eller kvantitativt perspektiv”.
	Hur mäts vikten i statsbudgeten, uttryckt på något sätt, i förhållande till andra
	aspekter. Det är också ofrånkomligt att frågor kan ställas om vad som påverkar
	möjligheterna att identifiera dessa risker och vilka faktorer som påverkar att
	det framkommer information som kan indikera bristande ineffektivitet. Oav-
	sett den närmare innebörden av detta kriterium är det dock viktigt att notera
	att det ger uttryck för en föreställning som dominerat inom Riksrevisionen –
	sökarljuset ska riktas dit där det finns problem. Det är inte fråga om att ge en
	heltäckande bild av staten liknande den som principiellt sett genomförs av den
	finansiella revisionen och som uttalar sig om hur rättvisande redovisningen är
	i samtliga revisionsobjekt.
	Problemkriteriet är dock inte självklart. Synen på detta påverkas av upp-
	fattningen om vad som är uppdragets kärna. Det är därför följdriktigt att riks-
	revisorerna i granskningsplanen för 2015/16 intar en mera reserverad hållning
	då de konstaterar att ambitionen att åstadkomma en heltäckande och nyanserad
	värdering av det statliga åtagandet innebär att grunden för urvalet av gransk-
	ningar ”inte nödvändigtvis [är] att det förekommer ett problem”.149

6.2.2 Mindre kända problem

Andra urvalsgrunder har inte samma permanens. En sådan, som särskilt tydligt tas upp i granskningsplanen för 2011/12 oh 2012/13, är att effektivitetsrevisionen har ett särskilt ansvar för ”att täcka områden där få andra aktörer befinner sig för att på så sätt även kunna lyfta fram mindre kända problem och inte endast de där det finns en aktuell diskussion, gott om kunskap och beredskap att ompröva verksamheten”.150 Den bakomliggande tankegången synes vara att vissa områden bevakas av många andra aktörer, inom staten men kanske också till exempel av intresseorganisationer och att revisionen därför bör rikta in sig på att granska det som kommer i skymundan. Denna förmodan stärks då

147 Granskningsplan för Riksrevisionen 2012/13, s. 19.

148 Granskningsplan för Riksrevisionen 2013/14, s. 19. Formuleringen är likartad i den följande granskningsplanen, s.21.

149 Granskningsplan för Riksrevisionen 2015/16, s. 10.

150 Granskningsplan för Riksrevisionen, 2011/12, s. 11.

124

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

det också sägs: ”Dels ligger det i revisionens fria roll att kunna söka denna typ av problem, dels är det i ett medborgarperspektiv viktigt att belysa mindre uppmärksammade problem för individer och grupper i samhället.” Effektivitetsrevisionen sätts härmed in i ett maktperspektiv, den har ett särskilt uppdrag att granska sådant som är viktigt för grupper som inte företräds av organisationer vilka slår larm när den egna gruppens intressen kommer i kläm. Det är en tankegång som inte självklart låter sig förenas med problemkriteriet; just problemet med dessa områden, med svaga andra bevakare, kan ju just vara att problem inte påtalas.

6.2.3 Handlingsfrihet

I granskningsplanen för 2011/12 och 2012/13 tas en form av rådighetsprincip upp. ”Ju större handlingsfrihet de olika aktörerna i ansvarskedjan har getts, i förhållande till verksamhetens mål och intentioner, desto större intresse bör revisionen ägna åt verksamheten i fråga”.151 (2011/12, s. 11). I samma resonemang förs frågan om komplexiteten i verksamhetens genomförande in och det framhålls att det kan handla om att många aktörer är inblandade i implementeringen, kommunal eller privata etc.

Båda dessa aspekter har förstås en principiell betydelse. Varför de kommer in under ett par år för att därefter försvinna framgår inte. Det finns inte heller under de efterföljande åren några resonemang som mera indirekt kan användas för att förklara detta.

6.2.4 Oklara bedömningskriterier

I några granskningsplaner tas frågan upp om vad den ”typiska effektivitetsgranskningen” är. I granskningsplanen för 2011/12 framhålls att effektivitetsrevision kan sträcka sig från ”utvärderingar av politiska reformer till granskning av om myndigheterna följer lagar och regler”.152 Dessa ytterlighetsformer ska dock enligt riksrevisorerna utgöra undantag. Riksrevisorerna framhåller att den typiska effektivitetsgranskningen därför väl i linje med revisorslagen, det vill säga granskning av genomförande av statlig verksamhet i syfte att bedöma om riksdagens mål och intentioner uppnås. De kriterier som granskningens slutsatser bedöms mot utgår ofta från riksdagens effektivitetskrav i form av mål, syften och intentioner för den aktuella verksamheten som granskas. De kan dock även utgå från till exempel god praxis, rimlighetsbedömningar eller vad som kan bedömas som kunskapsfronten inom området.153

Resonemanget ger uttryck för den grundhållning som kan sägas ha präglat granskningsplanerna sedan Riksrevisionens tillblivelse. I grunden härleds olika bedömningskriterier från vad riksdagen har sagt, men de kan också

151Granskningsplan för Riksrevisionen, 2011/12, s. 10.

152Granskningsplan för Riksrevisionen, 2011/12, s. 10.

153Granskningsplan för Riksrevisionen, 2011/12, s. 10. Se också 2012/13, s. 19, 2013/14, s.

19och 2014/15, s. 21

2017/18:URF2

125

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	bygga på det som i citatet beskrivs som kunskapsfronten eller rimlighetsbe-
	dömningar, som – får här skjutas in – det kan antas att riksdagen också vill att
	verksamheten ska bygga på. Den närmare innebörden av dessa bedömnings-
	kriterier är dock inte självklara. Rimligen kan det sägas att de får bedömas
	utifrån en tolkning av det som görs i granskningsverksamheten. Det kan dock
	noteras att det ingenstans i granskningsplanerna finns resonemang om inne-
	börden av centrala nyckelbegrepp som till exempel effektivitet och målupp-
	fyllelse.

6.3 Några kommentarer

Granskningsplanen är ett betydelsefullt dokument; det enda framåtsyftande dokument som enligt lag beslutas gemensamt av de tre riksrevisorerna. Detta har sin särskilda betydelse. I de flesta myndigheter finns det ett drag av förhandling och kompromiss när det gäller denna typ av dokument. Olika intressen, inte sällan sammanfallande med till exempel avdelnings- och enhetsgränser, ska samsas. Vanligen är dock slutresultatet fastställt av en högsta chef, meningsskiljaktigheter döms alltså av under processens gång. I Riksrevisionen beslutas granskningsplanen av tre personer som är, om uttrycket tillåts, tillsagda att komma överens om just detta dokument. Till en del torde detta förklara att dokumentet innehåller så lite av resonemang av karaktären ”vad betyder nu detta”, resonemang där kanske skillnader i ståndpunkter skulle framträda.

Detta kan uppfattas som bekymmersamt. Givet den mycket speciella roll Riksrevisionen har, och inte minst att de tre riksrevisorerna genom val av riksdagen har fått ett särskilt förtroende, är det av stor betydelse att de tre riksrevisorerna är tydliga med hur de avser att bruka detta förtroende. För att framföra en normativ ståndpunkt bör alltså riksdagens ledamöter, men också intresserade medborgare, genom granskningsplanen kunna få en avsevärt tydligare bild av hur riksrevisorerna ser på sitt uppdrag än vad som hitintills varit möjligt. I synnerhet gäller detta om denna syn skiftar över tid och mellan olika grupper av riksrevisorer.

En genomgång av granskningsplanerna ger lätt intryck av att effektivitetsrevisionens verksamhet är resultatet av en mycket genomtänkt planeringsprocess och att valet av granskningar bygger på omfattande analyser. Det är också uppenbart att riksrevisorerna gärna själva vill förmedla en sådan bild. I flera granskningsplaner beskrivs med viss utförlighet själva planeringsprocessen. Detta kan möjligen skapa en överdriven bild av betydelsen av dessa processer eller, om man så vill, det rationella draget i beslut om vad som till exempel ska granskas och därigenom också skyla över betydelsen av riksrevisorernas egna personliga preferenser. Att riksrevisorernas personliga hållning och värderingar har en stark påverkan på effektivitetsrevisionen bör dock inte ses som ett problem. Tvärtom kan det anses vara en naturlig konsekvens av det särskilda förtroende riksdagen gett riksrevisorerna.

126

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Det bör också slutligen återigen framhållas: Det som här beskrivits kan ses som den retoriska nivån – vad riksrevisorerna sagt om sitt uppdrag. Hur effektivitetsrevisionens praktik påverkats vet vi alltså mindre om. De kvalitetsbedömningar av effektivitetsrevisionens granskningsrapporter som genomförts av en forskargrupp i Uppsala har inte haft i uppdrag att besvara denna fråga. Forskargruppen pekar dock på förändringar i granskningsrapporterna; 2015 konstaterar de att de funnit fler rapporter som håller högre kvalitet jämfört med tidigare men också att de funnit ”en större bredd i granskningarnas karaktär i form av inriktning och metodologiska ansatser”.154 Vi vet dock inte något om sambandet mellan dessa förändringar och förskjutningar på den retoriska nivån. Retoriska kast kan rimligen inte ha lett till lika tvära kast i verksamheten inom effektivitetsrevisionen. Även om detta inte kan ledas i bevis så tyder nog mycket på att effektivitetsrevisionens granskningar varit betydligt mer lika över åren än vad som kan förmodas efter en genomläsning av granskningsplanerna.

154 Uppsala Universitet 2015, s. 14.

2017/18:URF2

127

2017/18:URF2 BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

7 Avgörande frågor för effektivitetsrevisionen

Riksrevisorerna har över tid haft skiftande förväntningar på vad effektivitetsrevision kan åstadkomma. Detta har kommit till uttryck i de olika dokument riksrevisorerna beslutat rörande verksamhetens inriktning (kap. 6). Det är också tydligt att även utredningstexter och betänkanden i samband med tillkomsten av Riksrevisionen och senare beslut i riksdagen präglas av skiftande förväntningar. Även de förväntningar som kom till uttryck i den offentliga debatten, i samband med och efter händelserna 2016, gick i olika riktningar. I de föregående kapitlen har också visats att de olika synsätten på effektivitetsrevisionen är en central fråga i den forskning som finns om effektivitetsrevision.

Tidigare i denna promemoria har jag försökt att tydliggöra olika uppfattningar om effektivitetsrevisionen och vilka konsekvenser de kan få för effektivitetsrevisionens praktik. Det är nu dags att på ett mera sammanfattande sätt diskutera ett antal frågor som är avgörande för vilka förväntningar det är rimligt att ha på effektivitetsrevisionen. Några av dessa kan vara av sådan betydelse att de kanske bör påverka de förväntningar riksdagen har på den verksamhet de uppdragit åt Riksrevisionen att genomföra. Oavsett detta ligger det i sakens natur att riksrevisorernas befogenhetsområde är så stort att Riksrevisionens hållning kan skifta över tid även när det gäller viktiga inriktningsfrågor. I dessa fall är det dock viktigt att riksrevisorerna klargör sin syn på sådana frågor. Det kan, för att föra in en normativ ståndpunkt, hävdas att just det förhållandet att riksrevisorerna har fått ett särskilt förtroende av riksdagen, och en särskilt skyddad position, innebär att de med tydlighet bör kunna klargöra till vad de ska använda detta förtroende. Det som lyfts fram i det följande kan beskrivas som uppmärksamhetspunkter. Det är sådant som bör uppmärksammas just därför att en diskussion om dem kan leda fram till olika ställningstaganden och påverka förväntningarna på effektivitetsrevisionen.

Uppdelningen i olika frågor gör att det är svårt att undvika vissa upprepningar. Förhoppningsvis kan läsaren överse med detta.

7.1 Vad är effektivitetsrevisionens särart?

Det har tidigare visats att det finns olika synsätt på effektivitetsrevisionens roll och vad som skiljer effektivitetsrevision från andra liknande verksamheter. Det behöver dock inte självklart innebära att det är nödvändigt att ge ett synsätt på effektivitetsrevisionen företräde framför andra. Det kan invändas att det är fullt möjligt att samtidigt bedriva effektivitetsrevisionen med olika syften och också låta revisionens syfte och roll förändras över tiden. En sådan tanke kan till och med hävdas ha stöd i regeringsformen som ju ger riksrevisorerna vidsträckta befogenheter. Behovet av att klargöra effektivitetsrevisionens särart,

128

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

i avseende på syfte och roll, skulle därmed falla bort. Invändningen är viktig och förtjänar en något utförligare diskussion.

7.1.1 Kan olika syften förenas?

Att hävda att det allmänt sett inte går att i en och samma organisation förena olika synsätt på verksamhetens grundläggande syfte ter sig vanskligt. Det skulle förmodligen inte heller vara helt lätt att empiriskt leda detta i bevis. Alldeles uppenbart finns det utvärderande organisationer vars verksamhet kan falla under de olika syften som diskuterades i kapitel 4.

Olika syften leder dock till olika förhållningssätt, teoretiskt och praktiskt, till verksamheten. I samband med den stora norska NAV-reformen, för vilken det norska forskningsrådet fick ett övergripande utvärderingsansvar, tillsattes en särskild expertgrupp för att genomföra en så kallad metaevaluering. Expertgruppen diskuterade spänningarna mellan olika syften, och särskilt då verksamhetsutveckling och kunskapsgenerering mot bakgrund av att det norska forskningsrådet ansågs ha betonat den långsiktiga kunskapsutvecklingen. Metautvärderingen antar att Forskningsrådet förmodligen har ”tenkt at man sikrer både evalueringens kvalitet og legitimitet ved at forskningen foregår i henhold til armlengdeprinsippet fra oppdragsgiver. Samtidig inngår det ogs […] at formålet med evalueringen er å bidra med å løpende gjøre evalueringens resultater anvendelige i forbindelse med implementeringen”.155 Metautvärderingen uppfattar detta som ett problem:

Løpende anvendelse av evalueringsresultatene kan finne sted på flere nivåer, fra det å stilling på et mer overordnet nivå til selve fordelingen av oppgaver og ansvar mellom ulike aktører, og til forandringer i de lokale kontorenes arbeidsmåte. De delene av evalueringen som gjennomføres med tanke på løpende tilbakemelding, må derfor målrettes mot disse ulike nivåene. En slik evaluering krever en tett relasjon mellom de som evaluerer og de forskjellige aktørene som skal gjøre bruk av evalueringsresultatene (Hansen, 2005), og dette kan være en utfordring i forhold til autonomi og armlengdeprinsippet […]. Vi mener derfor at det her er snakk om et paradoks, i betydningen tilsynelatende motsetning, når målsetningen både er løpende tilbakemelding og langsiktig kunnskapsutvikling. Det hersker delte meninger om hvorvidt det er snakk om en genuin konflikt mellom kravene til autonomi ved langsiktig kunnskapsutvikling og kravene til brukbar løpende tilbakemelding. Vi mener likevel at det finnes logistiske og praktiske problemer som kan gjøre det vanskelig å la en evaluering romme så forskjellige anvendelsesmålsetninger.156

Citatet belyser spänningen mellan skilda syften och också att den förhärskande uppfattningen i en organisation om varför en utvärdering ska göras sätter en prägel på både vad som ska göras och hur det görs. Grundläggande för detta är förstås också, som visats i kapitel 4, att olika syften har konsekvenser för synen på centrala frågor som påverkar metodval, relation till de som beslutar och deltar i den verksamhet som står i fokus och så vidare.

155Norges Forskningsråd 2014, s. 43–44.

156Norges Forskningsråd 2014, s. 44.

2017/18:URF2

129

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	Frågan om möjligheterna att låta effektivitetsrevisionens olika syften bli en
	lämplighetsfråga, som kan besvaras olika från fall till fall, handlar dock i grun-
	den inte om de praktiska möjligheterna att i samma organisation förena olika
	syften. För även om detta skulle vara fullt möjligt kvarstår frågan om på vilket
	sätt olika syften förutsätter den typ av konstitutionella arrangemang som om-
	gärdar den statliga effektivitetsrevisionen. De många utvärderingar av statlig
	verksamhet som genomförs vid olika forskningsinstitutioner, myndigheter,
	konsultföretag, intresseorganisationer och så vidare har, som nämnts, olika
	syften. Ett av dessa kan förvisso vara att ta fram underlag som kan användas
	även för att utkräva ansvar (eller kanske belöna). En utomstående utvärderare
	– till exempel i form av en forskare eller konsult – kan kallas in av en ledning
	för att granska underlydande organs eller befattningshavares verksamhet.
	Många utvärderingar görs alltså, som framhållits tidigare, i en kontext av an-
	svarsutkrävande och accountability. Oberoendet för den konsult eller annan
	som deltar i en sådan process kan vara betydande i utförandet av den enskilda
	granskningen, men det gäller just det tilldelade uppdraget. Den tillkallade ut-
	värderaren agerar inte utifrån en ”egen” institutionell plattform som gör det
	möjligt att till exempel själv välja vad som ska granskas samt när och hur.
	Den fråga som här diskuteras är en annan. Utgångspunkten är här att det
	inte handlar om ett tillfälligt arrangemang eller om något som är föremål för
	löpande förhandlingar mellan – i detta fall – riksdagen och Riksrevisionen.
	Det är i stället en position, med särskilda friheter och rättigheter, som är regle-
	rad på den högsta lagnivån. Det måste vara utgångspunkten för diskussionen
	om vad som särskiljer Riksrevisionens effektivitetsrevision från annan utvär-
	dering eller, om man så vill, andra verksamheter som kan te sig likartade.
	Den avgörande frågan är alltså vilket syfte som motiverar en så speciell
	position och omvänt – till vad en sådan position kan förväntas användas. När
	syftet är att ta reda på hur väl olika verksamheter sköts, vilka brister som finns,
	hur ansvarsförhållandena ser ut, hur ansvar för olika brister och tillkortakom-
	manden kan föras tillbaka på organisationer och befattningshavare och i vilken
	grad dessa haft möjlighet att agera annorlunda, är det svårt att se annat än att
	det krävs ett särskilt oberoende i förhållande till den organisation eller verk-
	samhet som är analysens objekt. Detta följer av att det kan antas att det åt-
	minstone ibland kan finnas en risk för att de som har ansvaret för en organi-
	sation eller en verksamhet har ett intresse av att vissa frågor inte ställs och att
	vissa förhållanden inte blottläggs. Insikten formuleras av Schwartz då han
	sammanfattar den aktuella forskningen: ”Administrators’ interest in organiza-
	tional stability, budget maximization, and the promotion of a favourable image
	contribute to general desire to refrain from conducting evaluations which
	might show agency programmes in a bad light”.157 Om det finns ett demokra-
	tiskt intresse av att också sådana frågor ställs krävs det därför att granskaren
	har getts en starkt konstitutionell position.

	157 Schwartz 1999, sid. 511.
130

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

2017/18:URF2

7.1.2 Raison d´être och andra effekter – ett sätt att förena olika synsätt

I kapitel 5 gjordes en viktig distinktion, nämligen mellan det som kan ses som motivet till att ha en effektivitetsrevision, som diskuterats ovan, och på vilket sätt en effektivitetsrevision på ett mera konkret plan kan bidra till att förbättra den statliga verksamheten. Åtskillnaden är viktig, och ska därför diskuteras något ytterligare. Diskussionen kan möjligen bidra till att överbrygga skillnaden mellan de olika synsätten som varit upphängda kring nyckelord som ansvar och ansvarsutkrävande å ena sidan och främjande och lärande å den andra. Distinktionen kan te sig trivial. I rader av sammanhang, från beslut i privatlivet till beslut om stora politiska reformer, bestäms saker därför att det antas att ett visst handlande, en viss aktion, leder fram till något man vill uppnå, aktionens mål eller syfte. I litteraturen framhålls emellertid att också en rad andra saker kan inträffa, och det finns till och med en rad kategoriseringar av dessa andra möjliga effekter. I ett vanligt språkbruk beskrivs dessa andra effekter ofta som negativa eller positiva sido- eller bieffekter.

Uttryckssättet kan lätt leda till uppfattningen att det handlar om något vid sidan av och något som därför är mindre viktigt, eller mindre relevant, i en diskussion om effektivitetsrevision. Och ord som sido- eller bieffekter kan lätt uppfattas just så, som något mindre viktigt eller underordnat. I själva verket är det inte sällan så, som berörts tidigare, att de effekter som ligger vid sidan av de avsedda effekterna och som utgjorde själva grunden för till exempel en politisk reform kan vara minst lika betydelsefulla. Inget hindrar heller att sådana effekter ibland är förutsedda och har ”räknats in” när ett visst beslut fattats.

Distinktionens betydelse i diskussionen om just effektivitetsrevisionen illustreras av Lonsdale och Bechberger i deras behandling av de olika syften och funktioner effektivitetsrevision kan ha:

[…] it is important to emphasise that the advice and guidance that the NAO generates is a spin-off from its primary accountability role; without its stature audit functions it would not have the knowledge to share, gained from its access and accumulated work. This is a reminder that the learning role will always be secondary […] if the prime purpose of the evaluative work is learning, you would not choose the format of performance audit.158

Tanken att ingen skulle välja att inrätta en effektivitetsrevision om lärande och verksamhetsutveckling skulle vara det främsta syftet bygger på att verksamhetsutveckling leder till en kollision med synen på oberoende och den särskilda konstitutionella position som är central för statlig revision. I en diskussion som specifikt gäller effektivitetsrevision framhåller Barzelay:

Suppose an audit body takes on the goal of performance improvement and believes that organizations need to “own” solutions in a psychological sense to implement them. This stance at a minimum would place a premium on consultation with auditees, perhaps even with those deeps inside bureaucratic structures. Consultation might concern terms of reference for

158 Lonsdale and Bechberger 2011, s. 285.

131

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

the audit, validity of data and interference about performance, identification of root causes of performance problems, and the canvassing solutions. To pursue the goal of performance improvement thus seems to require a more intimate relationship between auditors and auditees than characterrizes the traditional pattern.159

Uppfattningen som Barzelay, och även Lonsdale och Bechberger, utgår från, nämligen den att relationen till det granskade måste vara präglad av närhet, och snarast av beroende, om syftet är performance improvement delas av många forskare. Det kan dock finnas olika uppfattningar om detta. I en diskussion om synen på effektivitetsrevision är det dock inte avgörande vilken uppfattning som, empiriskt sett, är den riktigaste. Det centrala är i stället, att värdet av en effektivitetsrevision blir just en empirisk fråga om argumenten för att en sådan, är att den bidrar till lärande och bättre resultat. Om det kan visas att andra modeller är bättre för att få till stånd sådana resultat är det naturligtvis inte rimligt att satsa resurser på effektivitetsrevisionen.

Flera forskare har explicit tagit upp detta problem. Om effektivitetsrevisionens värde bedöms utifrån dess omedelbara nytta hamnar den lätt i en situation där dess existens och de resurser som satsas på den kan sättas i fråga. Det är uppenbart att de nationella revisionsorganen i dag pekar på att de gör nytta genom att visa på det omedelbara ekonomiska värdet av sin verksamhet. NAO i Storbritannien framhåller i sin årsrapport: ”We have delivered a strong programme of work to support Parliament and achieved the highest level to date of financial savings for the tax payer, of £1.21 billion, equivalent to £19 saved for every pound spent, all while reducing our costs and achieving further efficiencies”.160

Detta sätt att argumentera för det omedelbara, mera instrumentella, värdet av sin verksamhet förefaller att ha blivit mera betydelsefullt för flera nationella revisionsorgan. Put och Bouckert pekar på att New Public Management (NPM) har påverkat hur SAIarna motiverar sin existens: ”The degree to which SAIs have adopted performance measurement mirrors the extent to which the NPM reforms have been adopted in the country concerned”.161

Att detta i längden kan skapa problem påpekades av Pollitt och Summa flera år tidigare i en artikel med den talande titeln Reflexive Watchdogs? How Supreme audit institutions account for themselves? De menar att de nationella revisionsorganen (Supreame Audit Institutions, SAI) som har ”a strong need to justify by giving details of the results achieved and by the value-added for the public sphere”162 hamnar i en situation ”in which a SAI had no distinctive raison d’être. Its continuing existence would depend on its measured performance, on whether the savings their improvements prompted among auditees exceeded its cost”.163

159Barzaly 1997, s. 253.

160NAO 2016, s. 8.

161Put och Bouckert 2013, s. 231.

162Pollitt och Summa 1997, s. 323.

163Pollitt och Summa 1997, s. 334.

132

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

7.1.3 Ett tankeexperiment

Diskussionen leder ofrånkomligen till ett tankeexperiment. Om nu inte effektivitetsrevision var en del av det nationella revisionsorganet, hur skulle de som ville skapa en sådan ordning argumentera? Det bör påpekas att även om detta är ett tankeexperiment så kan argumentation för inrättandet av en effektivitetsrevision också påverka uppfattningen om hur mycket resurser som bör läggas ned på effektivitetsrevision, när nu en sådan finns.

Det framstår som osannolikt att de som skulle ställa sig bakom inrättandet av en effektivitetsrevision skulle göra det med argumentationen att detta vore en bra modell för att hjälpa myndigheter att utveckla sin verksamhet eller för regeringen att utveckla sin styrning av olika verksamheter. Troligen skulle väl detta argument te sig mindre användbart eftersom ett sådant syfte kan antas förutsätta, eller åtminstone underlättas, om de som ska ha hjälp har ett starkt inflytande över vad som ska analyseras, vilka frågor som ska ställas och så vidare. Det oberoende som effektivitetsrevisionen skulle åtnjuta som en del av ett nationellt revisionsorgan skulle därmed kunna ses som ett problem.

Ett argument för att inrätta en effektivitetsrevision som möjligen skulle kunna framföras är att det behövs ett organ för att öka kunskapen om olika samhällsproblem, vad som är dess orsaker och hur dessa kan påverkas genom olika styrmedel. Ett led i argumentationen skulle då kunna vara att oberoendet, som effektivitetsrevisionen skulle ha som en del av ett nationellt revisionsorgan, är viktigt för att säkra objektivitet och en särskilt hög kvalitet. Olika forskare kommer ju också, skulle det kanske framhållas, till olika slutsatser. Det behövs därför någon som utan några egna intressen objektivt kan tala om hur det ligger till. Argumentet skulle rimligen möta invändningar. I grunden förutsätter dock detta argument att det empiriskt kan visas, eller åtminstone troliggöras, att en sådan effektivitetsrevision, i jämförelse med olika vetenskapliga organisationer, skulle producera rapporter av särskilt hög kvalitet, vara särskilt objektiv och med särskild skicklighet avgöra konflikter mellan olika synsätt.

Om diskussionen i stället börjar med frågan hur till exempel riksdagen kan säkra att den får information om hur de politiska besluten verkställs och om olika missförhållanden, blir situationen en annan. Det som då skulle framhållas är att den lösning som skapas måste minimera risken för att olika organs institutionella intressen kan snedvrida den information som tas fram. Detta förutsätter arrangemang som gör att granskaren har exklusiva möjligheter att inhämta information och att den granskade svarar på de iakttagelser som görs och att de rapporter som tas fram hanteras i en särskild ordning. Argumentationen skulle ta fasta på att en sådan granskande verksamhet måste kunna välja vad som ska granskas och genomföra sina granskningar med ”freedom from investigatory and reporting constraints”. Frågan om oberoende är i detta fall inte en empirisk fråga. Det organ som ges en sådan roll måste vara och även uppfattas som oberoende. Oberoendet blir därmed en del av själva definitionen av effektivitetsrevision.

2017/18:URF2

133

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	Resultatet av detta tankeexperiment innebär att det är svårt att se att grun-
	den för den exklusiva positionen effektivitetsrevisionen de facto har kan vara
	någon annan än att den ska ställa frågor, och på olika sätt kontrollera, hur de
	som har fått i uppdrag att genomföra statens verksamheter hanterar detta an-
	svar. Detta innebär dock inte att effektivitetsrevisionens produkter enbart kan
	användas för att möjliggöra ansvarsutkrävande. Det har tidigare påpekats att
	just ett sådant syfte förutsätter att analyser av verksamheten kan visa på för-
	bättringsmöjligheter. Påståenden om att något är bristfälligt förutsätter att det
	kan visas att det skulle ha varit möjligt att undvika dessa brister och också på
	vilket sätt organisationer eller människor haft möjlighet att agera annorlunda
	än de har gjort.
	Ett bejakande av att revisionen ytterst finns till för att det behövs någon som
	granskar hur de som anförtrotts uppdraget att genomföra de folkvaldas beslut
	hanterar detta ansvar, innebär att det är detta existensmotiv som avgör hur ef-
	fektivitetsrevisionens särart ska beskrivas. Det hindrar dock inte att effektivi-
	tetsrevisionen kan ge upphov till andra effekter än de som följer av detta syfte.
	I ställningstagandet till mera grundläggande frågor kring effektivitetsrevision-
	ens inriktning och vid utmejslandet av effektivitetsrevisionens roll är det dock
	ytterst själva existensmotivet som utgör probersten.

7.2 Vem är effektivitetsrevisionens uppdragsgivare?

Diskussionen om revisionens oberoende har i första hand handlat om revisionens oberoende i förhållande till uppdragstagarna i ett uppdragsgivare – uppdragstagare förhållande (principal – agent). Granskaren måste stå fri i förhållande till uppdragstagaren när det ska bestämmas vad som ska granskas, när det ska ske och vilka frågor som ska ställas. Förändringen 2003 hade sin bakgrund i detta. Om regeringen och dess underlydande verksamheter skulle kunna granskas måste revisionen vara självständig i förhållande till regeringen och därför vara en myndighet under riksdagen.

7.2.1 Oberoendet i ett parlamentariskt system

På ett allmänt plan kan detta te sig tämligen självklart. I denna trepartsrelation är dock inte heller förhållandet till uppdragsgivaren självklart.

En sida av saken är i vilken utsträckning uppdragsgivaren bör påverka granskaren. Vad gäller Riksrevisionen är regeringsformen tydlig, det är varje enskild riksrevisor som bestämmer vad som ska granskas. Det är en bestämmelse som kan te sig särskilt viktig i ett parlamentariskt system likt det svenska. Skälet till detta är att den faktiska relationen mellan parlament och regering i ett parlamentariskt system har en komplexitet som inte fångas in i modellen av en överordnad uppdragsgivare och en underordnad uppdragstagare. I sådana system kan parlamentets majoritet ha ett intresse av att försvara regeringens politik och därmed så att säga agera som ombud för agenten. Im-

134

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

plikationen av detta är att oberoendet inte bara kan diskuteras i termer av oberoende i förhållande till det verkställande systemet. En revision vars granskningar av regeringens verkställande av riksdagens beslut kan påverkas (vad som ska granskas, när det ska granskas och vilka frågor som ska ställas) av de riksdagsledamöter som samtidigt utgör denna regerings parlamentariska underlag, eller kanske den föregående regeringens, skulle åtminstone kunna misstänkas för att hålla inne med kritik. Regeringsformens formulering innebär dock att risken att revisionen skulle kunna bli misstänkliggjord på denna grund inte föreligger.

7.2.2 Relationen till medborgarna

Det framhålls många gånger också att Riksrevisionen agerar på medborgarnas uppdrag. Det sker i artiklar av forskare men tanken tangerades också till exempel vid de två konferenser som arrangerades av finansutskottet respektive konstitutionsutskottet under våren 2017. I viss mening är detta självklart; den grundläggande konstruktionen av den svenska demokratin är att medborgarna lämnat sitt mandat till riksdagen.164 I en indirekt mening är det därför sant att Riksrevisionen, och i övrigt alla andra statliga organ, har fått sitt uppdrag från medborgarna. Vad gäller staten har dock medborgarna, på ett mera direkt sätt, inte lämnat något mandat till någon annan än riksdagen. Det är denna tanke som Förvaltningsutredningen gav uttryck för när den, med hänvisning till de åtta första orden i regeringsformen, skriver: ”För att realisera denna princip binder regeringsformen samman statsförvaltningen med folket genom en uppdrags- och ansvarskedja.165

Detta leder till att frågan om Riksrevisionens relation till medborgarna ter sig mera komplex än vad den i förstone gjorde. Den principiella frågan här är om Riksrevisionen i sitt val av vad som ska granskas och i sitt val av bedömningskriterier på ett mera allmänt sätt kan hänvisa till ”medborgarintresset”. Är det möjligt för revisionen att välja att genomföra en granskning därför att den anser att ett visst problem har särskild betydelse för medborgarna eller en viss verksamhet är särskilt angelägen ur ett medborgarperspektiv? För revisionen är detta en problematisk fråga därför att detta att välja vad som ska granskas, och kanske välja bedömningskriterier, på grundval av en uppfattning om vad som är särskilt betydelsefullt för medborgarna ligger nära vad som kan ses som en politisk bedömning. Den representationskedja som omnämndes tidigare bygger på tanken att medborgarnas vilja och deras uppfattning om vad som är viktigt eller oviktigt enbart kan tolkas av riksdagen.

En helt annan sak är att det i en rad sammanhang kan vara viktigt att ta reda på hur människor som på något sätt påverkas eller har ett intresse i en verk-

164Eftersom medborgare används i olika betydelser och under senare år har getts en mycket allmän innebörd så ska det här sägas att här talas om medborgare i betydelsen ”medstyrande”, alltså samma betydelse som medborgare har när vi talar om representationskedjan.

165Förvaltningsutredningen 1983, s. 16.

2017/18:URF2

135

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	samhet ser på denna. Undersöks till exempel servicenivån i en statlig verksam-
	het är det rimligt att fråga användarna/klienterna/brukarna om deras syn-
	punkter. Vilken vikt dessa synpunkter ska tillmätas avgörs dock ytterst av en
	tolkning av riksdagens beslut och vad riksdagen har velat uppnå med en viss
	verksamhet.
	I diskussionen om det är effektivitetsrevisionen själv som bör ta på sig upp-
	giften att konstruera vad som är medborgarintresset, kan det vara värt att på-
	peka att det har funnits vissa undantagssituationer då det politiska systemet
	ansett det viktigt, eller kanske ofrånkomligt, att låta ett skeende bedömas av
	en oberoende instans utifrån en egen konstruktion av medborgarintresset. Det
	kanske kan sägas att dessa situationer karakteriseras av att det ”vanliga syste-
	mets” (till exempel myndigheternas, domstolarnas och politikernas) förtroen-
	dekapital förbrukats. I vissa extrema situationer har därför sedan lång tid, här
	kan erinras om 50-talets rättsaffärer, särskilda kommittéer getts sådana upp-
	gifter. Hirschfeldt, som själv ledde 2005 års katastrofkommission, har i ett par
	uppsatser diskuterat dessa kommissioner.166 Ett intressant påpekande i den
	senare av dessa uppsatser är att det i dag finns särskilda bestämmelser om
	dessa undersökningskommissioner i 42 kap. 9 och 10 §§ sekretesslagen
	(209:400).167 De har alltså blivit ett, i viss mening, reglerat inslag eller en ”sä-
	kerhetsventil” i demokratin.
	Under senare år har också ordet medborgarkommissioner i vissa fall an-
	vänts för denna typ av kommittéer.168 Osmo Vallo-utredningen betonar också
	att det inte bara gäller att se på om förfaranden överensstämmer med gällande
	”författningar och rättspraxis” utan att det också handlade om en värdering
	”utifrån medborgarnas berättigade förväntningar på rättssystemet”.169 Även
	den senare katastrofkommissionen diskuterade betydelsen av medborgarkom-
	missioner: ”En medborgarkommissions verksamhet utmynnar i en offentlig-
	gjord granskning. I en sådan granskning ligger en ansvarsdiskussion inbyggd.
	Med de uppgifter en medborgarkommission getts följer att en sådan ansvars-
	diskussion inte strikt ska begränsas av rent rättsliga perspektiv. I en sådan dis-
	kussion bör enligt kommissionens mening också ingå att – utifrån ett mera
	allmänt perspektiv där medborgarnas förväntningar är grundnormen – sakligt
	värdera hur politiker och högre tjänstemän i sin verksamhet för det allmänna
	svarat upp mot de krav som situationen ställt dem inför. Det är detta som här
	kallas för en ansvarsdiskussion.”170
	Det uppdrag dessa undersökande organ de facto haft att mera allmänt sett
	tolka medborgarintresset har enbart varit aktuellt i extrema och avgränsade
	situationer. Det är svårt att uppfatta att revisionen skulle ha en sådan roll.
	Den principiella ståndpunkt som intagits här innebär att revisionen inte kan
	granska i vilken omfattning regeringens ”parlamentariska underlag” håller
	sina löften till väljarna. Revisionen kan rimligen inte heller granska hur en

	166 Hirschfeldt 1999, Hirschfeldt 2013.
	167 Hirschfeldt 2013, s. 159.
	168 Hirschfeldt 2013, s. 159.
	169 Osmo Vallo-utredningen 2002, s. 37.
	170 2005 års katastrofkommission 2005, s.65.
136

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

regerings handlande på ett område förhåller sig till vad de partier som utgör regeringens underlag uttryckte till väljarna före valet. Att en regerings politik granskas på detta sätt är förvisso centralt i demokratin och nödvändigt för att medborgarna ska kunna utkräva ansvar av de valda. Det kan dock inte anses vara revisionens uppgift att ta fram underlag för detta. Demokratin förfogar över andra instrument för denna granskning. I demokratin förutsätts oppositionen ha möjligheter att granska regeringens politik. Det förutsätts också att det finns andra organisationer som kan granska regeringen i mera specifika avseenden, liksom en fungerande press och andra medier. Resonemanget innebär att effektivitetsrevisionens granskningar inte kan motiveras med att väljarna bör få veta hur en regering sköter sig i förhållande till det som regeringspartierna lovat att göra. En helt annan sak är att en sidoeffekt av en granskning är att den kan ge information som kan hjälpa väljarna att bilda sig en uppfattning om hur de ska värdera detta.

7.3 Underlag för vems ansvarsutkrävande?

Av kapitel 6 framgick att riksrevisorerna till och med har ansett att det är motiverat att påpeka att ”huruvida ansvar faktiskt utkrävs eller i vilka former detta görs är däremot inte en fråga för Riksrevisionen”. Att det har ansetts behövligt att särskilt påpeka detta motiverar ett kortare resonemang.

Ibland har det påpekats att det är ett problem för effektivitetsrevisionen att det inte finns klara procedurer för hur effektivitetsrevisionens rapporter ska användas som underlag för ansvarsutkrävande, utöver riksdagens behandling av den skrivelse som regeringen har att lämna till riksdagen inom fyra månader efter det att den mottagit en granskningsrapport. I denna skrivelse ska regeringen redovisa vilka åtgärder den har vidtagit eller avser att vidta med anledning av iakttagelserna i rapporten.171 Avsaknaden av ytterligare bestämmelser gör dock att det kan ligga nära till hands att anta att rapporterna inte alls, eller i begränsad omfattning, används som underlag för ansvarsutkrävande. Avsaknaden av sådana procedurer behöver dock inte alls leda till denna slutsats utan illustrerar snarare komplexiteten i olika processer. Det är naturligtvis möjligt att tänka sig att granskningsrapporter skulle kunna komma till användning som underlag för konstitutionsutskottets bedömningar i mera betydelsefulla frågor och därmed leda till krav på misstroendeförklaringar och liknande. För det allra mesta har dock ansvarsutkrävande, inte bara i detta sammanhang, en mera vardaglig karaktär. Mattson konstaterar, om än med stor försiktighet, i en uppsats skriven efter Riksrevisionens första tio år, att ”det går att hävda att en ganska stor del av granskningsrapporterna följs upp genom interpellationer som i sin tur leder till att det blir debatt i kammaren om det ämne som granskningsrapporterna tagit upp”.172 Han konstaterar vidare att ”med risk för att överdriva iakttagelsernas betydelse skulle man kunna se en förskjutning i

1719 kap. 19§ riksdagsordningen.

172Mattson 2014, s. 152.

2017/18:URF2

137

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

funktionen för riksdagens användning av revisionen från policyfrämjande till ansvarsutkrävande”.173

När Riksrevisionen tar fram underlag för ansvarsutkrävande kan det också handla om användning på andra nivåer och i andra relationer än den mellan riksdag och regering. I alla relationer av ansvar och ansvarsutkrävande handlar det om flera nivåer. Den som är uppdragstagare i en relation är uppdragsgivare i en annan. Regeringen kan, och förutsätts också, kunna använda Riksrevisionens granskningar på olika sätt. Rimligen finns det också situationer där granskningsrapporterna de facto också använts som underlag i regeringens ansvarsutkrävande. Det ligger i sakens natur att det är svårt att få grepp om omfattningen av detta ansvarsutkrävande. Styrutredningen diskuterade frågan 2007 och framhöll att regeringens ansvarsutkrävande förmodligen var mera omfattande än vad som vanligen antogs, men framhöll också att en stor del av ansvarsutkrävandet skedde i icke offentliga former.

Diskussionen om ansvarsutkrävande måste bygga på vilka faktiska redskap regeringen förfogar över… Situationen här är densamma inom staten som inom flera andra delar av samhället. Förflyttningar av verkställande direktörer eller organisationsförändringar som innebär ändrade positioner för olika befattningshavare kan bygga på att överordnade beslutsfattare är missnöjda med en befattningshavare utan att detta deklareras offentligt. Vår uppfattning är att det även inom staten de facto förekommer detta slag av avskedanden eller förflyttningar av myndighetschefer. Regeringen kan också på mindre drastiska sätt visa sitt missnöje, t.ex. vid lönesättning eller genom allvarliga samtal.

Det är svårt att få en bild av detta faktiska ansvarsutkrävande; alla inblandade kan ha skäl att tona ner dimensionen av ansvarsutkrävande i sådana åtgärder, och de når sällan offentligheten.

Vår uppfattning är dock att omfattningen och betydelsen av detta faktiska ansvarsutkrävande torde vara högst reell. Vi tror att det i verkligheten omfattar en rad åtgärder alltifrån olika faktiska ingripanden till att ett missnöje markeras med hur en verksamhet sköts. – – –

Vi tror oss alltså veta att det i dag krävs ut ansvar från regeringens sida på flera olika sätt och att det finns ett belönings- och sanktionssystem.174

Det finns goda skäl att utgå från att effektivitetsrevisionens rapporter kommer till användning också i regeringens ansvarsutkrävande. Någon mera utförlig analys av detta har veterligen dock inte gjorts.

7.4 Vilket förhållande har effektivitetsrevisionen till politiken?

Frågan om effektivitetsrevisionens förhållande till politiken har redan berörts ovan. Den är central både i litteraturen om effektivitetsrevision och i olika nationella revisionsorgan dokument. Frågan anses betydelsefull inte minst ur ett förtroendeperspektiv: Om effektivitetsrevisionen antas kunna bidra till att

173Mattson 2014, s. 156.

174Styrutredningen 2007, s. 218-219.

138

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

skapa förtroende för förvaltningen, genom att medborgarna vet att förvaltningen granskas av en oberoende instans, skulle detta förtroendeskapande äventyras om denna instans misstänks agera med politiskt syften.

Intosais:s Standards for Performance auditing slår fast att:

Many topics in performance auditing are politically sensitive because they may relate to the performance of public programmes prioritized by the government. Performance auditing examines whether decisions by the legislature or the executive are efficiently and effectively prepared and implemented, and whether taxpayers or citizens have received value for money. It does not question the intentions and decisions of the legislature, depending on the SAI´s mandate, but examines whether any shortcomings of the laws and regulations or their implementation have prevented the specified audit objectives from being achieved.175

För Intosai är alltså gränsen mellan politiken och dess genomförande central. Det är lätt att hitta uttalanden av olika nationella revisionsorga i vilka det betonas att man inte uttalar sig om politiken utan kan uttala sig objektivt och faktabaserat. I Algemene Rekenkamers senaste årsrapport ges denna tanke en dagsaktuell form.

Fake news, alternative facts and fact-free politics: expressions that were unknown not so long ago but quickly became symptomatic of 2016. It is the Netherlands Court of Audit’s task to clarify and make sense of the mass of information that is threatening to overwhelm us in the digital age. What is fact and what is fiction? What is relevant and what is safe to ignore?176

Pollitt med flera pekar i sin jämförande studie 1999 på att denna gränsdragning inte är okomplicerad när den i praktiken ska tillämpas:

In theory, the line between questioning policy objectives and only asking questions related to the ’three Es’ in the implementation of policies may sound a clear cut and unambiguous way of defining the mandate for performance audits, In practice, however, if performance audits projects is extended into analytical questions on why the observed effectiveness of an audited programme is unsatisfactory, it may not be easy to keep away from explanations that raise questions or relevance or realism in the specification of objectives.177 (kursivering i orginal)

Tanken på en skarp gräns mellan politiken och dess genomförande är förvisso inte ny. En uppsats som den amerikanska statsvetaren Wilson, senare mer känd som USA:s president, skrev 1887 är även i dag en vanlig referens i diskussionen om separationen mellan politiken och dess implementering. Denna separationstanke har under åtskilliga decennier problematiserats och har periodvis varit tillbakaträngd.178 Intressant är dock att tanken på en klar åtskillnad mellan politik och opolitiskt verkställande har dominerat de förvaltningspolitiska strömningarna just under den period utvärdering, effektivitetsrevision och programbudgetering blev redskap i styrning och förvaltning. Tanken innebar en vetenskaplig och teknisk syn på statens verksamhet, statliga program

175ISSAI 3000, s. 7

176Algemene Rekenkamer 2016, s. 1.

177Pollitt 1999, s. 27.

178En diskussion av detta förs i Stame 2018.

2017/18:URF2

139

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

kunde konstrueras med hjälp av vetenskaplig forskning. Det är mot denna bakgrund vi kan förstå Kennedys uttalande om att landets problem nu var ”technical rather than political issues”.179 House pekar, i en diskussion om det intellektuella klimatet under ”the time that the contemporary practice of evaluation developed” på att synsättet var att ”social problems could be solved like industrial problems” och att ”social engineering, guided by social science freed from politics and popular superstition, could eliminate the ugly remnants of a less enlightened age […] Put another way, certain activities would produce certain outcomes and solve central problems.180

Separationstanken fick snarast en renässans genom de tankar kring offentlig förvaltning som förknippas med mål- och resultatstyrning och den utveckling av offentlig förvaltning under 1980-talet som Hood i en artikel 1991 sammanförde under etiketten NPM.181 Uppdelningen gjorde också att det var möjligt för de nationella revisionsorganen att konstruera en form av egen normativ föreställningsram baserad på effektivitet. Behn påpekar att betonandet av ”efficiency […] implies that the policy implementation can, indeed be separated from policy decisions. If there exists a one best way (and thus a most efficient way) to carry out any policy decisions, and if there exists an organizational apparatus for deploying all of these best ways, government can, indeed separate administration from policy”.182 Med viss tillspetsning kan det sägas att separationstanken passar en verksamhet som sysslar med att bedöma den statliga verksamheten ”opolitiskt”.

Möjligen är detta en av anledningarna till att frågan om effektivitetsrevisions förhållande till politiken, som förvisso är starkt närvarande på mera retorisk nivå, inte tagits upp till mera omfattande diskussion. Några forskare har dock tagit upp detta, en av dem är Robert Schwartz. Han diskuterar i en artikel 1999 de politiska implikationerna av intresset inom en del nationella revisionsorgan, som då kunde noteras, att bedömning av effectiveness påverkar relationen till politiken.

A number of commentators note that the conduct of effectiveness evaluation endangers the political neutrality of auditors and can place them at the heart of political controversy. … These dangers stem from (1) difficulties in distinguishing between a determination that a programme is ineffective and the questioning of the merits of policy objectives; (2) the room for subjectivity at each stage of the measurement of effectiveness.183

Citatet illustrerar vilka problem, både principiella och praktiska, gränsdragningen till politiken ställer effektivitetsrevisionen inför. Tanken att det går att dra en skarp och allmängiltig gräns mellan politiken och dess genomförande framstår inte som särskilt rimlig. Den förutsätter att vi skulle kunna dra en linje genom olika mål- och medelkedjor och på ena sidan av denna linje skulle vi ha det som är politiskt laddad och på den andra det som är teknisk icke-politik.

179Fischer 2003, s. 6, not 8.

180House, 1993, s. 138.

181Hood 1991.

182Behn 2001, s.41.

183Schwartz 1999, s. 512.

140

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

I verkligheten är det ju så att när vi jämför olika samhällsområden ser vi att vissa verksamheter uppfattas som starkt politiskt laddade avsevärt längre ned i mål – medel-kedjan än andra verksamheter. Även något som, i ett visst perspektiv, kan uppfattas som mycket tekniskt kan samtidigt, i ett annat perspektiv, ses som starkt politiskt värdeladdat. Och det som under en viss tid uppfattats som politiskt värdeladdat kan senare komma att uppfattas som en teknisk fråga.

Ofta handlar de politiska motsättningarna snarare om det som kan ses som medel snarare än om målen. Få, om några, politiska grupper ifrågasätter värdet av att reducera brottslighet, förbättra skolbarns kunskaper i matematik och minska spridningen av sexuellt överförbara sjukdomar. Det kan emellertid finnas många olika uppfattningar om hur detta ska gå till.

Och var gränsen ska dras mellan det politiskt laddade och det mera tekniska genomförandet följer inte av någon styrningsdoktrin; i demokratin kan den endast dras av politikerna själva. Och var politikerna kommer att dra denna gräns varierar från område till område och från tid till annan.184

För effektivitetsrevisionen, och dess uppdragsgivare, gäller det att förhålla sig till detta. Det kan hävdas att revisionen inte bör kritisera valet av medel om den politiska diskussionen handlat just om detta medel. Men, kan det invändas, detta skulle antagligen leda till en tämligen ointressant effektivitetsrevision som skulle avstå från att granska valet av medel så fort detta val har en politisk laddning. En lösning på detta problem skulle kunna vara en strikt formalistisk hållning. Allt riksdagen beslutar är politik, allting annat är implementering. En sådan uppdelning blir dock orimlig av skäl som hänger samman med hur riksdagen arbetar. Ibland väljer riksdagen att reglera verksamheter ganska så detaljerat utan att det som regleras framstår som politiskt viktigt eller kontroversiellt. Även om alla riksdagens beslut per definition, eftersom de ju är fattade av en politiskt sammansatt församling, kan uppfattas som politiska kan de ha olika politisk signifikans. En revision som valde en så strikt hållning skulle få ett mandat som varierade från område till område. På vissa områden skulle det vara mycket begränsat eftersom riksdagen har valt att vara mycket detaljerad i sin styrning. På andra områden skulle det vara ett omfattande mandat eftersom riksdagen varit avsevärt mindre detaljerad.

Möjligen ligger lösningen här i att ha ett både kontextuellt, och därmed också temporalt förhållningssätt. Revisionen måste urskilja vad som är det politiskt signifikanta i politiken. Innebörden av detta är att Riksrevisionen, eller snare de tre riksrevisorerna, måste tolka var denna gräns ska dras vid varje särskilt tillfälle. Ett sådant förhållningssätt innebär att riksdagens beslut inte alltid ska ses som ingångsvärden. Ibland kan de ses som redskap för att nå något som riksdagen, med en rimlig tolkning, kan uppfattas tillmäta ännu större politisk signifikans.

184 Denna normativa syn diskuteras i Styrutredningens betänkande Att styra staten (SOU 2007:75).

2017/18:URF2

141

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

7.5 Effektivitetsrevisionens bedömningskriterier

Effektivitetsrevision innebär att något bedöms, och bedömningar sker alltid i förhållande till något. En mängd problem som effektivitetsrevisionen möter hänger därför samman med det som vi kan tala om som ”normkomplexet”.185 Olika kriterier kan vara uttalade eller icke-uttalade, de kan härröra från olika källor, de kan vara generella eller specifika och de kan gälla det som görs eller det man vill uppnå med det som görs. Vilka kriterier som revisionen baserar sina bedömningar på är självklart av stor betydelse inte bara för den som granskas utan också för den som är mottagare av granskningen. Innan diskussionen förs vidare ska det framhållas att de olika synsätten på effektivitetsrevision kan påverka argumentationen kring olika bedömningskriterier. Detta innebär dock inte att de olika uppfattningar som i kapitel 5 beskrevs som kunskaps- eller kontrollinjen, är förknippade med varsin uppsättning av bedömningskriterier. Oavsett syn på effektivitetsrevisionen är det svårt att undvika frågor som rör varifrån effektivitetsrevisionen ska hämta sina normer, hur den ska hantera politiska mål, innebörden av economy, efficiency, effectiveness och deras relation till andra kriterier.

Riksrevisionen har fått sitt uppdrag av riksdagen. Det är därför rimligt att i en diskussion om effektivitetsrevisionens bedömningskriterier börja med två centrala frågor. En fråga gäller i vilken utsträckning revisionen behöver ”hänga upp” sina bedömningskriterier på vad riksdagen explicit sagt. Den andra frågan är om effektivitetsrevisionen kritiskt kan pröva det riksdagen sagt. Med andra ord: Är riksdagens beslut sakrosankta för en revision under riksdagen?

7.5.1 Målen

Inte sällan kan explicita kriterier hämtas från riksdagens behandling och beslut gällande en viss verksamhet. Detta sker bland annat genom att mål som ska gälla för en verksamhet ställs upp. Det finns en inte helt kristallklar gräns mellan dessa mål och de krav som riksdagen ställt på förvaltningens verksamhet, till exempel genom regeringsformen och förvaltningslagen.

Mål kan ses som ett sätt att beskriva det man vill uppnå. Målet innebär ofta någon form av förändring, men det kan också handla om att en befarad förändring ska undvikas. Målen är en central del i politiska dokument, i offentliga utredningar, propositioner och så vidare. Det är dock inte fråga om en nymodighet som introduceras som en del av moderna administrativa styrsystem, till

185 Normer används här som synonymt med ordet krav. Nationalencyklopedin (NE) ger ursprunget i det latiska no’rma med betydelsen rättesnöre, regel och fortsätter att tala om att norm betyder handlingsregel, påbud eller om hur något bör vara beskaffat. Dock, fastslår NE, kan det också handla om det ”normala” eller godtagna beteendet i till exempel en social grupp; konvention, praxis. Krav och normer kan alltså ses som synonymer, det handlar med andra ord om kriterier med vars hjälp vi kan bedöma något – för att hämta in ytterligare en av de innebörder Strömbergs synonymordbok ger. Krav kan möjligen uppfattas som något mer aktivt och kanske mer operativt än normer. Någon ställer upp ett krav, någon kräver medan normer kan ”växa fram” och kanske är de överordnade rättesnören från vilka kraven formuleras.

142

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

exempel programbudgetering, mål och resultatstyrning eller 1980-talets New Public Management. Mål kan förstås finnas på olika nivåer. Vi kan tala om mål i relation till den enskilde skoleleven men också i förhållande till grundskolan i stort. Målen kan, vilket kanske är det vanligaste i politiska sammanhang, gälla något som politikerna vill ska ske i samhället. Målen kan vara inriktade på förhållanden i myndigheten, till exempel att personalen ska ha en viss kompetens eller på myndighetens prestationer. Det senare kan till exempel vara att en viss mängd ärenden ska ha hanterats varje vecka. Den statliga Styrutredningen uttrycker det något mera tekniskt då den konstaterar att mål kan avse ”olika produktionsfaktorer, produktionsprocessen, prestationerna och de yttre effekterna av verksamheten”.186

Många mål gäller en specifik verksamhet. Ofta kan dock en rad olika verksamheter ha samma mål, och de politiska beslutsfattarna har då utgått från att till exempel ett visst problem måste attackeras med flera olika verksamheter. Vissa mål kan dock vara generella och gälla all statlig verksamhet. Det finns en omfattande diskussion om målens funktion i olika former av styrning. En omfattande, och delvis kritisk diskussion, fördes till exempel av Styrutredningen för tio år sedan. På vilket sätt revisionen kan omvandla riksdagens beslut till bedömningskriterier är inte självklart. Här ska fem problem tas upp som i vart fall torde påverka möjligheterna att mekanistiskt bedöma statlig verksamhet i relation till hur väl olika mål nås.

Ett första problem är att många mål som gäller skeenden ”ute i samhället” handlar om att peka på i vilken riktning de politiker som formulerat målen vill att samhället ska utvecklas och vad man ser som missförhållanden. Sådana mål kan dock ibland handla om problem som samhället kanske alltid kommer att brottas med, även om målen kläds i en språkdräkt som säger att problemen ska lösas, hinder undanröjas och så vidare. Revisionen kommer därför alltid att kunna konstatera en diskrepans mellan de förändringar som skett och det som borde ha skett när den bedömer statlig verksamhet i perspektiv av dessa mål. Att bedöma en statlig verksamhet utifrån sådana mål innebär att revisionen utgår från en ”perfektionsnorm”. Den bristande måluppfyllelsen kan konstateras även i de fall de konkreta verksamheterna är synnerligen väl genomförda. Det kommer därför alltid att vara möjligt att konstatera att det inte görs tillräckligt för att förverkliga dessa mål, att medlen inte är tillräckligt kraftfulla och att resurserna är otillräckliga.

Det andra problemet är hur revisionen ska förhålla sig till konflikter mellan mål och oklara förhållanden mellan mål. Det är rimligt att sådana konflikter föreligger, det är också rimligt att prioriteringar mellan mål inte alltid anges. För effektivitetsrevisionen skapar detta problem, men lösningen kan rimligen inte vara att effektivitetsrevisionen kräver att politikerna alltid ska ange vilka mål som är viktigast och vilka som är mindre viktiga och vilka restriktioner som finns.

186 Styrutredningen 2007, s. 179.

2017/18:URF2

143

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	Det tredje problemet är att en alltför stark fokusering på målen innebär att
	viktiga granskningsfrågor exkluderas och verksamheter därför kan komma att
	granskas endast partiellt. De effekter av en statlig verksamhet som inte ligger
	inom ”målområdet” beskrivs inte sällan som bi- eller sidoeffekter. Detta språk-
	bruk kan, som i olika sammanhang tidigare berörts, skapa intrycket av att dessa
	effekter är mindre betydelsefulla. Inget hindrar dock att huvuddelen av de ef-
	fekter en statlig verksamhet ger upphov till ligger utanför ”målområdet”, något
	som tas upp i en artikel av Merton för mer än 80 år sedan.187 Detta är en i
	högsta grad praktiskt fråga som också kan få politiska implikationer. När
	Nixon som president 1969 framhöll att en utvärdering visade att effekterna av
	det av tidigare administrationer startade programmet Head Start var extremt
	svaga blev det startpunkten på den förmodligen mest omfattande debatten gäl-
	lande utvärdering av en politisk insats. En del av debatten gällde statistiska
	metodfrågor. Debatten kom dock också att gälla vilka mål och typ av effekter
	som var viktiga att föra in i en utvärdering. Den efterföljande debatten ledde
	till att programmet behölls och fortfarande finns kvar.188
	Ett fjärde problem, som kan ha ett samband med det nyss diskuterade pro-
	blemet, är att målen ibland kan vara en ”skrivningskompromiss” snarare än ett
	uttryck för de faktiska strävandena med en statlig verksamhet. Man kan alltså
	vara överens om själva åtgärden, om vad staten ska göra, men ha helt olika
	uppfattningar om varför. Skillnaden i uppfattningar kan vara värdemässig,
	men också ha sin grund i olika uppfattningar om de kausala sambanden, som
	i sin tur kan ha olika orsaker, mellan den statliga verksamheten och vad den
	kan leda till.
	Ett femte problem har berörts tidigare avsnitt (kap. 4). Ju mer långsiktiga
	och kraftfulla målen är, desto svårare blir det att bedöma vad just den statliga
	verksamheten betytt för de effekter som följt. För att uttrycka det brutalt är det
	långt ifrån alltid utvärdering med någon precision kan klargöra effekterna av
	reformer som syftar till att påverka ”långa skeenden”. Att påstå att en verk-
	samhet är bristfällig därför att målen inte uppnåtts är alltså inte rimligt, lika
	lite som det kan hävdas att en verksamhet är bra bara därför att de uppnåtts.
	Ibland nås målen samtidigt som det kan konstateras att den statliga verksam-
	heten bedrivits som avsett var. Mycket tydde till exempel på att just detta var
	förhållandet med en av 80-talets stora satsningar på energihushållning inom
	industrin; utan den statliga verksamheten hade målen uppnåtts ”ännu mera”.189
	För att kunna bedöma om en verksamhet varit framgångsrik i förhållande till
	uppsatta mål används i många utvärderingar effekter som inträffar tidigare i
	den tänkta effektkedjan som indikatorer på det man egentligen vill uppnå. Ett
	konstaterande, i en sådan utvärdering, att en verksamhet varit framgångsrik är
	dock korrekt enbart givet att det tänkta kausala sambandet mellan det som an-
	vänds som en indikator och det längre fram liggande målet är korrekt.

	187 Merton 1936.
	188 En mängd framställningar finns om diskussionen om utvärderingen av Head Start. Här har
	använts Williams och Evans 1972.
	189 Statens Energiverk 1984.
144

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

7.5.2 Bedömningskriterier förutsätter inte mål

De problem som här diskuteras innebär att det inte är okomplicerat att omvandla mål till revisionella bedömningskriterier; det är minst av allt en mekanisk process. Revisionen har också att hantera det motsatta fallet, där bedömningskriterier inte kan härledas från mål eller krav som fastställts av riksdagen genom lagstiftning.

Intentionerna kan härledas genom att man utgår från det konkreta beslut som fattats. Genom själva åtgärden, eller i detta fall snarast beslutet om åtgärden, kan vi tolka avsikten. Ett beslut i riksdagen om att ge bidrag till kommunerna för att stimulera dessa till antimobbningsinsatser kan utan större svårighet tolkas som en ambition att minska frekvensen av mobbning eller att motverka en tänkbar ökning av mobbning. Ett mål, oavsett hur detta formulerats, torde här inte skapa större klarhet om vad riksdagen vill med sitt beslut än vad som kan härledas redan från beslutet om själva bidraget.

Det som nu behandlats är bedömningskriterier som kan härledas från beslut i riksdagen. Det finns emellertid också bedömningskriterier som bygger på vad som kan beskrivas som en dubbel presumtion. Revisionen måste rimligen utgå från att riksdagen för sin del utgår från att regeringen, och dess förvaltning, följer ett antal olika etiska och yrkesmässiga normer. Här är det alltså fråga om krav som vanligen inte omnämns i olika beslutsdokument.

Grundläggande etiska normer: Det finns en rad normer i samhället både av mer generell karaktär och av partikulär art som det måste förutsättas att staten också följer. I vissa fall är det till och med så att riksdagen angett att de faktiskt ska gälla i staten. De allmänna rättsregler som riksdagen beslutat ska gälla samhällslivet i övrigt, får det till exempel tas för givet att riksdagen anser också ska gälla inom staten, till exempel att löften har en viss giltighet.

Praxis eller sedvänja: Om till exempel relationen mellan institutioner och organisationer sedan lång tid har präglats av vissa former kan dessa anses ha lett till vissa berättigade krav på de olika parternas uppträdande i denna relation, oavsett om de kodifierats genom direkta beslut och formella regler. För att konkretisera detta: Regeringens propositioner innehåller sedan mycket lång tid sammanställningar av inkomna remissvar, i de fall ett förslag föregåtts av till exempel en kommitté vars förslag remissbehandlats. Detta är dock inte något som riksdagen särskilt beslutat om, till exempel genom en lag.190 Det får dock förutsättas att riksdagen därmed kan antas ha ett berättigat krav, till följd av denna praxis, att få veta vad remissinstanserna har sagt.

Inomprofessionella eller yrkesmässiga krav: Det kan antas att riksdagen, och regeringen, utgår från att de uppgifter som lämnas till underordnade organ ska fullgöras på bästa möjliga sätt – givet de resurser som ställs i anspråk – även om riksdagen eller regeringen inte själva kan ange vad detta innebär. Om till exempel datasäkerheten i en myndighet granskas så måste detta rimligen ske utifrån den kunskap som i olika expertmiljöer finns om risker och hur dessa

190 Däremot är det reglerat att regeringen ska återge lagrådets synpunkter. 9 kap. 2 § RO.

2017/18:URF2

145

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	kan hanteras. Om pengar anvisas till byggandet av en bro, för att ta ett över-
	tydligt exempel, så förutsätts till exempel att denna ska byggas med en teknik
	så att den inte rasar. Användandet av detta slag av bedömningsgrunder ställer
	dock revisionen inför olika utmaningar. På vissa områden är det relativt lätt att
	identifiera vad som kan ses som professionella krav, på andra områden avse-
	värt svårare.
	Tidigare nämndes att det även är möjligt att ställa en motsatt fråga: Är det
	möjligt för Riksrevisionen att frångå det riksdagen sagt eller till och med kri-
	tisera vad riksdagen beslutat. Hur sakrosankta är riksdagens beslut för revis-
	ionen? Ett möjligt svar ligger alltså i det som tidigare sades om politisk signi-
	fikans. Det är svårt att tänka sig att revisionen skulle kritisera valet av medel
	om det är just detta som haft stor politisk signifikans. Om däremot valet av
	medel haft liten eller ringa politisk signifikans öppnar det för revisionen att
	påpeka att riksdagens val av medel bör tas upp till förnyad prövning. De gräns-
	dragningar som här måste göras blir därmed något som ytterst måste avgöras
	av riksrevisorerna i kraft av det särskilda förtroende de fått av riksdagen.
	Förutsättningar som bedömningskriterier. Många gånger är det orimligt att
	förvänta sig att revisionens bedömning av en verksamhet kan gälla hur fram-
	gångsrik verksamheten har varit i förhållande till de längre bort liggande mål
	riksdagen angett för verksamheten. En lösning blir då att utifrån observationer
	av sådant som det är möjligt att säkert uttala sig om, dra slutsatser också om
	hur verksamheten bidragit till dessa längre bort liggande mål. Det som grans-
	kas är således faktorer som antas vara förutsättningar för att verksamheten ska
	bli framgångsrik, med andra ord ses förutsättningarna som indikatorer.191 Om
	det handlar om en kampanj för att få till stånd bättre miljö genom effektivare
	energianvändning så kan uppmärksammande av information eller kunskaps-
	förändringar användas som en indikator på att kampanjen varit framgångsrik.
	Denna typ av förutsättningsresonemang behöver inte bara gälla så kallade
	yttre effekter. En indikator på att undervisning har god kvalitet (som dock för-
	väntas leda också till yttre effekter) kan vara lärarnas pedagogiska förmåga,
	som i sin tur kan antas öka om rektor har bra pedagogiskt ledarskap, vilket i
	sin tur påverkas av statliga program för att utbilda rektorer. I effektivitetsre-
	visionens granskningar kan vi finna en rad föreställningar om vad som är för-
	utsättningar för en bra statlig verksamhet och implicita antaganden om detta.
	Att titta på förutsättningar behöver inte vara fel. Antagandena om de kau-
	sala relationerna kan prövas ur olika vetenskapliga perspektiv, vissa antagan-
	den kan vara naturvetenskapliga, men många antaganden handlar om hur män-
	niskor eller sociala system fungerar. Beslut om en viss statlig verksamhet kan
	till en del bygga på sådana antaganden, men också ha olika värdemässiga ut-
	gångspunkter. På revisionen ställs kravet att den måste klargöra sina egna un-
	derliggande kausala antaganden. Det framstår som problematiskt om inte re-
	visionen redovisar och troliggör sambandet mellan det den faktiskt kunnat ob-
	servera och det den uttalar sig om.

	191 När vi talar om indikatorer kan vi mena olika saker, men detta bortses från nu.
146

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Denna diskussion togs upp av Frans Leeuw i den skrift som gavs ut i samband med att den svenska Riksrevisionen funnits i tio år med Magnus Isberg och Ingvar Mattson som redaktörer. Leeuws undersökning gäller förhållandena några år tillbaka och han reserverar sig för att situationen kan ha förändrats efter 2005. Det material han presenterar gäller de underliggande teorierna i Algemene Rekenkamers granskningar, alltså teorier om den verksamhet som granskas och bygger både på egna och andras undersökningar. Leeuw utnyttjar bland annat en tidigare undersökning av Put, som avsåg rapporter utarbetade både av Algemene Rekenkamer och National Audit Office i Storbritannien. Leeuw menar att ingen teoretisk förankring presenterades i rapporterna för valet av vad som granskas och bedömningskriterier i granskningarna. Leeuw påpekar att de antaganden som en granskning bygger på ofta inte är explicita. I så måtto visar Leeuws analys på bristande transparens. De villkor eller uppfattningar som fanns inom Algemene Rekenkamer om vad som ledde till måluppfyllelse eller effektivitet framgår inte av deras rapporter. En effekt av denna brist på transparens är att rapporterna är svåra att pröva för utomstående. Någon form av forskningsinsats krävs för att rapportens vederhäftighet ska kunna bedömas. Leeuw menar också att när antaganden i efterhand rekonstrueras framgår det att Algemene Rekenkamer inte utnyttjat aktuell forskning.192

Några liknande undersökningar har inte gjorts av Riksrevisionens granskningar. Den har dock uppmärksammats i den kvalitetsbedömning som en grupp Uppsalaforskare genomförde 2015 inom ramen för så kallade cold reviews som genomförts vid ett antal tillfällen sedan 2009. Gruppen framhåller vikten av att de ”antaganden om kritiska mekanismer och vad som är ’förutsättningar för’ en effektiv målrealisering görs tydliga och trovärdiga”.193

Många antaganden som förekommer i granskningar gäller inte substansfrågan utan föreställningar kring sådant som styrning, målformuleringar etc. Le- euws diskussion handlade också i hög grad om sådana antaganden. Dessa antaganden kan beskrivas som metaantaganden om styrning och processer. De är också viktiga i den svenska effektivitsrevisionen. Även om det inte finns forskning om vilka de är och hur de presenteras i Riksrevisionens granskningsrapporter, kan det noteras att det togs upp i en promemoria utarbetad inom Riksrevisionen 2011 på uppdrag av riksrevisorerna. I promemorian framhölls att det i rapporterna förekom ”underliggande normer kring styrning som kan problematiseras i ljuset av olika omvärldsförändringar”.194

En anledning till att dessa metaantaganden inte förefaller att ha diskuterats inom revisionen är kanske, och detta har berörts tidigare, att de ”passat” revisionen. Dessa föreställningar har varit en del i ett större förvaltningspolitiskt idékomplex som i viss mån kan sägas ha tjänat och gynnat revisionen. Det kan konstateras att den statliga revisionen, inte bara den svenska, kommit att uppträda som en entreprenör för vissa förvaltningspolitiska idéer. Revisionen har

192Leeuw 2014, s. 173ff.

193Uppsala Universitet 2015, s. 7.

194Riksrevisionen 2011, s. 41.

2017/18:URF2

147

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	valt att inte kritiskt analysera dessa utan i stället låta dem utgöra ett slags ram-
	verk för sin verksamhet.
	Om centrala antaganden om olika mekanismer inom organisationer eller i
	samhället i stort inte klargörs i effektivitetsrevisionens granskningar påverkas
	möjligheterna för utomstående att förstå det som sägs, men kanske också ef-
	fektivitetsrevisorernas egen förståelse av det som granskas.

7.5.3 De tre E-na; economy, efficiency, effectiveness

Benämningen effektivitetsrevision framstår som historiskt korrekt – möjligen bättre än man var medveten om när man inom dåvarande RRV valde bort den tidigare benämningen förvaltningsrevision. Redan från 1960-talet knöts förvaltningsrevisionen till de föreställningar om ekonomisk effektivitet som var centrala i programbudgeteringen.

Mot denna bakgrund var det naturligt att förvaltningsrevisionen i Sverige redan från början såg effektivitet som sitt kärnvärde. Så var också fallet i till exempel Storbritannien. Gray och Jenkins visar att man också i Storbritannien under 1980-talets början talade om Value for Money och framhåller att The Audit Commission från 1982 ”demonstrated a firm commitment […] to promote the gospel of the 3E […] and to develop VFM studies”.195 Detta är alltså den historiska bilden. Kravet på effektivitet, i bred mening, framstår också som centralt ur ett förtroendeperspektiv. De resurser som tillförs det offentliga har ytterst uppstått genom att vi, i vår egenskap av skattebetalare, avstått från dem. De som anförtrotts dem måste därför använda dem så klokt som möjligt.

Innan detta diskuteras ska vi här först diskutera innebörden av de tre E:na. Inte heller i engelskspråkig litteratur är det självklart vad dessa står för. Pollitt och Bouckaert påpekar att ”despite (or perhaps because of) the frequency of their usage, one should not assume that such terms always have the same meaning. On the contrary, we are aware of a wide range of meanings, both precise and vague, being attached to these central elements in ’performance vocabulary’ ”.196

Economy handlar om kostnaderna för det vi vanligen talar om som input i en produktionsprocess, det som tillförs processen. Innebörden av economy beskriver Power som ”obtaing the best possible terms under which resources are obtained”.197 Det enklaste exemplet är förstås att material som används i verksamheten ska köpas så billigt som möjligt med hänsyn till kvalitetsaspekten. Intosai:s Guidlines on Central Concepts for Performance auditing definierar economy som ”minimising the costs of resources. The resources used have to be available in due time, of appropriate quantity and quality, and at the best price”.198

195 Gray och Jenkins 1993, s. 57.

196 Pollitt och Bouckaert, 2004, s. 106.

197 Power 1997, s. 50.

198 Intosai 2016b.

148

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

När vi talar om efficiency intresserar vi oss för relationen mellan det som tillförs processen (input) och det som kommer ut från den. Att sträva efter efficiency innebär alltså ”ensuring that maximum output is obtained from the resources employed or that minimum resources are used to achieve a given level of output service”.199 Denna relation kan uttryckas på olika sätt, och vi talar ofta om kvoter som till exempel säger något om produktiviteten. Om detta har det funnits omfattande diskussioner som både gällt en rad olika mättekniska problem (till exempel vid jämförelser över längre tidsperioder) och en rad andra aspekter. Dessa ska dock inte diskuteras i detta sammanhang. Det ska dock sägas att om en bedömning görs av efficiency ingår någon form av föreställning om ett slags bästa möjliga relation givet till exempel en viss teknisk nivå.

I denna genomgång av ord och termer bör vi dock observera en oklarhet kring efficiency. Bör efficiency enbart ses som relationen mellan input och output eller kan vi tänka oss att även faktorer som förklarar denna relation ingår i en bedömning av efficiency? Barzelay menar att en ”efficiency audit examines organizational functions, processes and program elements to evaluate whether inputs are being transformed into outputs in an optimal way, especially with regard to costs”.200 Andra forskare ger dock efficiency en snävare innebörd, till exempel har Grönlund med flera, i en studie av den svenska effektivitetsrevisionen, menat att efficiency enbart handlar om själva relationen mellan input och output, och följdriktigt ser han effektivitetsrevision inriktad på de verksamhetsprocesser som kan påverka relationen mellan insatta resurser och mängden prestationer som en särskild revisionstyp.201 Intosai:s riktlinjer ger utrymme för olika tolkningar: ”The principle of efficiency means getting the most from the available resources. It is concerned with the relationship between resources employed and outputs delivered in terms of quantity, quality and timing”.202

Effectiveness skiljer sig från economy och efficiency i ett viktigt avseende. De två första E:na handlade om vad som hände inom ett visst produktionssystem. Det tredje E:et handlar däremot om vad som händer utanför förvaltningen till följd av det som kommer ut från till exempel en myndighet (outputs) och vilka effekter detta ger upphov till – ”ute i samhället”. Även här rör vi oss med en term som inte är alldeles självklar. Power beskriver effectiveness som något som handlar om huruvida ”outcomes conform to intentions, as defined in programmes”.203 Grönlund med flera har samma syn då de anger att det handlar om ”i vilken utsträckning målen har uppnåtts med tillfredsställande kvalitet”.204 Intosai har dock inkluderat frågan om kausalitet i termen effectiveness då de slår fast att ”when auditing effectiveness, one should try to iden-

199Power 1997, s. 50.

200Barzelay 1997, s. 243.

201Grönlund 2008, s. 29f.

202Intosai 2016b.

203Power 1997, s. 51.

204Grönund 2008, s. 27.

2017/18:URF2

149

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	tify the relationship between the achievement of objectives and the imple-
	mented programme”.205 Pollitt och Bouckaert är tydliga med att ”effectiveness
	is the degree to which the desired outcomes result from the outputs”.206 Bar-
	zelay talar om att effectiveness audit ”examines the causal impact of programs
	upon outcomes”.207
	Effectiveness är alltså inte en oomstridd term. Det förefaller dock vara klart
	att nationella revisionsorgan, och också andra, tolkar effectiveness som något
	som också avser frågan om hur framgångsrikt den aktuella verksamheten bi-
	dragit till målens förverkligande och därmed till att svara på om statens pengar
	använts väl eller ej. Innan vi lämnar de tre E:na ska en viktig observation göras.
	Det är – förstås – inte så att en förbättring av ett E automatiskt leder till för-
	bättring i de två andra. Pollitt och Bouckaert påpekar att det är möjligt att ”for
	a given policy to increase efficiency while decreasing effectiveness or vice
	versa”.208

7.5.4 Riksrevisionsutredningens diskussion 2009

I den tidigare Riksrevisionsutredningens betänkande Uppföljningen av Riksrevisionsreformen görs en, vad som rimligen får ses, auktoritativ tolkning om vad de tre E:na innebär. Utredningen konstaterar att de granskningsaspekter som de tre E:na representerar är ”allmänt accepterade delar av effektivitetsrevision” och en konkret granskning kan undersöka en eller flera av dessa aspekter. Utredningen menar att ”de tre E:na utgör en konstruktion som fullbordas med effectiveness. Den senare ’innehåller’ de två andra E:na och förutsätter dem”.209 Som framskymtade i citatet från Pollitt och Bouckart ovan så är det dock inte självklart att sambanden kan ses så rätlinjigt.

Utredningen diskuterar vad effectiveness är och menar att det i huvudsak är ett begrepp som hänförs till måluppfyllelse och i vilken grad de uppsatta målen uppnåtts. Har intentionerna (med till exempel reformen och verksamheten) infriats och är samhällsnyttan god, eller vad kan göras för att förbättra utfallet? Den här granskningen inriktar sig på att bedöma effekter och samhällsnytta utan hänsyn till resursåtgång. Det handlar om relationen mellan mål, output och effekter. Granskningen inom detta område tar sin utgångspunkt i följande frågor: Har de formulerade målen uppnåtts med de åtgärder som vidtagits, med de ”produkter” som producerats och de effekter som observerats? Är de effekter som observerats verkligen resultatet av den bedrivna verksamheten eller programmet, eller beror de på andra omständigheter? Frågan om effektivitet består av två delar: dels om målen uppnåtts, dels om detta kan hänföras till de åtgärder som vidtagits.210

205 Intosai 2016b.

206 Pollitt och Bouckaert 2011, s. 15.

207 Barzelay 1997, s. 243.

208 Pollitt och Bouckaert 2011, s. 15.

209 Riksrevisionsutredningen 2009, s. 25.

210 Riksrevisionsutredningen 2009, s. 24.

150

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Citatet innebär rimligen att utredningen ansåg att god måluppfyllelse är liktydigt med god samhällsnytta. I verkligheten går det att föreställa sig att just det förhållandet att målen på ett område inte nåtts kan bidra till ökad samhällsnytta. Frågan om huruvida utvecklingen på ett visst område orsakats av statlig verksamhet, till exempel i form av styrmedel, som satts in för att påverka utvecklingen på området och hur denna utveckling förhåller sig till uppställda mål är en fråga. En helt annan fråga, eller möjligen två frågor, gäller om utvecklingen som sådan innebär ökad samhällsnytta och om de resurser som satsats på att få till stånd denna utveckling skulle ha kunnat användas på något annat sätt som skulle lett till ökad samhällsnytta.

En svårighet i tolkningen av det resonemang som förs är att utredningen samtidigt säger att en granskning av effectiveness inriktar sig på att bedöma effekter och samhällsnytta utan hänsyn till resursåtgång. Det är svårt att förena denna syn med att utredningen samtidigt talade om att effectiveness innehåller de ”två andra E:na och förutsätter dem”. Dessa två andra E:n handlar ju just om användning av resurser. Utredningens resonemang kring de tre E:na illustrerar därmed till en del svårigheterna med dessa begrepp och bekräftar svårigheterna att precisera deras innebörd.

Trots dessa svårigheter, eller möjligen på grund av dem, visar framställningar om effektivitetsrevisionen i olika länder att de tre E:na är en del av effektivitetsrevisionen. Det kan förvisso ifrågasättas om de tre E:na kan beskrivas som liktydigt med traditionell effektivitetsrevision, vilket görs av såväl Grönlund med flera som av Riksrevisionsutredningen, men de har utan tvekan haft stor betydelse för inriktningen av verksamheten i många nationella revisionsorgan.

Som framgått av Schwartz diskussion om the effectivness dilemma, som det refererades till i kapitel 5, så ställer dock bedömningar av effectiveness effektivitetsrevisionen inför särskilda svårigheter. Sådana bedömningar innebär att det blir svårt för effektivitetsrevisionen att undvika ställningstaganden som kanske oftast beskrivs som politiska. Att till exempel visa att ett politiskt mål ”bättre” skulle nås med andra medel skulle, även om det skulle kunna visas att påståendet var korrekt, vara problematiskt om den politiska diskussionen just handlat om detta medel. Sådana bedömningar blir rimligen också bedömningar av just beslut som fattats av riksdagen snarare än om genomförandet av beslut som fattats av riksdagen.

7.5.5 Andra värden än de tre E:na

I dag förs också en diskussion om det även finns andra värden som kan vara centrala när effektivitetsrevisionen bedömer olika förhållanden. Det finns flera skäl till att denna diskussion uppstått. Inom utvärdering, som i hög grad präglats av tanken på social betterment, har diskussionen om vilka värden som kan uppfattas som inbyggda i utvärdering intensifierats de senaste åren och en rad olika inlägg har gjorts kring detta. Nyligen utkom till exempel boken Evalua-

2017/18:URF2

151

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	tion for an Equitable society med inlägg av flera ledande utvärderingsfors-
	kare.211 Andra kandidater till värden som ska ses som inbyggda i utvärdering
	har gällt etik och ekologi och andra hållbarhetsaspekter.
	I diskussionen om accountability ställs också i olika inlägg frågan om ”för
	vad?”. Behn tar till exempel upp ”fairness” i sin bok Rethinking Democratic
	Accountability. ”We want government to be fair to all of the clients of various
	programs. We want government to be fair when it provides services to the
	citizens, when it taxes citizens, when it accuses citizens of violating the law.
	We want government to be fair – exceptionally fair.”212 Ett annat viktigt värde
	är till exempel transparens. I viss utsträckning har denna diskussion också ta-
	gits upp vad gäller effektivitetsrevisionen, till exempel av Bringselius som dis-
	kuterar etik som en särskild dimension i effektivitetsrevision.213
	Ett sätt att se på dessa andra värden kan beskrivas som ett slags bakväg.
	Om effektivitetsrevision utgår från riksdagens beslut om statlig verksamhet
	kan till exempel etiskt grundade kriterier föras in i granskningsverksamheten
	i den mån politikerna uttryckt sådana genom till exempel mål eller allmänna
	krav för olika statliga verksamheter. En invändning mot detta kan vara att
	många värden, som många uppfattar som viktiga i demokratin, därmed blir så
	att säga beroende av hur de uttryckts till exempel i olika politiska beslut.
	Och det är detta som också kan ses som problemet. Så länge effektivitets-
	revisionen ställer frågan om vad som kommer ut till följd av tillförda resurser
	till exempel i form av prestationer eller påverkan på samhället så kan detta ses
	som något som de allra flesta är överens om. Oavsett vilka politiska värde-
	ringar som lett fram till en viss verksamhet kan det antas att det finns en allmän
	uppslutning kring att det är en fördel om denna är så effektiv som möjligt, eller
	enklare uttryckt: så mycket ”value” som möjligt för varje insatt krona – givet
	det riksdagen menat med ”value”.
	Många andra värden, låt vara att de på ett mera principiellt plan bejakas av
	de flesta, kan det i praktiken råda mycket olika uppfattningar om. Equity, som
	tagits upp av många utvärderingsforskare, leder ofrånkomligen till frågor som
	endast kan hanteras politiskt. Detsamma gäller rimligen olika etiska värden.
	Om sådana värden ses som inbyggda i revisionen, oavsett om de följer av de
	riksdagsbeslut som kan anses gällande i den särskilda situationen, innebär det
	att revisionen svårligen kan undvika utomordentligt grundläggande politiska
	bedömningsfrågor. Av en sådan syn följer att de konkreta bedömningskrite-
	rierna som används i olika granskningar skapas av riksrevisorerna på grundval
	av deras tolkning av dessa olika värden. Mot denna bakgrund framstår frågan
	om revisionens bedömningskriterier så långt ifrån slutdiskuterad. Ett särskilt
	problem i denna diskussion gäller konsekvenserna av att den statliga effekti-
	vitetsrevisionen verkar i ett politiskt system som just har som sin centrala upp-
	gift att hantera att väga samman en rad olika värden och dimensioner i sam-
	hället.

	211 Donaldson och Picciotto 2016.
	212 Behn 2001, s. 8
	213 Bringselius 2018.
152

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

7.6 Vilka frågor kan ställas av effektivitetsrevisionen?

En förväntan på effektivitetsrevisionen kan vara att den ska visa hur statliga verksamheter bidrar till att lösa de problem som riksdagen velat lösa med de aktuella verksamheterna. Det är också möjligt att det finns en förväntan på att Riksrevisionen ska ”avslöja” när olika former av missbruk sker i olika verksamheter, sådant som kanske oftare avslöjas genom att enskilda medarbetare slår larm till massmedierna. Det finns antagligen förväntningar på att Riksrevisionen ska tala om hur saker och ting kan bli bättre. Förväntningarna på Riksrevisionen är stora och avspeglar att just den frihet effektivitetsrevisionen, eller snarare de tre riksrevisorerna, har kan leda till olikartade förväntningar.

Det är uteslutet att Riksrevisionen kan infria alla dessa förväntningar. Ett enkelt skäl till detta är att förväntningarna kan ge upphov till många kategorier av granskningar. När detta paras med det faktum att statens verksamhet ”kan skäras” på många ledder och bredder är det inte svårt att föreställa sig tusentals, snarare än hundratals, möjliga granskningar per år. Mot denna bakgrund blir det viktigt att diskutera två viktiga begränsningar i valet av de frågor som effektivitetsrevisionen kan ställa.

7.6.1 Frågorna ska avse ”verksamhet”

Regeringsformen klargör att Riksrevisionens uppdrag handlar om statens verksamhet. Visserligen utsägs i regeringsformen att också annan än den verksamhet som bedrivs av staten kan granskas. Att verksamhet är ett nyckelord i regeringsformens beskrivning av Riksrevisionen leder dock till två möjliga konsekvenser.

En första konsekvens är att det inte handlar om att ställa frågor om allmänna förhållanden i samhället utan frågorna måste handla om verksamhet som bedrivs. Det som sägs i regeringsformen handlar rimligen därför inte om samhällsutvecklingen som sådan och inte heller om att jämföra denna med uppställda mål. En helt annan sak är att information om hur väl olika politiska mål uppfylls är viktigt både för riksdagen och medborgarna och det därför är betydelsefullt att sådan information tas fram. Att se på måluppfyllelse säger dock ingenting om hur själva verksamheten sköts. Olika mål kan uppnås trots att den statliga verksamhet som satts in för att nå målen är bristfällig eller till och med helt felaktigt konstruerad. Och en verksamhet kan vara mycket effektiv trots att utvecklingen på området inte på något sätt närmar sig de mål som ställts upp. En helt annan sak är att en granskning av verksamheten inom ett område kan göras därför att den bristande måluppfyllelsen kan skapa ett intresse för att granska verksamheten. Det bör också sägas att själva framtagandet av information om utvecklingen på ett område kan granskas av effektivitetsrevisionen på samma sätt som andra verksamheter granskas.

En andra konsekvens är att den information som tas fram av effektivitetsrevisionen alltid gäller något som ligger i förfluten tid. Det är en verksamhet

2017/18:URF2

153

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	som vanligen fortfarande pågår, men det effektivitetsrevisionen granskat är
	något som ligger en bit bakåt i tiden. Det leder till frågor om möjligheterna att
	använda denna information för att uttala sig om hur saker kan göras an-
	norlunda och bättre. I vilken omfattning kan alltså effektivitetsrevisionen ut-
	tala sig om på vilket sätt olika förändringar i en verksamhet kan bidra till att
	komma till rätta med olika problem eller nå en högre måluppfyllelse? Detta
	ska dock tas upp senare efter en diskussion om på vilket sätt kravet på tillför-
	litlighet påverkar vilka frågor effektivitetsrevisionen kan ställa.

7.6.2 Frågorna ska kunna besvaras med tillförlitlighet

Ju starkare det som i denna promemoria kallats kontrollinjen betonas, desto viktigare är det att revisionens konklusioner ska ha en tämligen hög grad av tillförlitlighet. Studier om effekter av statlig verksamhet kan skilja sig åt i avseende på precision och tillförlitlighet. Ytterst har detta att göra med förhållandet att effekter inte är något som vi direkt kan observera eller mäta. Effekterna är ju i stället skillnaden mellan den faktiska utvecklingen och det som skulle ha inträffat utan den aktuella insatsen eller interventionen. Innebörden av detta är att ju längre vi förflyttar oss från den ursprungliga interventionen desto svårare är det att bedöma det kontrafaktiska alternativet. Detta illustrerades med en figur i kapitel tre.

En gissning, som läsaren förhoppningsvis kan överse med, är att riksdagens ledamöter gärna skulle vilja veta hur olika statliga satsningar och reformer påverkat de samhällsproblem man egentligen velat komma åt. Den fråga man vill ha svar på handlar förmodligen inte heller enbart om huruvida målen nåtts utan också om det är den statliga verksamheten som påverkat utvecklingen. Vad leder egentligen alla satsningar till? Gör pengarna, som det ju ofta handlar om, verkligen nytta? Problemet, som figur 1i kapitel 4 avsåg att illustrera, var att uttalandena om just effekterna i förhållande till de längre bort liggande mål som politiken egentligen handlat om är osäkra. I många former av kunskapsproduktion är detta inte ett problem. Utvärderaren – eller forskaren – kan ju vara helt nöjd med att ha ökat insikten bland olika aktörer om tänkbara kausala samband eller att ha avvisat en tidigare hypotes om hur sambanden ser ut utan att fördenskull ha kunnat verifiera en ny hypotes. Om syftet i stället är att uttala sig om huruvida de som haft ett ansvar har fullföljt detta och därmed kunna ge ett underlag för ansvarsutkrävande förutsätts att det som sägs är tillförlitligt (”sant”) i en mera grundläggande och trivial mening.

Detta tillförlitlighetskriterium är viktigt för att skapa rimliga förväntningar på effektivitetsrevisionen. Kriteriet innebär att det inte är möjligt att förvänta sig att alla viktiga frågor kring statens verksamhet kan besvaras av effektivitetsrevisionen. Det är inte heller möjligt att förvänta sig svar på alla frågor som är centrala vid formandet av statens politik och vid bedömningar i efterhand om hur framgångsrik denna varit.

154

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

7.7 Bör bedömningar av det som gjorts leda till rekommendationer?

När vi beskriver, förklarar och värderar något specifikt som gjorts så sträcker sig analysen från någon tidpunkt i det förflutna (en månad, två år eller femtio år) till nu eller så nära nu vi kan komma.214 Den existerande eller möjligen avslutade interventionen kan vi skaffa oss information om, och vi kan bygga upp och pröva hypoteser om hur den fungerat, om den bidragit till förverkligandet av olika mål, vilka bieffekter den haft och så vidare. Detta gäller oavsett om det handlar om att regeringen ska ge klarare direktiv om samverkan mellan myndigheter eller ett helt studiesocialt system.

När vi blickar framåt och funderar på vad som är det bästa sättet att nå ett framtida mål, och kanske till och med rekommenderar en viss handlingslinje är situationen en annan. Här gäller det inte att studera det specifika som faktiskt gjorts, som kan beskrivas och avgränsas, utan att studera och jämföra olika framtida handlingsmöjligheter. Det är förstås möjligt att tänka sig olika sätt att få till stånd samverkan, precis som vi kan tänka oss en rad olika sätt att minska de sociala faktorernas påverkan på utbildning. I den framåtriktade analysen måste olika hypoteser prövas kring hur olika handlingsalternativ påverkar olika aktörers benägenhet att handla på ett visst sätt och i vissa fall hur dessa handlingar påverkar till exempel biologiska, sociala eller ekonomiska förlopp. Det handlar därmed om att konstruera och troliggöra flera interventionsteorier. Den framåtriktade analysen förutsätter därför en rad andra analytiska insatser (forskningsgenomgångar, egna särskilda empiriska undersökningar med mera) än analysen av den hittills bedrivna verksamheten. Detta är vad som ibland görs vid utredningar inom det offentliga utredningsväsendet eller inom enskilda myndigheter. Att ta fram förslag till rekommendationer är alltså ofta en minst lika omfattande uppgift som undersökningen av den verksamhet som pågår.

Pressen att komma med användbara rekommendationer, vilket kan upplevas både i konsultföretag och i myndigheter, kan leda till att olika genvägar väljs. Även om utvärderingen i övrigt är välgjord kan utvärderaren välja att konstruera olika rekommendationer på mera intuitiva grunder och lämna förslag som kan ses som grundade i sunt förnuft. Ett annat sätt är att låta rekommendationerna vara, för att använda ett hemsnickrat uttryck, inverteringar av det som tagits upp som problem och kritik i den tidigare analysen. Exempel på sådana inverteringar kan vara:

•Det brister i samverkan mellan myndigheter. Regeringen rekommenderas därför att styra tydligare.

214 Rent praktiskt kan vi ofta inte komma fram till nu. När vi samlar in material så avser detta ofta någon tidigare tidpunkt än ett bokstavligt nu. Många ansatser försöker dock korta denna sträcka så mycket som möjligt, till exempel genom RTE (Real Time Evaluation), som inte minst varit viktig i Världsbanksgruppen, se bland annat Taylor-Dormond och Tenev 2013).

2017/18:URF2

155

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

•Problem förklaras av att statens kunskaper om en viss verksamhet är bristfälliga. Rekommendationen är att utreda (utvärdera, följa upp, forska) mera.

•Vissa processer går långsamt. Regeringen rekommenderas att ställa tydligare krav på hur lång tid de får ta.

•Bidragsmottagare som har ett behov av att utnyttja ett stimulansbidrag gör det otillräckligt. Rekommendationen är att förbättra informationen till dem.

•Dialogen mellan en myndighet och regeringen är bristfällig och är orsaken till vissa problem. Rekommendationen är att dialogen ska förbättras.

•Delegering till statliga lokala enheter har skapat brister. Rekommendationen är centralisering av beslut till den centrala myndighetsnivån.

Rekommendationerna kan ofta framstå som förledande i sin självklarhet. Det beror på att rekommendationer kan sägas ligga på samma punkt i den kausala kedjan som den tidigare utvärderingen av den befintliga verksamheten. Den bakomliggande föreställningen i samordningsexemplet är att samordning leder till bättre verksamhet. Och eftersom detta anses självklart kan man nöja sig med att låta rekommendationerna blir en invertering av den tidigare analysen. Och på samma sätt; om dialogen är bristfällig räcker det med att rekommendera att dialogen bör förbättras.

Kvaliteten i sådana rekommendationer kan ifrågasättas på två grunder. Den första är att även om det i granskningen konstaterats att ett visst problem föreligger och att dialogen är bristfällig följer därav inte att det är den bristande dialogen som orsakat problemet. Det kan alltså finnas andra åtgärder som är bättre ägnade att leda till en bättre verksamhet än en förbättrad dialog. Hur effektiva dessa skulle vara har helt enkelt inte analyserats. Det kan därför inte uteslutas att andra åtgärder än förbättrad dialog skulle vara bättre ägnade för att komma till rätta med de problem som konstaterats. Den andra grunden är att även om till exempel mera dialog eller samordning är lösningen på de problem som iakttagits analyseras inte hur denna dialog eller samordning ska komma till stånd. Det antas inte sällan, utan att detta tydliggörs, att mera dialog, samordning och liknande ting kan styras fram uppifrån. Just detta sätt att resonera leder ofrånkomligen till att ”mera styrning” blir en vanlig rekommendation utan att grunderna för de bakomliggande antagandena redovisas.

Att inverterade rekommendationer leder till problem har sin grund i det enkla förhållandet att när vi falsifierar något innebär inte detta att vi med automatik har verifierat något annat. Vi ska illustrera detta genom att använda ett exempel hämtat från Bendor i en analys av innebörden av applied theory utifrån Lindbloms essä The science of ”muddling through”.

Suppose a new fighter plane repeatedly crashes during test. Initially, it is believed that this is attributable to pilot error. However, an aerodynamics engineer, believing there is a design flaw, gives an alternative explanation: the plane’s shape causes a kind of instability that is difficult even for skilled pilots to control. Hence, the plane frequently crashes. The engineer’s explanation rests on three elements: a detailed examination of the

156

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

plane’s design, simulations of that design, simulations of that design’s performance under a range of conditions and a theory of aerodynamics that helps explain the simulations, output as well as the engineer’s choices during her examination of the plane’s design.215

Exemplet visar dock att även om det är möjligt att med hjälp av dessa faktorer förstå varför planet kraschar leder inte detta till en rekommendation om vilken design som är att föredra. Det är möjligt att förstå ”why a certain class of design fails without knowing what works”.

Ett annat problem med inverterade rekommendationer är att de också riskerar att få en konserverande karaktär och undviker mera grundläggande frågor i verksamheten. Detta leder rimligen till frågor som gäller hur man mera allmänt kan se på rekommendationer inom effektivitetsrevisionen och vad det innebär om effektivitetsrevisionens rekommendationer följs och att den därför så småningom kommer att tvingas granska verksamheter som bedrivs utifrån de rekommendationer som effektivitetsrevisionen tidigare lämnat.

Ett särskilt problem är också om det är rimligt att effektivitetsrevisionen i förväg analyserar tänkbara effekter av en viss åtgärd, till exempel då den yttrar sig över utredningsförslag i olika statliga utredningar. Det kan dock noteras att det i flera länder förekommer olika former av ex ante-analyser. Synen på detta har samband med uppfattningen om varför effektivitetsrevisionen bör finnas. Ju starkare det som här beskrivits som kontrollinjen betonas, desto starkare betonas rimligen att det handlar om verksamhet som faktiskt bedrivs. Ju starkare kunskapslinjen betonas desto rimligare ter det sig att effektivitetsrevisionen ska leverera kunskap också om för- och nackdelar mellan olika tänkbara framtida handlingsalternativ.

7.8 Finns en risk att effektivitetsrevisionen blir alltför insnävad?

Det är ofrånkomligt att effektivitetsrevisionens verksamhet och de frågor den ställer påverkar hur man ser på dess uppdrag i demokratin. Det som här har beskrivits som en kontrollinje är svårt att förena med en revision som ställer frågor om effekterna av reformer som genomfördes för flera decennier sedan. Å andra sidan har det framförts farhågor att ett betonande av att revisionen ytterst finns till därför att den som anförtrotts ansvaret för något också behöver kontrolleras kan leda till att revisionen blir inriktad på mekanisk regelefterlevnad. Sådana farhågor togs upp av den parlamentariska utredning som på riksdagsstyrelsens uppdrag hade till uppgift att följa upp Riksrevisionsreformen.216 Utredningen analyserade ingående effektivitetsrevisionens verksamhet under Riksrevisionens första år och pekade på vad man ansåg vara problem i verksamheten.

Det intressanta med utredningens analys är att den menade att de problem den tog upp förklarades av att Riksrevisionen betonat att dess rapporter skulle

215Bendor 2015, s. 195.

216Riksrevisionsutredningen 2009.

2017/18:URF2

157

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	utformas så att de kunde utgöra underlag för ansvarsutkrävande. Utredningen
	talade om detta som ansvarskriteriet. Utredningen menade att kriteriet innebar
	”att det blir svårt, för att inte säga omöjligt att granska verksamheter och äm-
	nesområden där ansvarsförhållanden är och förblir oklara”. Vidare framhöll
	utredningen att en konsekvens av ansvarskriteriet var att granskningarna ”in-
	riktas huvudsakligen på regelefterlevnad i stället för effektivitet”.217
	Den fråga som kan ställas är om de problem utredningen såg orsakades av
	ansvarskriteriet. Det framstår lika troligt, eller till och med troligare, att en
	revision som betonar att dess uppdrag är att skapa förutsättningar för ansvars-
	utkrävande kan välja att särskilt uppmärksamma situationer och områden där
	det råder oklarhet om ansvarsförhållanden; det kan hävdas att det är på områ-
	den med oklara ansvarsförhållanden som riskerna är störst för ineffektivitet
	och även maktmissbruk. I de fall den statliga verksamheten organiserats så att
	ansvarsförhållanden är oklara kan det alltså vara särskilt viktigt för revisionen
	att påtala detta och rikta kritik mot den (vanligen regeringen) som kan hållas
	ansvarig för bristande reda i ansvarsförhållandena. Det framstår inte heller
	som självklart att just betonandet av ansvarskriteriet skulle leda till att revi-
	sionen skulle välja att bortse från vikten av effektivitet. Tvärtom kan ansvars-
	perspektivet leda till att det ter sig särskilt viktigt att undersöka vem som kan
	hållas ansvarig för bristande effektivitet och slöseri med skattebetalarnas
	pengar.
	Snarare kan utredningens analys tolkas som en kritik av hur ansvarskriteriet
	omsatts i praktiken. I själva verket är det svårt att se någon grundläggande
	motsättning mellan betonandet av ansvarsutkrävande och den syn utredningen
	hade. Utredningen framhöll: ”Att utkräva ansvar ska naturligtvis göras – i
	förekommande fall – men först då processen kring ansvarstagandet inte fun-
	gerat eller givet önskvärda resultat.” Detta är självklart en helt avgörande po-
	äng. Ytterst handlar det om att få förvaltningen att ta ansvar för de uppgifter
	den anförtrotts. Det är först då detta inte sker som det blir aktuellt med att
	utkräva ansvar, och det är först då det finns behov av ett underlag för att ut-
	kräva detta ansvar. Utredningen, vars analys är knapphändig, menar också att
	ansvarskriteriet kräver mindre av analys och får en inriktning på felfinneri.
	Denna uppfattning kan problematiseras avsevärt. Det kan hävdas att just an-
	svarskriteriet, för att använda utredningens uttryck, innebär att effektivitetsre-
	visionen måste ta reda på orsaker till ett visst skeende och om det som orsakat
	brister verkligen är något som till exempel en myndighet eller dess befatt-
	ningshavare kunnat påverka.

7.9 Fördelning av ansvar mellan regering och myndigheter

Mål och andra politiska viljeyttringar tar inte sällan fasta på olika samhällsproblem som riksdagen vill undanröja. Den diskrepans som då inte sällan kan

217 Riksrevisionsutredningen 2009, s. 49.

158

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

konstateras mellan mål och verklighet kan lätt leda till krav på ett starkare statligt engagemang. På en inomstatlig nivå kan också detta leda fram till att regeringen ska ta itu med saker och ting på ett kraftfullare sätt. Utan att här hämta exempel på hur denna fråga behandlas i enskilda granskningar kan vi konstatera att detta ibland leder till kritik mot regeringen och att rekommendationer inte sällan tar fasta på att regeringen ska vara mera aktiv, och inte sällan mera detaljerad, i sin styrning av förvaltningen. Enkelt uttryckt: Allt som går fel är regeringens fel.

Stöd för en sådan hållning finns förvisso. De inbördes förhållandena mellan de organ som det talas om i 2§ i lagen om revision av statlig verksamhet m.m. klargörs i 12 kap. RF. Den ansvarskedja som förvaltningsutredningen talade om innebär att förvaltningen har en lydnadsrelation till regeringen men inte till riksdagen eller medborgarna och inte heller till ett enskilt statsråd. Det är också regeringen som lämnar uppdragen till förvaltningen. Annorlunda uttryckt kan man säga att regeringen delegerar en del av sitt ansvar till myndigheterna. Det betyder också att regeringen inför riksdagen är ytterst ansvarig för allt som myndigheterna gör, förutom på det område där förvaltningens lydnadsplikt mot regeringen inte gäller.218 Huvudprincipen är dock klar. Den innebär att, även om myndigheterna i praktiken har stor handlingsfrihet, också utanför det särskilt skyddade området, inskränks därmed inte regeringens ansvar inför riksdagen för förvaltningens förehavanden. Regeringen har således en skyldighet att se till att förvaltningen fungerar på ett godtagbart sätt.219

Det kan alltså tyckas som oproblematiskt att ansvaret för brister i förvaltningen alltid kan ses som uttryck för regeringens bristande styrning. Frågan kan dock problematiseras. Det kan noteras att i rader av andra sammanhang då ansvar, rättsligt eller moraliskt, diskuteras, förs i stället ett slags kapacitets- eller befogenhetsresonemang. Den som har faktiska möjligheter att påverka en verksamhet ska också vara den som hålls ansvarig när något går snett. En sådan linje innebär att i de fall regeringen väljer att ge vidsträckta befogenheter till myndigheterna att forma en verksamhet och göra olika prioriteringar bör det vara rimligt att rikta kritik mot myndigheten om bristerna beror på sådant myndigheten råder över.

21812 kap. 2 § RF.

219En diskussion förs i Styrutredningen 2007, s. 40.

2017/18:URF2

159

2017/18:URF2	BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET
	Referenser
	Lagar, propositioner och utskottsbetänkanden är inte medtagna i listan över
	referenser.
	Ahlbäck, S. 1999. Att kontrollera staten. Den statliga revisionens roll i den
	parlamentariska demokratin. Uppsala: Acta Universitatis Upsaliensis.
	Algemene Rekenkamer. 2016. Annual report 2016. Nedladdad i oktober 2017.
	file:///C:/Users/User/AppData/Local/Packages/Microsoft.Microsof-
	tEdge_8wekyb3d8bbwe/TempState/Downloads/Annual+Report+2016.pdf
	Alkin, M.C. 2004. Evaluation Roots: Tracing Theorists’ Views and Influences.
	Thousand Oaks, CA: Sage Publications.
	Alkin, M.C. 2013. Evaluation Roots: A Wider Perspective of Theorists’ Views
	and Influences. Second edition. Thousand Oaks, CA: Sage Publications.
	Alkin, M.C. och Christie, C.A. 2004. ”An Evaluation Theory Tree” i M.C.
	Alkin, (red.) Evaluation Roots: Tracing Theorists’ Views and Influences.
	Thousand Oaks, CA: Sage Publications.
	Amnå, E. 1981. Planhushållning i den offentliga sektorn. Stockholm: Student-
	litteratur.
	Angleryd, T. 2014. ”Effektivitetsrevisionens identitet” i M. Isberg och I. Matt-
	son (red.) Riksrevisionen tio år. Granskning, ansvar, lärande. Stockholm:
	SNS förlag.
	A/RES/66/209. ”Promoting the efficiency, accountability, effectiveness and
	transparency of public administration by strengthening supreme audit institu-
	tions”. Resolution antagen av FN:s generalförsamling 22 december 2011.
	A/RES/69/228. ”Promoting and fostering the efficiency, accountability, effec-
	tiveness and transparency of public administration by strengthening supreme
	audit institutions”. Resolution antagen av FN:s generalförsamling 19 decem-
	ber 2014.
	Barzelay, M. 1996. ”Performance auditing and the New Public Management:
	Changing Roles and Strategies of Central Audit Institutions” i Performance
	auditing and the Modernisation of Government. OECD.
	Barzelay, M. 1997. ”Central Audit Institutions and Performance Auditing: A
	comparative Analysis of Organizational Strategies in OECD” i Governance:
	An International Journal of Policy and Administration, vol. 10. nr 3.
	Behn, R.D. 2001. Rethinking democratic accountability. Washington, DC:
	Brookings Institute Press.

160

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Bemelmans-Videc, M.L., Eriksen, B. och Goldberg, E.N. 1994. ”Facilitating Organizational Learning: Human Resource Management and Program Evaluation” i F.L. Leeuw, R.C. Rist och R.C. Sonnichsen (red.) Can Governments Learn. Comparative Perspective & Organizational Learning. New Brunswick, NJ: Transaction Publishers.

Bemelmans-Videc, M.L. 2002. ”Evaluation in the Netherlands 1990 – 2000: Consolidation and Expansion” i J.E. Furubo, R.C. Rist & R. Sandahl (red.) International Atlas of Evaluation. New Brunswick, NJ: Transaction Publishers.

Bemelans-Videc, M.L. 2007. ”Accountability a classic concept in modern contexts” i M.L. Bemelmans-Videc, J. Lonsdale och B.Perrin (red.) Implications for Evaluation and for Auditing Roles”. New Brunswick, NJ: Transaction Publishers.

Bendor, J. 2015. ”Incrementalism: Dead yet Flourishing” i Public Administration Review, vol. 75. nr 2.

Blume, L. och S. Voigt. 2011. ”Does organizational design of supreme audit institutions matter? A cross-country assessment” i European Journal of Political Economy, vol. 27, nr 2.

Bovens, M., Goodin, R.E. och Schillemans,T. 2014. The Oxford Handbook of Public Accountability. Oxford: University Press.

Bringselius, L. 2008. Personnel Resistance in Public Professional Service Mergers. The Merging of Two National Audit Organizations. Lund: Lund Business Press.

Bringselius, L. 2013. Organisera oberoende granskning: Riksrevisionens första tio år. Lund: Studentlitteratur.

Bringselius, L. 2018. ”Efficiency, Economy and Effectiveness – but what about Ethics, Supreme Audit Institutions at a Critical Juncture” i Public Money & Management (kommande nummer).

Bryman, A. 2011. Samhällsvetenskapliga metoder. Libris.

Campbell, D. T. och Stanley, J.C. 1963. Experimental and quasi-experimental designs for research. Chicago: Rand McNally & Company.

Cassel, F. 1996. Den reviderade revisorsrollen. En oren berättelse. Stockholm: Nerenus & Santèrus förlag.

Chelimsky, E. 2007. “The Political Environment of Evaluation and What it Means for the Development of the Field” i E.Chelimsky och W. Shadish (red.)

Evaluation for the 21st Century. Thousand Oaks, CA: Sage.

Chen, H-T.1990. Theory Driven Evaluation. Newbury Park, CA: Sage Publications.

2017/18:URF2

161

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Cohn, H. 1966. Några ämbetsverk. Vad de gjort och vad de gör. TBV.

De Bruijin, H. 2007. Managing Performance in the Public Sector, andra upplagan, Routledge.

Derlien, H-U. 1990. ”Genesis and Structure of Evaluation Efforts in Comparative Perspective” i R.C. Rist. (red.) Program Evaluation and the Management of Government, New Brunswick, NJ: Transaction Publishers.

Donaldson, S.I och Picciotto, R. (red.) 2016. Evaluation for an Equitable So- ciety. Charlotte, NC: Information Age Publishing.

Eurosai. 2016. Literature on Performance auditing and Supreme Audit Institutions, nedladdad mars 2017. http://www.eurosai.org/handle404?expor- turi=/export/sites/eurosai/.content/documents/materials/Literature-on-perfor- mance-auditing.pdf

Federalist Papers, nr 55, 1788, nedladdad i oktober 2017. https://www.congress.gov/resources/display/content/The+Federalist+Papers#TheFederalist- Papers-55.

Finer, H. 1965. ”Administrative Responsibility in Democratic Government.” i F.E. Rourke (red.) Bureacratic Power in National Politics. Boston: Little Brown and Company.

Fischer, F. 2003. Reframing Public Policy. Deliberative Politics and Deliberative Practices. Oxford: University Press.

Flint, D. 1988. Philosophy and Principles of Auditing – An Introduction, London: Macmillan.

Forss, K. och Rebien, C. 2006. ”Evaluation, Knowledge Management and Learning: Caught between Order and Disorder” i R.C. Rist och N. Stame (red.)

From Studies to Streams. Managing Evaluative Systems. New Brunswick, NJ: Transaction Publishers.

Fredriksson, B. 1980. ”Finansförvaltning i förvandling” i Statskontoret 1680- 1980. En jubileums- och årsskrift. Statskontoret.

Friedrich, C. J. 1965. ”Public Policy and the Nature of Administrative Responsibility.” i F.E. Rourke (red.) Bureacratic Power in National Politics. Boston: Little Brown and Company.

Furubo, J.E. 2011. ”Performance auditing: Audit or misnomer” i J. Lonsdale, P. Wilkins och T. Ling T (red.) Performance auditing. Contributing to Ac- countability in Democratic Government. Cheltenham: Edward Elgar.

Furubo, J.E. och Karlsson-Vestman. O. 2011. ”Evaluation: For Public Good or Professional Power” i P. Eliadis, J.E. Furubo, S. Jacob (red.) 2011. Evaluation Seeking Truth or Power. New Brunswick, NJ: Transaction Publishers.

162

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Förvaltningsutredningen. 1983. Politisk styrning – administrativ självständighet. SOU 1983:39. Stockholm: Liber.

Gray, A. och Jenkins, B. 1993. ”Separate Developments: Budgeting, Auditing, and Evaluation in the United Kingdom” i A. Gray, B. Jenkins och B. Segsworth (red.) Budgeting, Auditing & Evaluation. Functions & Integration in Seven Countries. New Brunswick, NJ: Transaction Publishers.

Grönlund, 2008. Riksrevisionen – effektivitetens, rättssäkerhetens och demokratins väktare. En studie av effektivitetsrevisioner 2003 – 2007. Projektledare: Anders Grönlund. Företagsekonomiska institutionen vid Stockholms Universitet, Akademin för ekonomistyrning i staten. Akademirapport 2008:1.

Guba, E.G. och Lincoln, Y. 1981. Effective Evaluation. San Fransisco, CA: Jossey-Bass Publishers.

Halvorsen, A., Breidahl, K.N., Furubo, J.E. och Hansen, M.B. 2016. ”In- stitusjonelle felt og forståelser av evaluering – en analyse av evalueringen av NAV-reformen” i Nordiske Organisasjonsstudier, vol. 18, nr 2.

Hellquist, E. 1980. Svensk etymologisk ordbok (tredje upplagan). Malmö: Gleerups förlag.

Hirschfeldt, J. 1999. ”Kommissioner och andra undersökande utredningar - en utflykt i gränsmarkerna mellan juridik och politik” i L. Marcusson (red.) Festskrift till Fredrik Sterzel, Uppsala: IUSTUS förslag.

Hischfeldt, J. 2013. ”Undersökningskommissioner – extraordinära inslag i ’the Audit Society’” i Allmänt och enskilt – offentlig rätt i omvandling, Festskrift till Lena Marcusson. Uppsala: IUSTUS förlag.

Hood, C. 1991. ”A Public Management for all Seasons?”, i Public Administration, vol. 69. Royal Institute of Public Administration.

House, E.R. 1993. Professional Evaluation. Social Impact and Political Consequences. Newbury Park, CA: Sage Publications.

Intosai 2016a. Standard for Performance auditing, ISSAI 3000.

Intosai 2016b. Guidelines on Central Concepts for Performance Auditing. ISSAI 3100.

Jacob, S., Speer, S. och Furubo, J.E. 2015. ”The institutionalization of evaluation matters: Updating the International Atlas of Evaluation 10 years later” in Evaluation, vol. 21. nr 1.

Jeppsen, K.K., Carrington, T., Catasús, B., Johnsen, Å., Reichborn-Kjennerud, K. och Vakuri, J. 2017. ”The Strategic Options of Supreme Audit Institutions: The Case of Four Nordic Countries” i Financial Accountability & Managent, vol. 33. nr 2.

2017/18:URF2

163

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Johansson, V. och Lindgren, L. (red.) 2013. Uppdrag offentlig granskning. Lund: Studentlitteratur.

Katastrofkommissionen Sverige och tsunamin – granskning och förslag. SOU 2005:104. Stockholm: Fritzes.

Keen, J. 1999. ”On The Nature of Audit Judgements: the Case of Value For Money Studies” i Public Administration, vol. 77. 2.

Lane, J.E. 2000. New Public Management. London: Routledge.

Leeuw, F.L. 1996. ”Performance Auditing, New Public Management and Performance Improvement: Questions and challenges” i Performance auditing and the Modernisation of Government. OECD.

Leeuw, F.L. 2011. ”On the effects, lack of effects and perverse effects of performance audit” i J. Lonsdale, P. Wilkins & T. Ling (red.) Performance auditing. Contributing to Accountability in Democratic Government. Cheltenham: Edward Elgar.

Leeuw, F.L. 2014. ”Effektivitetsrevision och Nederländernas Algemene Re- kenkamer” i M. Isberg och I. Mattson (red.) Riksrevisionen tio år. Granskning, ansvar, lärande. Stockholm: SNS förlag.

Leeuw, F.L. och Furubo, J.E. 2008. ”Evaluation Systems. What are they and why study them” i Evaluation, vol. 14, nr 2

Lewin, L. 2007. Democratic Accountability. Why Choice in Politics is Both Possible and Necessary. Cambridge, MA: Harvard University Press.

Lindgren, L. 2014. Nya utvärderingsmonstret: Om kvalitetsmätning i den offentliga sektorn. Stockholm: Studentlitteratur.

Lindström, S. 1997. ”Att kunna hålla de andra krafterna stången. En redogörelse för den svenska statliga resultatstyrningen” i Det svåra samspelet. Resultatstyrningens framväxt och problematik. Rapport till förvaltningspolitiska kommissionen. SOU 1997:15.

Ling, T. 2007. ”New wine in old bottles? When audit, accountability and evaluation meet” i M.L. Bemelmans-Videc, J. Lonsdale och B. Perrin (red.) Making Accountability Work: Dilemmas for Evaluation and for Audit. New Brunswick, NJ: Transaction Publishers.

Lonsdale, J. och Bemelmans-Videc, M.L. 2007. ”Accountability – the challenges for two professions” i M.L.Bemelmans-Videc, J. Lonsdale och B. Perrin (red.) Making Accountability Work: Dilemmas for Evaluation and for Au- dit. New Brunswick, NJ: Transaction Publishers.

Lonsdale, J. 2011. ”Introduction” i J. Lonsdale, P. Wilkins och T. Ling (red.)

Performance auditing. Contributing to Accountability in Democratic Government. Cheltenham: Edward Elgar.

164

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Lonsdale, J. och Bechberger, E. 2011. ”Learning in an accountability setting” i J. Lonsdale, P. Wilkins och T. Ling T (red.) Performance auditing. Contributing to Accountability in Democratic Government. Cheltenham: Edward El- gar.

Mark, M.M., Henry, G. och Julness, G. 2000. Evaluation. An Integrated Framework for Understanding, Guiding and Improving Policies and Program. San Fransisco, CA: Jossey-Bass.

Mark, M.M. 2011. ”New (and old) directions for validity conserving generalizability” i H.T. Chen, S.I. Donaldson och M.M. Mark (red.) Advancing Va- lidity in Outcome Evaluation: Theory and Practice. New Directions for Evaluation, nr 130. San Francisco, CA: Jossey-Bass Publishers.

Mathison, S. 2008. ”What is the Difference between Evaluation and Research

– and Why Do We Care?” i N.L. Smith och P-L. Brandon (red.) Fundamental Issues in Evaluation. New York, NY: Guilford.

Mattson, I. 2014. ”Kommer den statliga revisionen till de folkvaldas nytta” i M. Isberg och I. Mattson (red.) Riksrevisionen tio år. Granskning, ansvar, lärande. Stockholm: SNS förlag.

Mayne, J. 2006. ”Audit and evaluation in public management. Challenges, reforms and different roles” i The Canadian Journal of Program Evaluation, vol.21, nr 1.

Merton, R.K. 1936. ”The unanticipated consequences of purposive social action” i American Sociological Review, vol. 1, nr 6.

Morin, D. 2004. ”Measuring the impact of value-for-money audits: a model for surveying audit managers” i Canadian Public Administration, vol.47, nr 2.

Myrdal, G. 1934. Finanspolitikens ekonomiska verkningar. Arbetslöshetsutredningen betänkande II, bilagor, band 2. SOU 1934:1.

NAO 2016. Annual report and accounts 2015 – 16. Performance Report. https://www.nao.org.uk/wp-content/uploads/2016/06/NAO-Annual-Report- 2015-16.pdf

Forskningsråd. 2014. Oppmerksomhetspunkter ved evaluering av politiske reformer. Rapport fra metaevalueringen av evalueringen av NAV-reformen i Norge. Oslo: Norges Forskningsråd.

Norstedts synonymordbok 2004.

OECD. 2016. Supreme Audit Institutions and Good Governance. Paris: OECD

Publishing.

Oral History Project Team 2009. “The Oral History of Evaluation: The Professional Development of Eleanor Chelimsky” i American Journal of Evaluation, vol. 30. Nr. 2.

2017/18:URF2

165

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Osborne, S.P. (red.) 2010. The new Public Governance. Emerging perspectives on the theory and practice of public governance. Oxon: Routledge.

Osmo Vallo-utredningen. 2002. Osmo Vallo – utredning om en utredning. SOU 2002:37.

Owen, J.M. 2007. Program Evaluation Forms and Approaches. 3rd edition. New York: The Guilford Press.

Oxford Dictionary (second edition, revised). 2005. Oxford: University Press.

Patton, M.Q. 2008. Utilization Focused Evaluation. 4th Edition. Thousand Oaks, CA: Sage.

Pawson, R. and Tilley, N. 1997. Realistic Evaluation. London: Sage.

Pawson, R. and Tilley, N. 2004. Realist Evaluation. Webb-version. http://www.communitymatters.com.au/RE_chapter.pdf

Perrin, B. 2002. ”Towards a New View of Accountability”, 11 oktober, presentation till European Evaluation Society annual conference, Seville, Spanien.

Perrin, B. 2018. ”Accountability’s two solitudes and the questions it raises: Accountability to whom? By whom? And for what?” i J.E. Furubo och N. Stame (red.) The Evaluation Enterprise. A Critical View. Taylor and Francis (under utgivning).

Pollitt, C. och Bouckaert, G. 2004. Public Management Reform. A Comparative Analyse, second edition. Oxford University Press.

Pollitt, C. och Bouckaert, G. 2011. Public Management Reform. A Comparative Analyses, third edition. Oxford University Press.

Pollitt, C., Girre, X., Lonsdale, J., Mul, R., Summa, H. och Waerness, M. 1999.

Performance Audit and Public Management in Five Countries, Oxford and

New York: Oxford University Press.

Pollitt, C. och Summa, H. 1997. ”Reflexive Watchdogs? How Supreme audit institutions account for themselves?” i Public Administration, Vol. 75.

Power, M. 1994. The Audit Explosion. London: Demos.

Power, M. 1997. The Audit Society. Rituals of Verification. Oxford: University

Press.

Power, M. 2000. ”The Audit Society-Second Thoughts” i International Journal of Audit, vol. 4, nr 1.

Put, V. 2011. ”Norms used: Some strategic considerations from the Netherlands and the UK” i J. Lonsdale, P. Wilkins och T. Ling (red.) Performance auditing. Contributing to Accountability in Democratic Government. Cheltenham: Edward Elgar.

166

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Put,V. och Bouckaert, G. 2013. ”Managing Performance and Auditing Performance” i C. Cristensen och P. Laegreid (red.) The Ashgate Research Companion to New Public Management. Burlington: Ashgate.

Raudla, R., Taro, K. Agu, C. och Douglas, J.W. 2015. ”The Impact of Performance Audit on Public Sector Organizations: The Case of Estonia” i Public Organization Review, mars 2015. file:///C:/Users/User/AppData/Local/Packages/Microsoft.MicrosoftEdge_8wekyb3d8bbwe/TempState/Downloads/POR2015%20 (1).pdf

Reichborn-Kjennerud, K. 2014a. ”Performance audit and the importance of public debate” i Evaluation, vol, 20. nr 3.

Reichborn-Kjennerud, K. 2014b. Auditee Strategies: ”An Investigation of Au- ditees’ Reactions to the Norwegian State Audit Institution of Performance Au- dits” i International Journal of Public Administration, vol. 37, nr 10.

Rist, R.C. och Stame, N. (red.) 2006. From Studies to Streams: Managing Evaluative Systems. New Brunswick, NJ: Transaction Publishers.

Riksrevisionsverket (1970). Förvaltningsrevision. Stockholm: RRV.

Riksrevisionen. 2004 – 2016. Samtliga granskningsplaner.

Riksrevisionen. 2011. Effektivitetsrevisionen i en ny omvärld. Ett bidrag till det professionella samtalet på Riksrevisionen.

Riksrevisionsutredningen. 2009. Uppföljning av Riksrevisionsreformen II: Ef- fektivitetsrevisionen, den årliga revisionen och den internationella verksamheten. Slutbetänkande av Riksrevisionsutredningen. Utredning från Riksdagsförvaltningen 2008/09: URF3.

Rogers, P.J 2008. ”Using Programme Theory to Evaluate Complicated and Complex Aspects of Interventions” i Evaluation, vol. 14, nr 1.

Rossi, P.H., Freeman, E.E. och Lipsey, M.W. 1999. Evaluation. A systematic Approach. Thousand Oaks, CA: Sage Publications.

Rossi, P.H., Freeman, E.E. och Lipsey, M.W. 2004. Evaluation. A systematic Approach, Seventh Edition. Thousand Oaks, CA: Sage Publications.

RRV, 1970. Förvaltningsrevision i staten. Mål och medel för granskning av effektiviteten i statsförvaltningen. Riksrevisionsverket.

RRV, 1976. Mål och program i verksamhetsplanering, SEA-skrifter. Stockholm: Liber förlag.

RRV, 1987. Utvärderingar till vad och hur mycket? Riksrevisionsverket.

Rudeberg, K. 1995. ”Combating Business Crime in Sweden: A performance audit” i Knowledge and Policy: The International Journal of Knowledge Transfer and Utilization, vol. 8, nr. 3.

2017/18:URF2

167

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Sandahl, R. 1993. “Connected or Separated? Budgeting, Auditing and Evaluation in Sweden." i A. Gray, B. Jenkins, and B. Segsworth (red.). Budgeting, Auditing & Evaluation: Functions and Integration in Seven Governments.

New Brunswick. NJ: Transaction Publishers.

Sandahl, R. 2018. ”Evaluation overload and evaluation underload” i J.E. Fu- rubo, och N. Stame (red.) The Evaluation Enterprise. A Critical View. Taylor and Francis (under utgivning).

Schwartz, R. 1999. ”Coping with the effectiveness dilemma: strategies adopted by state auditors” i International Review of Administrative Sciences, vol. 65.nr 4.

Schwandt, T. 2018. ”The concerted effort to professionalize evaluation practice: Whither are we bound?” i J.E. Furubo och N. Stame (red.) The Evaluation Enterprise. A Critical View. Taylor and Francis (under utgivning).

Scriven, M. 1991. Evaluation Thesaurus. Newbury Park, CA: Sage.

Scriven, M. 2003. ”Evaluation Theory and Metatheory” in T. Kellaghan, D .L.

Stufflebeam, (red). 2003. International Handbook of Educational Evaluation.

Dordrecht: Kluwer Academic Publishers.

Sharma, N. 2007. ”Interactions and interrogations: negotiating and performing value for money reports” i Financial Accountability and Management, vol, 23. nr 3.

Stame, N. 2018. ”The politics/administration dichotomy and evaluation” i J.E. Furubo och N. Stame (red.). The Evaluation Enterprise. A Critical View. Taylor and Francis (under utgivning).

Statens energiverk, 1984. Energihushållningsprogrammets effekter – En analys av de statliga styrmedlens effekter på energihushållningen. Statens energiverk 1984:2.

Statskontoret, 2014. Utvärdering på olika områden: En analys av sektorsspecifika utvärderingsmyndigheter. Statskontoret, rapport 2014:7.

Sterzel, F. 2003. ”Riksdagens revisorer – den konstitutionella utvecklingen” i

Riksdagens Revisorer under två sekel. Riksdagens revisorer.

Stockmann, R. 2016. ”The future of evaluation in Modern Societies” in R. Stockman och W. Meyer (red.) The Future of Evaluation. London: Palgrave Macmillan.

Styrutredningen, 2007. Att styra staten – regeringens styrning av sin förvaltning. SOU 2007:75.

Suchman, E.A. (1967). Evaluation Research: Principles and Practice in Public Service and Social Action Programs. New York: Russel Sage Foundation.

Svenska akademiens ordbok. www.saob.se

168

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Studiesociala utredningen. 1963. Rätt till studiemedel. SOU 1963:74.

Taylor-Dormond, M. och Tenev, S. 2013. ”Evaluating the World Bank Group´s Response to the Global Economic Crises in Real Time” i J.E. Furubo, R.C. Rist and S. Speer (red.) Evaluation and Turbulent Times. NJ: New Brunswick: Transaction Publishers.

Tremblay, M-S. och Malsch, B. 2015. A review of Performance Audit Literature. École nationale d’administration publique, presenterad på IRSPM:s (In- ternational Society for Public Management) konferens 2015. Nedladdat i juli 2017. http://irspm2015.com/sppa/i-dex.php/irspm/IRSPM2015/paper/view File/1584/340

Ullenhag, K. 2003. ”Revision och samhällsomdaning åren 1872, 1922 och 1972” i Riksdagens Revisorer under två sekel. Riksdagens revisorer.

Uppsala Universitet, 2015. Kvalitetsbedömning av effektivitetsrevisionens granskningsrapporter 2015. Medverkande forskare Nils Hertting, Sven Jungerhem, Mats Larsson, Arne Sjöblom och Susanne Stenbacka.

Van de Donk, W. 2010. ”Academic Administrative Sciences: A dialogue of Disciplines?” i G. Bouckaert och W. van de Donk (red.) The European Group for Public Administration (1975 – 2010) Perspectives for the future. Bruxelles: Bruyant.

Vedung, E. 1997. Public Policy and Program Evaluation. New Brunswick och London: Transaction Publishers.

Vedung, E. 2009. Utvärdering i politik och förvaltning. Lund: Studentlitteratur.

Vedung, E. och Dahlberg, M. 2013. Demokrati och brukarutvärdering. Lund: Studentlitteratur.

Weber, M. 1949. The Methodology of the Social Science. New York: The Free Press.

Weiss, C.H. 1972a. Evaluation Research, Methods of Assessing Program Ef- fectiveness. Englewood Cliffs, NJ: Prentice Hall.

Weiss, C.H. 1972b. Evaluating Actions Program: Readings in Social Science and Education. Boston: Allyn and Bacon, Inc.

Weiss, C.H. 1998. Evaluation, Second Edition. Upper Saddle River, NJ: Prentice Hall.

Wetts, K. 2011. ”Impact at local governmental level: a multiple case study” i J. Lonsdale, P. Wilkins & T. Ling (red). Performance auditing. Contributing to Accountability in Democratic Government. Cheltenham: Edward Elgar.

Wildavsky, A. 1979. Speaking Truth to Power. Little Brown & Company.

2017/18:URF2

169

2017/18:URF2

BILAGA 3 EFFEKTIVITETSREVISION – FÖRVÄNTNINGAR OCH IDENTITET

Williams, W. och Evans. J.W. 1972. ”The politics of Evaluation. The Case of Head Start” i P.H. Rossi och W. Williams (red.) Evaluating Social Programs. Theory, Practice, and Politics. New York: Seminar Press.

Wisler, C. (red.) 1996. Evaluation and Auditing. Prospects for convergence.

New Directions for Evaluation, nr 71 San Francisco, CA: Jossey-Bass Publishers.

170