como se faz a soma dos termos de uma pa buy soma online psiche e soma san felice

tramadol withdrawal after 4 days buy tramadol online cod tramadol cheap uk

can you get high off of xanax bars buy xanax luvox interaction xanax

order zolpidem Fullerton buy ambien online markings on ambien pills

soma chaudhuri sociology buy soma ofertas hotel vincci soma

formas del soma neuronal soma no prescription soma fabrications basket

will xanax xr get you high xanax for anxiety what mixes best with xanax

get high xanax without falling asleep xanax no prescription where to get xanax in san antonio

why does tramadol make me tired buy tramadol online without a prescription ultram tramadol same

soma seyahat esenler numarası buy soma online janice soma

A program- és politikaértékelés módszertanáról (Koszovó, RWCT)

Az informált oktatáspolitika alkotás mindennél fontosabb forrása a program- és politikaértékelés. Ennek eredményei, illetve az eredmények összehasonlító elemzése („metaértékelés”) nyújt visszajelzést arról, hogy melyek azok az oktatáspolitikai beavatkozások, melyek működnek, s melyek azok, ami nem. Az értékelés lényegében a társadalomtudományi kutatások módszertanát alkalmazza. Ebben a bejegyzésben egy most befejezett koszovói értékelési projekt kapcsán a programértékelés módszertanának egy erősen elhanyagolt aspektusával, az interpretáció kérdésével foglalkozom.

Az oktatáspolitika alkotás tudáshátteréről, a tudomány, a praxis és a politikaalkotás közötti kapcsolatról már írtam az OktpolCafén, és számos olyan bejegyzést osztottunk meg, melyek konkrét értékelési projektek eredményein alapszanak. (Ilyenek voltak például Setényi János összeurópai ESZA értékelésről itt és itt olvasható bejegyzései, vagy Váradi Balázs bejegyzése a hazai integrációs politikáról.) Értékelési módszertannal azonban eddig nem foglalkoztunk. Az interpretáció problémája azért az értékelési módszertan egyik legizgalmasabb kérdése, mert ez világít rá leginkább a társadalomtudományi kutatások és az értékelés közötti lényeges különbségekre.

Az interpretációs probléma

Egy értékelési program során a kérdéseket nem az értékelő, hanem a megrendelő teszi fel. Némi leegyszerűsítéssel egy tipikus értékelési projekt a következő menetrend alapján zajlik:

  • A megrendelő a pályázati felhíváshoz elkészít egy részletes feladatleírást (Terms of Reference – TOR), ami tartalmazza a lebonyolítandó projekt részletes paramétereit, mint például a háttér információk, időkeretek, erőforrások, értékelési kérdések, elvárt eredmények, stb.
  • A kiválasztott értékelő értelmezi az értékelési kérdéseket, valamint kidolgozza az értékelés módszertanát és részletes menetrendjét, amit egy általában igen terjedelmes projektindító jelentésben (Inception Report) foglal össze.
  • A projektindító jelentés elfogadása után az értékelő „kutatást” végez, azaz összegyűjti az értékeléshez szükséges összes információt (nagyobb és drágább projektek esetén a megrendelő időközi jelentéseket elkészítését is kikötheti, ami lehetőséget biztosít a számára ahhoz, hogy menteközben érvényesítse a prioritásait).
  • Az összegyűlt információk elemzése és interpretációja alapján az értékelő elkészíti az értékelési jelentést, ami részben tartalmazza a kérdésekre adott válaszokat, részben pedig a program továbbfejlesztésére vagy a politika korrekciójára vonatkozó ajánlásokat. (Egy értékelési jelentés akkor válik véglegessé, ha a megrendelő azt elfogadja.)

Ebben a folyamatban két olyan pont is van, ahol az értékelés sikerét az értékelő interpretációs képessége határozza meg: a feladatleírásban szereplő kérdések értelmezése („kicsomagolása”) és az összegyűlt tények értelmezése.

Ami az értékelési kérdések interpretációját illeti, annak nem egyszerűen az a funkciója, hogy a megrendelő megbizonyosodjon arról, hogy az értékelő pontosan érti, hogy mit kérdeztek tőle. Az értékelő által előállított konkrét vagy specifikus kérdések listája határozza meg az értékelés során alkalmazott módszertan eszközeit, illetve az eszközök tartalmát. Egy példán illusztrálva: nemrég fejeztem be Koszovóban a Reading and Writing for Critical Thinking (RWCT) program értékelését. Ez egy amerikai egyetemek által kidolgozott standardizált és egy nemzetközi hálózat által minőségbiztosított oktatásfejlesztési program, amely a kilencvenes évek végétől – elsősorban a Soros alapítványok közvetítésével – több mint negyven országban működött. A program keretében 2000 és 2010 között Koszovó pedagógusainak több mint negyedét képezték ki aktív tanulást segítő pedagógiai módszerek alkalmazására. A program értékeléséhez a megrendelő három kérdést tett fel, melyeket kicsomagolva 24 konkrét értékelési kérdést azonosítottam. Ez azt jelzi, hogy az értékelő által feltett kérdések annyira komplexek voltak, hogy megválaszolásukhoz is nagyon komplex módszertan alkalmazására volt szükség. (Igen sokszor a megrendelő akkor szembesül saját kérdéseinek bonyolultságával, amikor az értékelőtől megkapja a konkrét kérdések listáját és az azokra épülő módszertan leírását.)

A másik interpretációs képességeket igénylő szakasz az összegyűlt tények elemzése és értelmezése. Mint már jeleztem, a példaként használt koszovói RWCT értékelésben hatalmas tömegű információról volt szó – annak ellenére, hogy csak egyetlen projektet kellett értékelni egyetlen országban. Ennek a megrendelői kérdések már említett komplexitása volt az oka, melyek megválaszolásához szükség volt dokumentum- és adatelemzésre, 45 pedagógus tanóráinak összehasonlítást lehetővé tevő, tehát standardizált módszerrel zajló megfigyelésére (classroom observation), ugyanazon pedagógusok által kitöltetett kérdőívekre, négy pedagógus fókuszcsoportos interjúra, négy 13-14 éves tanulókkal folytatott fókuszcsoportos interjúra, valamint körülbelül 35 stakeholder interjúra. Az összegyűlt anyag feldolgozhatóságát az biztosította, hogy az egyes alkalmazott módszerek eszközei (kérdőívek, tanóra megfigyelési protokoll, interjútervek, stb.) a konkrét értékelési kérdések alapján készültek, ami tematikus hidakat képezett az egyes eszközök között.

Az értékelő interpretációs képessége

A program- és politikaértékelés – csakúgy, mint a pedagógiai vagy intézményértékelés – definíciószerűen szakértői ítélet. Az értékelés minőségét tehát alapvető mértékben határozza meg az értékelő interpretációs képessége. (Ezért van, hogy amíg a társadalomtudományi kutatásokat elsősorban az alkalmazott módszertan, addig a program- és politikaértékelést elsősorban az értékelő személye (referenciákkal dokumentált felkészültsége) hitelesíti. Az értékelési projektekben az összegyűlt tények interpretációjának alapvetően három rétege van: (1) az alkalmazott módszertan által kijelölt interpretációs lehetőségek és korlátok, (2) az értékelő – összehasonlítást lehetővé tevő – előzetes tudása, valamint (3) az értékelt program vagy politika kontextusának ismerete.

Módszertan. Az alkalmazott módszertan (például a kiválasztott minták összetétele, a kontrollcsoportok alkalmazása, stb.) már önmagában is interpretációs lehetőségeket kínál fel, melyeket minden társadalomkutató jól ismer. Egy értékelési projektben ennél sokkal fontosabb a módszertan korlátainak ismerete. Így például egy értékelési projektben soha nincs mód a statisztikai reprezentativitás szabályain alapuló nagymintás empirikus kutatások lebonyolítására. Ennek megfelelően tudatában kell lennünk annak, hogy az akár gyönyörű diagramok formájában prezentált „statisztikai” információk sem interpretálhatóak másképpen, mint bármilyen más soft evidence, mint amilyen például egy interjúból kiemelt beszédes szövegidézet. A „túlinterpretáció” (over-interpretation) az értékelők által elkövetett egyik leggyakoribb hiba.

Előzetes tudás. Az értékelő előzetes tudása (hasonló programok értékelésében és más országokban szerzett értékelési tapasztalata) egy sikeres értékelés kulcsfontosságú előfeltétele. A szakértői ítélet alapja elsősorban az arról szóló előzetes tudás, hogy milyen fejlesztési vagy oktatáspolitikai lépésnek milyen hatásai, vagy nem kívánt mellékhatásai lehetnek. Az RWCT értékelés során például alapvető fontosságú volt az arról szóló előzetes tudás, hogy a különböző pedagógusok szakmai képességeit javítani hivatott képzésszervezési technikák és módszerek mekkora egymáshoz viszonyított eredményességet képesek biztosítani. (Az előzetes tudás meghatározó súlya miatt egy értékelési projektből mindig az értékelő tanul a legtöbbet. Csak a tanulásra képes értékelők tudják felhalmozni azt a reflektált és rendszerezett tudást, ami további értékelések alapjául szolgál.)

Kontextus. E bejegyzés megírásával elsősorban arra akartam felhívni a figyelmet, hogy a kontextus ismerete pont annyira fontos, mint a módszertani felkészültség, vagy a korábbi tapasztalat. A társadalomtudományi kutatásokkal ellentétben – melyekben természetesen szintén komoly jelentősége van a kutató interpretációs képességének – az összegyűlt tények önmagukban keveset mondanak, és az összehasonlítás érvényessége is erősen korlátozott. Valójában az értékelt program vagy politika rendszerszintű, fejlesztéspolitikai és intézményi környezetének megértéséből nyerhető csak ki az a tudás, amitől érthetővé válik az értékelés során magáról az értékelt tevékenységről összegyűlt tények halmaza. Illusztráció gyanánt álljon itt néhány példa az RWCT értékelésből.

  • Egy nemzetközi donor szervezet által finanszírozott és menedzselt pedagógus továbbképzési program szerveződése és hatása nem érthető meg anélkül, hogy képünk legyen a pedagógusok alapképzésének tartalmáról és minőségéről, a pedagógusok humánerőforrás gazdálkodási rendszerének többi eleméről, a tantervi szabályozás vagy a minőségértékelési rendszer pedagógiai praxisra gyakorolt hatásáról, és számtalan más – országonként nagyon különböző – környezeti hatásról. Egyetlen továbbképzési projekt értékeléséhez tehát fel kellett térképezni az oktatás kormányzásának teljes rendszerét Koszovóban.
  • Egy program hatásának értékeléséhez meg kell próbálnunk kiszűrni más továbbképzési programok hatását, amihez fel kell térképezni a teljes továbbképzési programkínálatot. Elméletileg Koszovóban ennek rendkívül egyszerűnek kellett volna lennie, mert ott a 2000-2010 közötti időszakban az alig létező kormányzat egyáltalán nem biztosított pedagógus továbbképzési programokat, ráadásul a függetlenség 2008-as kikiáltása előtt szinte egyáltalán nem működtek az országban nemzetközi donor programok. (Mégsem volt ennyire egyszerű a helyzet, mert az RWCT program továbbfejlesztéséről és újra-pozicionálásáról szóló javaslatok kidolgozása érdekében fel kellett térképezni az összes futó IPA, USAID, világbanki és már donor szervezetek által elindított oktatásfejlesztési programot.)
  • Az RWCT képzések pedagógiai praxisra gyakorolt hatásának és e hatások fenntarthatóságának értékeléséhez meg kellett érteni az iskolák belső szervezetét, formális és informális működési módjukat, az iskolákkal szemben érvényesülő külső elvárásokat, s sok más dolgot, ami a program intézményi kontextusát jelölte ki.

Talán ennyiből is látszik, hogy az értékelt programokról és politikákról összegyűjtött tudás még csak fél siker, éppen csak egy steril, valódi hozzáadott értéket alig termelő értékelési jelentés elkészítéséhez elegendő. A siker második feléhez a tények interpretációját lehetővé tevő kontextus-elemzésre is szükség van.

Hozzászólások:

  • Setényi János 2013.05.21. 16:49 Válasz

    Nagyon érdekes bejegyzés. Az ÉrtékCafé biztos vevő lenne egy kicsit bővebb kifejtésre.
    Nagyon egyetértek a programértékelés kapcsán modellezett háttértudással. A programértékelés bizalmi szakma és döntő jelentőségű az értékelő háttértudásának (kontextus) minősége. Az igazán nagy értékelők már megérkezés előtt átgondolják az adott ország jellemzőit. Koszovót viszonylag könnyű elhelyezni, Szerbia alatt, párhuzamos állam és nemzetépítéssel. Persze (sokadszor) megérkezve is mindig érik meglepetések az értékelőt. Az egyik elképesztő elem az, hogy mindez a XVIII. századi ügy a globalizáció korában zajlik, nemzetközi segélyprogramok tömegével.
    Érdekes látni az értékelési szakma másik erős vonulatát, amely a bizalmi (erősen személyes) elemtől szabadulva erős matematizálással próbálja meg mérni és kimutatni a hatást (impact). De a kontextus elől ők sem menekülnek…

  • Radó Péter 2013.05.22. 07:41 Válasz

    János, én megértem, hogy az élet számtalan bizonytalansága elől sokan a matematikai bizonyosságokhoz menekülnek. A számok nyelvén kimutatott hatások egyébként fontos fogódzói az értékelésnek, éppen csak nehezen interpretálhatóak önmagukban. Az egész a szociológus szakmán belüli törzsi háborúkra emlékeztet a kvalitatív és kvantitatív kutatási módszertan hívei között. Józanabb kutatók pontosan tudják, hogy kvalitatív kutatások nélkül nem lehet jókat kérdezni egy survey-ben, és a survey adatai nehezen interpretálhatók kvalitatív mélyfúrások nélkül. És megfordítva, nagymintás reprezentatív kutatások nélkül a szociológia feladná azt az ambíciót, hogy “sejtéseknél” többet is mondjon a vizsgált problémákról. Hasonló a helyzet az értékeléssel is: nem értékelt folyamatok hatásai szinte soha nem tisztíthatók ki az értékelt tevékenységek hatásaiból, törekedni viszont kell rá, ehhez pedig kemény változókkal operáló impact analysis kell. A problémát kizárólag az okozza, hogy jó egyetemekről frissen kikerült elemzők pompás statisztikai elemzéseket tudnak csinálni, de a kontextus értékelésére alkalmas és komoly előzetes tudással rendelkező értékelők nagyon lassan érnek be. A legfantasztikusabb értékelő, akit személyesen ismertem Carol Weiss, egy nyugdíjas amerikai néni volt.

  • Setényi János 2013.05.26. 17:01 Válasz

    Még egy szakmai kérdés. Ismeretes, hogy a koszovói nemzetépítés folyik, az államépítés azonban sajátos fordulatot vett és ma Koszovó az UCK (a volt albán gerillahadsereg) veteránjaiból szerveződött maffiahálózat magántulajdonában álló üzleti vállalkozás. Ezzel mit kezd az értékelő? Van ez olyan makro-tényező, hogy meg lehet kerülni egy oktatásfejlesztési program kapcsán?

Új hozzászólás írása