Ostorics László

A PISA és az Országos kompetenciamérés
kapcsolata, összehasonlítása

Kedves Kollegák!

Szeretettel köszöntök én is mindenkit és hálás szívvel konstatálom, hogy ilyen nagy számban jelen vagytok ezen a korai órán. Az előadásom szerkezetét a következőképpen érdemes elképzelni. Az első fele egy rendkívül általános leíró jellegű rész a két mérésnek – a PISA-nak és az országos kompetenciamérésnek – a jellegzetességeiről és a kialakulásáról, míg a második fele egy rendkívül speciális ismereteket közlő rész arról, hogy milyen hasznunk származhat abból, ha ennek a kettő – egyébként egymással csak rokoni, távoli rokoni viszonyban lévő – mérésnek az adatait össze tudjuk kötni. Kizárólag az előadásom legvégén fogok fölvillantani egyetlen diát a PISA 2009-es és 2012-es mérés összefüggéseiről, abból a célból, hogy további kutatási lépésekről beszélhessek.

Legelsősorban azért van szükség erre a bevezetésre, mert elterjedt tévhit, hogy az Országos kompetenciamérés és a PISA egymástól nagyon nehezen megkülönböztethető mérések. Még 2010-es publikációkban is olvashatunk olyan kijelentéseket döntéshozóktól, illetve kutatóktól, hogy az Országos kompetenciamérés PISA-klón, illetve az Országos kompetenciamérés gyakorlatilag egy az egyben a PISA hozadéka.

Érdemes áttekinteni azt, hogy valójában milyen környezetben született ez a két mérés. Mind a két mérés a 90-es évek legvégén kezdett el keletkezni. A PISA-program, azaz a mérés fejlesztése 1997-ben indult, az Országos kompetenciamérés első adatfelvétele pedig 2001-ben zajlott, amikor még a PISA első eredményei nem kerültek nyilvánosságra. Lényeges tényező, hogy mind a két mérést egy hiányállapot hozta létre. A ’90-es évek végén az OECD-nek rendelkezésére állt számos indikátor az iskolarendszerekről, az OECD-tagok iskolarendszereiről az Education At a Glance című évkönyvsorozatból, de ezek olyan indikátorok voltak, amelyek nem rendelkeztek a teljesítménymutatók tulajdonságaival. Tehát azt el tudták mondani, hogy mekkorák mondjuk a lemorzsolódási arányok az OECD-tagországok iskoláiban, de hogy egyébként ezek az iskolák hogyan készítik fel a gyerekeket a munkaerő-piaci helytállásra, arról nem tudtak számot adni. Nyúlhatott volna az OECD akkoriban, amikor kifejlesztették a PISA-t két mérési kultúrához is azért, hogy egy az egyben átvegye azokat. Az egyik forrás az IEA vagyis a Nemzetközi Oktatáskutató Társaság által működtetett mérési rendszerek lehettek volna: a PIRLS és a TIMSS (de ezek nem feleltek meg az OECD céljainak, mert tantervi tartalmak elsajátítottságának a fokát mérték és mérik mind a mai napig), úgyhogy ezeket ezért nem használták. Ezen kívül pedig lett volna az a lehetőség, hogy az OECD-tagok akkor létező saját méréseit kezdik el alkalmazni közös OECD-célokra: ezek viszont a minta, a bemért évfolyamok, populációk különbözősége miatt nem voltak alkalmasak erre. Egyébként ezek közé az országok közé tartozott Magyarország is, hiszen már volt országos mérése, a Monitor.

Ez a körülményrendszer határozta meg a PISA létrejöttét és egy hasonló körülményrendszer indukálta az országos kompetenciamérés születését is. Magyarországnak már egész komoly mérési vagy méréskultúrai, mérésügyi, mérésszakmai múltja volt a 90-es évekre, és ez egyfelől az IEA-ból, vagyis a Nemzetközi Oktatáskutató Társaság méréseiből táplálkozott. Ebből közvetlenül is és az IEA méréseit példaképnek tekintő Monitoron keresztül is merített az országos kompetenciamérés 2001-re. Emellett pedig létezett egy nagyon hosszú tanulási folyamat, ami az országos kompetenciamérés és a PISA kapcsolatát jellemzi. Ezzel kapcsolatban szintén elmondható, hogy a TIMSS és a PIRLS világa a PISA-n keresztül is és önmagában is hatott az országos kompetenciamérés fejlesztésére. Valójában ez az a viszonyrendszer, amelyben a jelenleg már teljes virágában működő magyar mérési rendszer megszületett még teljesen más formában.

Tekintsük át most azt, hogy a két beszéd tárgyát képező mérést hogyan hasonlíthatjuk össze bizonyos szempontok alapján. A végkövetkeztetés az, hogy miért kell nagyon óvatosnak lennünk akkor, amikor ennek a két mérésnek az eredményeit próbáljuk meg akár csak egymás mellett szemlélni. Külön szeretném felhívni a figyelmet arra, hogy ez az Országos kompetenciamérésnek a 2008-as és azóta létező állapotáról szólok. Míg a PISA sokat nem változott, új és új területek mindig megjelentek, de ezek a lényeges elemek, amelyeket vizsgálni fogunk, nem változtak. Az országos kompetenciamérés 2001 és 2008 között rengeteget változott, most a 2008 óta érvényes állapotokról lesz szó.

Az egyik legfontosabb különbség a bemért populációkban van: a PISA életkor alapú, az országos kompetenciamérés pedig évfolyam alapú mérés. Itt óriási különbségek adódhatnak abból, hogy adott esetben a populációk szerkezete hogyan viszonyul egymáshoz, például, milyen évfolyamokból épül föl az a 15 éves populáció, amelyet a PISA vizsgál. Szintén fontos különbség, hogy az egyik minta alapú mérés, míg a másik szinte a teljes populációt vizsgálja. Magyarországon mintegy 4500 tanuló vesz részt a PISA-ban rendszerint, ez egy országosan reprezentatív minta, regionálisan, iskolatípus, évfolyam és képesség szempontjából. Az országos kompetenciamérésben pedig egy bizonyos definíciónak megfelelő minden tanuló részt vesz. Lényeges kérdés, hogy az egyik évente zajlik le, a másik pedig a dolog természetéből adódóan csak háromévente, hiszen az egyik egész oktatási rendszerekről akar információt adni, a másik pedig ennél jóval részletesebb szinteken.

Nem közismert, de nagyon fontos a mérések felhasználása szempontjából, hogy radikálisan más a két mérés tesztszerkezete. Legkönnyebben úgy tudom ezt megragadni, hogy ha az országos kompetenciamérésből indulunk ki. Ott az egy populációnak szánt feladatsor minden feladatával találkozik a populáció minden tagja. Tehát minden gyerek megírja azokat az országos kompetenciamérési feladatokat, amelyeket a neki szánt füzetek tartalmaznak. Ez teljesen másképp van a PISA-ban, ahol egy rotációs tesztmátrix működik, és egyáltalán nem találkozik minden tanuló minden feladattal. Ennek következében egy nagyon bonyolult statisztikai műveletsor segítségével becsülnek a résztvevő tanulók számára azon feladatokhoz képességpontot és eredményt, amelyekkel nem is találkoznak a tesztfüzet kitöltése során. Ebből következik, hogy radikálisan más a visszajelzési szint a két mérésben. A PISA-ból nem tudunk kinyerni (Magyarországon semmiképpen, más országokban is csak akkor, hogy ha erre külön figyelmet fordítnak már a mintaválasztásnál) iskolai, ad absurdum tanulói eredményeket. Itt hívom föl a figyelmet arra, hogy ez az előadás mégis arról fog szólni, hogy a tanulói szintű eredmények hogyan viszonyulnak egymáshoz a két mérésben. Mindazonáltal a PISA-nál ugye becsült eredményekről beszélünk majd, melyekre fejlesztési terveket vagy ehhez hasonló jelű programokat nem lehet építeni, ezért nem is keletkezik tanulói szintű visszajelzés a PISA-ban.

Még egy nagy különbséget szeretnék kiemelni. A PISA jóval nagyobb apparátust mozgat meg ahhoz, hogy háttérjellemzőket gyűjtsön a résztvevő tanulókról. Az országos kompetenciamérésben van egy viszonylag rövid tanulói kérdőív, valamint egy iskolai és telephelyi, intézményvezetői kérdőív és minden háttér-infor­mációt ezekből nyerünk. Majd látni fogjuk, hogy mégis mennyire jól meg tudjuk ragadni a tanulók hátterét. Összefoglalásképpen, e bevezető ismertető jellegű rész azt akarja hangsúlyozni, hogy mi mindenre kell ügyelni akkor, amikor összehasonlítjuk az eredményeket.

A következőkben ennek ellenére arról fogok beszélni, hogy hogyan lehet ezt megtenni mégis. A tanulói szintű eredmények összehasonlításának lehetősége annak köszönhető, hogy 2008-ban bevezették a mérési azonosítót, ami arra szolgál, hogy a tanulói eredmények egymással összeköthetővé váljanak, és ezt a mérési azonosítót most már szinte minden Magyarországon zajló közoktatási mérésben használják. Az országos kompetenciamérésben ezt 2008-tól, a PISA-ban a 2009-es főméréstől kezdve használjuk. Így össze tudunk vetni négy tanulói adatbázist: a PISA 2009, az OKM 2008, 2009 és 2010 adatait.

Milyen kérdésekre adhat választ, hogyha összekötjük ezeket a tanulói szintű adatokat? Egyrészt össze tudjuk vetni egymással a skálák, a két mérés skáláinak érvényességét, amennyiben megvizsgáljuk, hogy az ezeken elért eredmények hogyan korrelálnak ugyanazon gyerekek esetében, hiszen ebben a vizsgálatban ez a leghasznosabb körülmény, hogy ugyanazok a gyerekek írták meg mindegyiket. Össze tudjuk vetni a matematika és a szövegértés skálákat, illetve azt is, hogy a családi háttérindexünk mennyire jól ragadja meg a tanulók hátterét. Megvizsgálhatjuk, hogy mennyire jól reprezentálja a PISA-minta a teljes PISA-populációt, amennyiben összevetjük az mérésbe kiválasztott tanulók és a teljes populáció országos kompetenciamérés eredményeit. A hiányzók kérdésével kapcsolatban is kereshetünk válaszokat, jelesül, hogy kik szoktak hiányozni az egyik, illetve a másik mérésből és ezeknek az egyik, illetve a másik mérésben nyújtott teljesítménye alapján tudunk-e következtetéseket levonni.

És még egy utolsó nagyon fontos kérdés: az Országos kompetenciamérés melyik képességszintje felel meg a PISA második szintjének. A PISA második szintje azért fontos, mert egy 2000 és 2009 között zajló követéses kutatás alapján arra következtethetünk, hogy a PISA hét képességszintje közül a második az, ahonnan kezdve a tanulók későbbi esélyei radikálisan nőnek abban a kérdésben, hogy képesek-e bekerülni a felsőoktatásba, vagy valamilyen jól fizető munkával rendelkeznek-e majd a 21 éves korukban. Ez pedig ezért fontos nekünk, hogy meg tudjuk ragadni, hogy az országos kompetenciamérésen kijelölhető-e egy ilyen szint.

Bevezetésképpen lássuk, hogyan oszlik meg a PISA 2009 mintája abból a szempontból, hogy milyen évfolyamok vesznek részt benne. Négy évfolyamról van szó. A legnagyobb arányban a kilencedikesek képviseltetik magukat, körülbelül a negyede volt a tízedikes, a maradék pedig megoszlik a hetedikesek és a nyolcadikosok között. Ezek a gyerekek a dián látható országos kompetenciaméréseket írták meg. Tehát ugye van egy korábbi, egy évvel korábbi adatfelvételünk, az OKM 2008. nyolcadik évfolyama, van egy évvel későbbi, az OKM 2010. tízedik évfolyama, ezek a PISA 2009-ben kilencedikesek, és van egy szinte ugyanakkor zajló adatfelvételünk, a tízedikesek, azok március-áprilisban megírták a PISA-t és május utolsó szerdáján pedig 2009-ben megírták az országos kompetenciamérést. Következésképpen ez ugyanannak egy picit más típusú megfogalmazása, itt igazából csak az az érdekes, hogy a teljes PISA-mintából 55 olyan tanuló volt, amelyik nem szerepelt a három országos kompetenciamérés egyikében sem valamilyen oknál fogva.

Lássuk, hogy mire megyünk azzal, ha összehasonlítjuk ezeknek a tanulóknak a különféle skálákon elért eredményeit. Azt látjuk, hogy szövegértésből mind a három adatfelvétel eredményei magasan korrelálnak, viszonylag magasan korrelálnak ugyanezeknek a tanulóknak a PISA 2009 skálán elért eredményeivel. Itt most vannak magasan képzett matematikusok a közönségben, tehát nem szeretném megfogalmazni a magam bölcsész bikkfa nyelvén, hogy a 0,75-ös korreláció mennyire magas, ez egy viszonylag magasnak tekinthető korreláció. Összehasonlításképpen a PISA 2009 matek és szövegértés eredmények közötti együttjárás aránya csak 0,65, az országos kompetenciamérés matek és szövegértés pontszámai között 0,71, tehát már valamivel magasabb. És ugye körülbelül a PISA és az OKM közötti korreláció mértékének felel meg az az együttjárás, ami ugyanazoknak a gyerekeknek a nyolcadikos és a tízedikes eredményei között van, tehát ez egy nagyon erős korreláció. Az ábrán azt látjuk, hogy minél magasabb eredményt ér el valaki a vízszintes tengelyen, vagyis jobb a PISA 2009 szövegértés eredménye, annál magasabb lesz az OKM 2008 szövegértés eredménye is. Hasonló a helyzet a matematikával. Egy kivételre szeretném felhívni a figyelmet: a 2008-as nyolcadik évfolyamos matematikaskálák közötti viszonyra. Itt az egy évvel korábbi matematika teszteredménye a gyerekeknek valamiért kevésbé korrelál a PISA 2009 skálán elért eredménnyel. Elképzelhető, hogy itt a tartalmi keret, tehát a nyolcadikos feladatokat befolyásoló tartalmi keret van a háttérben, amely egy kissé másképpen épül föl, mint a PISA-é. Egyéb tekintetben ez a két skála is magasan korrelál egymással. Nekünk különösen nagy öröm, hogy a PISA által fölvett szociális, kulturális, gazdasági index és az országos kompetenciamérés által produkált családi háttérindex még az előbb látottaknál is magasabban korrelál egymással. Ez azért jó hír nekünk, mert a családi háttérindex a tanulói kérdőív öt kérdésének súlyozott számításaiból épül föl, és azért örülünk ennek különösen, mert ennyiből szinte pontosan, szinte ugyanolyan pontosan meg bírjuk ragadni a tanulók családi hátterét, mint a PISA egy jóval kiterjedtebb arzenállal.

Tekintsük át, hogy a PISA-minta hogyan viszonyul a teljes populáció eredményéhez. Ez szinte ugyanazt mondja el, mint a korrelációk, csak még azt is látjuk, hogy hogyan szóródik a tanulók teljesítménye. A piros sáv minden esetben az átlagot jelenti. Bal oldalt a két oszlop közül mindig a teljes populáció országos kompetenciamérés eredménye van, jobb oldalt mindig a PISA mintában szereplő tanulók országos kompetenciamérés eredménye van. Ez nagymértékben megfelel egymásnak, kivéve a 2008-as matematika eredményt. Ott az átlagok konfidencia intervallumai alig találkoznak egymással, míg az összes többi alkalommal azt látjuk, hogy az átlagok konfidencia intervallumai tartalmazzák egymást, tehát jól írja le minden esetben a minta az egész populációt. Kivéve a 2008-as matematika, ahol nincs olyan nagy gond, de ott azt láttuk, hogy kisebb az együttjárás az eredmények között is. Itt számszerűleg is megfogalmaztatik, hogy hol van szignifikáns különbség a minta és a teljes populáció eredményei között, hát ez látszott már a diagramon is, hogy a 2008-as nyolcadik évfolyamos matematika.

A következő egy nagyon érdekes kérdés – ez megint egy jól elterjedt vélekedés –, hogy az országos kompetenciamérésben a hiányzók a kevésbé tehetségesek, tehát a várhatóan alacsonyabb teljesítményű diákok, illetve, hogy nagy a hiányzók aránya mindig a mérés napján. Összevetésképpen érdemes áttekinteni, mekkora a hiányzók aránya a két mérésen. Ha arra gondolunk, hogy az országos kompetenciamérést komolyan veszik az iskolák, tétje van a diákok, az iskolák és a tanárok számára, a PISA-nak pedig gyakorlatilag semmilyen közvetlen hatása nincsen a diákok életére, akkor kifejezetten jelzésértékű, hogy az arányok tekintetében körülbelül ugyanannyian hiányoznak a két mérésről. Körülbelül ugyanannyian hiányoztak konkrétan, ugyanazok a gyerekek ezekről a mérésekről. Azoknak az aránya, akik a PISA-ban is részt vettek és az országos kompetenciamérésben hiányoznak valamivel alacsonyabb, mint az előzőek. Itt érdemes végiggondolni, hogy most arról van szó, hogy volt az a 4900 gyerek, aki megírta a PISA 2009-et. Ezek közül ekkora arányban hiányoztak a különböző országos kompetenciamérések adatfelvételeiről. És most azt fogjuk megnézni, hogy ezeknek a gyerekeknek az országos kompetenciamérés és PISA-eredményei hogyan állíthatók egymás mellé. Tehát itt azt vizsgáltuk, hogy ezeknek a tanulóknak, itt számszerűleg körülbelül 200–300 gyerekről van szó, a képességeloszlása mennyire felel meg azokénak, akik megírták a mérést. Tehát itt nem elsősorban az a kérdés, hogy van-e különbség, az egyértelmű, hogy van, Itt az a kérdés, hogy mekkora ennek a különbségnek az aránya, és hogy hogyan szóródik a hiányzók teljesítménye. És itt azt érdemes tekintetbe venni, hogy ez az oszlop körülbelül 4500 tanuló képességeloszlása, a másik pedig körülbelül 300 tanuló képességeloszlása, azaz egy sokkal kisebb sokaságnak is nagyon hasonló a képességeloszlása, mint az egész mintáé. Ebből talán nem elsietett levonni azt a következtetést, hogy nincs olyan tendencia, hogy a jóval alacsonyabb képességű tanulók hiányoznának az országos kompetenciamérésben. Ahol a legnagyobb a különbség, a legelső oszlopban, ott mindössze 200 tanuló eloszlásáról beszélünk, de még az sincs radikálisan eltolva a teljes minta eloszlásához képest. Ennek ellenére természetesen mind a PISA-ban, mind pedig az országos kompetenciamérésben súlyozzuk az iskolák, illetve a PISA-ban nem az iskolák, hanem a magasabb szintek átlagát azért, hogy a hiányzás tényét korrigáljuk. Itt nem is az a fő kérdésünk, hogy mit kell ezzel kezdeni, hanem inkább az, hogy a hiányzások torzító hatása hogyan jelentkezhet. Az a következtetésünk ezzel kapcsolatban, hogy az osztályátlagot behelyettesítő súlyozás az országos eredményeket, vagyis az országos átlagok mozgását jól korrigálja, ugyanakkor azt mindig érdemes az adott telephely esetében megvizsgálni, hogy a telephely szintű torzítás hogyan jelentkezik, hiszen a telephelyen jóval kevesebben vannak. Ott elképzelhető, hogy valóban torzítja az eredményeket, ezért a hiányzókat a jelentéseinkben minden esetben jellemezzük azzal, hogy rendelkeznek-e HHH státusszal, illetve, hogy milyen volt az előző évi matematika érdemjegyük. Ezekkel a változókkal próbáljuk leírni, magyarázni azt, hogy kik hiányoznak egy adott mérés adatfelvételéről.

Azt a kérdést is érdemes föltenni, hogy a teljesítmények mellett hogyan különbözik a hiányzóké és a nem hiányzók családi háttere egymástól. Általában ez az arány nem nagyon változik, ez minden adatfelvételnél körülbelül 20%. Ha az összes tanulót és a CSH-indexszel rendelkező tanulókat hasonlítjuk össze, akkor nagyjából ugyanaz a helyzet, valamivel alacsonyabb a CSH-indexszel nem rendelkező tanulók teljesítménye. Ha azt hasonlítjuk össze, hogy az országos kompetenciamérést és a PISA-t is megíró tanulók családi háttérindexe hogyan függ össze egymással, akkor viszont az látható, hogy gyakorlatilag szignifikáns különbség egyáltalán nem volt ebben a populációban a családi háttérindexszel rendelkezők és nem rendelkezők között. Ebben nem látni tendenciát, hogy azok hiányoznának, akiknek egyébként alacsonyabb a háttérindexe. Ugyanakkor még föltehetnénk azt a kérdést, hogy az rendben van, hogy nincsen különbség a hiányzók és a nem hiányzók családi háttere között, viszont mi van akkor, hogyha azok hiányoznak, akiknél ugyan a családi háttér nagyjából ugyanolyan, de a meghatározó ereje nagyobb, jobban befolyásolja a teljesítményt. A táblázatban a meredekség nevű változót érdemes figyelni. Ez azt írja le, hogy a mérés képességskáláján mekkora változással jár együtt az, ha a családi háttérskálán egységnyit lépünk. Így lehet leírni azt, hogy akinek jobb a családi háttere, az várhatóan hány ponttal teljesít jobban. Itt megint csak azt látjuk, hogy ennek a két populációt jellemző változónak a meredeksége gyakorlatilag egyáltalán nem különbözik egymástól, tehát ez a két változósor egyáltalán nem különbözik egymástól szignifikánsan. Így nem csak azt jelenthetjük ki, hogy nagyjából azonos családi hátterű tanulók hiányoznak, illetve nem hiányoznak, hanem azt is, hogy a hiányzók és a nem hiányzók családi háttere ugyanolyan mértékben befolyásolja a teljesítményüket.

Elérkeztünk az utolsó diánkhoz. Szeretnék visszatérni arra a legelső dián elmondott információra, hogy a PISA-ban van egy második, úgynevezett minimum szint és ez az, amit ha a diákok elérnek, akkor 21 éves korukban nagy valószínűséggel vagy a felsőoktatásban lesznek vagy lesz nekik normális munkájuk. Érdekelt bennünket, hogy meghatározható-e ilyen jelentőségű képességszint az Országos kompetenciamérésben. Mi nem tudunk ennyire hosszadalmas követéses vizsgálatokat lebonyolítani, hogy egyes tanulókat a felsőoktatásban és tovább követünk, noha bízunk abban, hogy hamarosan lesz erre lehetőség, ezért ahhoz az eszközhöz nyúltunk, hogy összehasonlítottuk a PISA 2009 tízedikes, illetve az OKM 2009 tízedikes tanulók eloszlását és megnéztük, hogy a PISA második szintje az Országos kompetenciamérés hányadik szintjének felelhet meg ezen tanulók eloszlásán. És így jutottunk ahhoz, hogy az országos kompetenciamérésben valószínűleg a negyedik szint és a PISA második szintje feleltethető meg egymásnak. E kutatás alapján mondjuk azt: ha valaki a negyedik szintet az országos kompetenciamérés során nyolcadikban, illetve tízedikben eléri, már nagy valószínűséggel képes az önálló tanulásra.

Abban bízunk, hogy az adatok tanulói szintű összekötése további gyümölcsöket is teremhet. A következő kutatói kérdésünk: 2009 és 2010 között hogyan változott a PISA eredménye a hetedikes, nyolcadikos, kilencedikes és tízedikes tanulóknak. A könnyebbség kedvéért kiemeltem azt, ahol egyértelmű és szignifikáns romlás következett be, és azt lehet látni, hogy a kilencedikesek és a tízedikesek eredménye romlott elsősorban, míg a hetedikesek, nyolcadikosok teljesítménye számszerűleg növekedett, egyébként nem szignifikánsan, de érdekes látni, hogy számszerűleg növekedett. A következőkben azt fogjuk megvizsgálni, hogy az országos kompetenciamérés adatbázisaiból hogyan tudunk magyarázatot találni erre a jelenségre. Nagyon köszönöm a megtisztelő figyelmet!