Pongrácz László

Barangolás a kompetenciamérés
eredményei között

pon0

Kedves Kollégák!

Az utóbbi időben egyre gyakrabban hallani azt a kifejezést, hogy „evidence based…”, és itt valamilyen szó következik. Az üzenet mindig az, hogy ha döntést hozunk, vagy akár csak véleményt alkotunk valamely kérdésről, akkor azt legjobb, ha adatokra, tényekre, bizonyítékokra alapozzuk. Korábban mindezt az hátráltatta, hogy sok területről nem volt megfelelően hiteles adat, vagy nehéz volt hozzájutni azokhoz.

Az országos kompetenciamérések ebben a tekintetben minőségileg új korszakot nyitottak, hiszen az általuk szolgáltatott adatok nem csupán nagy számban és magas feldolgozottságban állnak rendelkezésre, hanem az elérés a laikus és a szakember számára egyaránt biztosított.

Mindezek ellenére változatlanul sokan és sokszor alapozzák véleményüket vagy néha határozott ítéletüket, döntésüket szokásokra, vélekedésekre, szóbeszédre. A közoktatási diskurzusban, és néha a szakértők között is, még ma is elterjedtek és sajnálatosan elfogadottak az olyan mondatok, melyek így kezdődnek: „Például nálunk az iskolában…”, „A tanárok azt mondják…”, „Az igazgatók szerint…”. Történik mindez akkor, amikor az ezekre alapozott vélekedések igazságtartalma sokszor az adatok segítségével egyértelműen eldönthető lenne. Az előadásban most három, típusában különböző példát hozok hasonló esetekre.

A családi háttérindex

Amikor a kompetenciamérések kapcsán a Tanulói kérdőív kitöltéséről, és ennek alapján a családi háttérindex (CSH index) meghatározásáról esik szó, gyakran hangzanak el hasonló vélekedések:

pon1

Nézzük meg, hogy az adatok tükrében ezek a kijelentések mennyire állják meg a helyüket! Az első tévhitre a válasz, hogy a beküldési hajlandóság az egyes évfolyamokon évek óta stabilan 78 és 80% közé esik.

A 6. és 8. évfolyamokon a legalacsonyabb az arány Budapesten, amely azt sugallja, hogy az magasabb teljesítményátlag miatt inkább a 3. állítás a helytálló. Ha azonban megnézzük, hogy az egyes teljesítményszegmensekben hogyan alakul a kitöltési hajlandóság, akkor világosan láthatjuk, hogy egyik állítás sem tekinthető relevánsnak, azaz a CSH indexszel nem rendelkezők egyaránt jelen vannak a magas és az alacsony teljesítményszegmensben is. Az is jól látható, hogy számuk némileg magasabb az alacsonyabb teljesítményszegmensben.

pon2

pon3

Ez tehát a valóság! A 10. évfolyamon szinte ugyanezt figyelhetjük meg.

pon4

Tovább árnyalja a képet, ha megnézzük a számokat intézménytípusonként!

pon5

Láthatjuk, hogy a kitöltési hajlandóság egyaránt alacsony a szakiskolák és a 6, 8 évfolyamos gimnáziumok esetében. Ez is a korábban megfogalmazott állításunkat erősíti meg.

Újabb összefüggést láthatunk, ha megnézzük, hogy a nyolcévfolyamos gimnáziumok esetében hogyan alakul a kitöltési hajlandóság az egyes évfolyamaik esetében.

pon6

Mint látható, a hajlandóság évfolyamról évfolyamra csökken, amely motivációs problémát jelez ebben a képzési típusban.

Falu-város

A mérési adatok elemzésekor szinte közhelyszerűen találkozunk a következő dián olvasható kijelentésekkel.

pon7

A fenti kijelentéseket az alábbi adatkora szokták alapozni:

pon8

Az adatok igazak, ám a következtetés túl bátor. Az adatok ugyanis csupán azt jelzik, hogy az átlageredmények milyenek. Ennek az adatnak azonban nincs közvetlen kapcsolata a diákok teljesítményével. Éppen ezért az OH országos jelentésében az adatok mellett közvetlenül leírjuk, hogy az átlageredmények közötti különbségek csak az egyes településtípusok közötti szociokulturális összetételbeli különbségeket tükrözik. Nézzük meg most az adatok, bizonyítékok tükrében, hogy mennyire igaz ez az állításunk!

pon9

Az adatok mindennél világosabban mutatják, hogy a településtípusok átlageredménye gyakorlatilag egyenes arányosságban van az ottani tanulók CSH indexével. Ám, ha valakit még ez sem győz meg, mélyebbre is áshatunk, megnézhetjük, hogy mit takarnak ezek átlagok.

pon10

A grafikon alján azt láthatjuk, hogy az egyes CSH index átlagok milyen széles tartományokból keletkeznek. Jól érzékelhető az egyes településtípusok közötti különbség, ám egyben az is, hogy minden átlag meglehetősen széles tartományból képződik, azaz az egyes településtípusokon tanuló diákok CSH indexe nagy változatosságot mutat. Állításunk szempontjából azonban sokkal lényegesebb, hogy a regressziós egyenesek szinte egybeesnek. Ez hétköznapi nyelvre lefordítva azt jelenti, hogy gyakorlatilag mindegy, hogy a diák milyen településen jár iskolába, a várható teljesítménye azonos lesz. Természetesen ez a várható teljesítmény erőteljesen függ a családi hátterétől, de ez már egy másik vizsgálat tárgya lehet…

Egyértelműen téveszmének bizonyult tehát az az állítás, miszerint „A városi diákok teljesítménye jobb, mint a községi diákoké!” vagy, hogy „A városokban jobbak az iskolák, mint a községekben!”. De jó lenne, ha nem hallanánk ezt többet!

Hozzáadott pedagógiai értékek

A kompetenciamérések legutóbbi fejlesztéseinek legnagyobb eredménye, hogy immár háromféle pedagógiai hozzáadott érték mutató jelenhet meg a telephelyi jelentésekben. Ezek közül az iskola „saját” fejlesztő hatását a komplex modell alapján bemutató elemzés csak az egyes tanulókra értelmezett, így ezzel most nem foglalkoznék. A másik kettő, vagyis az iskola szociokulturális hátránykompenzáló hatását bemutató, és az iskola fejlesztő hatását a korábbi eredményekhez képest elemző mutatók iskolai, pontosabban telephelyi szinten értelmezettek. Jogosan feltehető az a kérdés, hogy vajon e két mutató mennyire „jár együtt”. Vajon tényleg különböző szempontokat mutatnak be, vagy nem. A két mutató tényleg mást mutat-e az iskolákról. Nézzük most meg, hogyan alakul a két mutató alapján képzett kategóriákba besorolható intézmények száma!

pon11

Látható, hogy mivel mindkét jellemző feltehetőleg összefügg az iskolában folyó pedagógiai munka tudatosságával, kreativitásával, az értékük sok esetben azonos, és a szélsőséges különbségek gyakorlatilag nem fordulnak elő. Ám azt, hogy mégis másfajta teljesítményt mérnek, azt a többi lehetőség előfordulásának közel sem elhanyagolható aránya jól mutatja. Hasonlót tapasztalhatunk a 10. évfolyamon is.

pon12

Rövid előadásomban arra kívántam felhívni a figyelmüket, hogy ma már olyan adatrendszerek állnak rendelkezésre, amelyek segítségével megalapozott választ lehet kapni kérdéseinkre. A véleményen alapuló ítéleteket valóban felválthatják az adatokon, bizonyítékokon alapuló ítéletek, a szóbeszédek igazságtartalma ellenőrizhetővé válik, megdőlhetnek a tényként tálalt közhelyek.

Persze a kérdéseket fel kell tenni!