Pongrácz László
A tanulói teljesítménymérés
rendszerének továbbfejlesztése
Kedves Kollégák!
Tavaly, ugyanitt arról beszéltem, hogy a TÁMOP 3.1.8. projekt keretében milyen tartalmi és technológiai fejlesztéseket, kutatásokat tervezünk az Országos kompetenciamérés és az érettségi vizsgarendszer tekintetében.
Most itt az ideje, hogy beszámoljak arról, hogy az elmúlt egy évben mit sikerült megvalósítani, illetve az egyes fejlesztések „hogy állnak”. Előzetesen mindenképpen el kell mondanom, hogy ezen feladatok kapcsán végig kellett küzdenünk az EU-s projektek adminisztrációs akadályfutásának minden méterét és – bár változatlanul bizakodunk – nem lesz könnyű dolgunk a projektek maradéktalan lezárásával.
De most nézzük a konkrétumokat!
Az Országos kompetenciaméréssel kapcsolatosan „örökös bánatunk” hogy nem, vagy csak nagyon részlegesen történik meg az adatkincs tudományos feldolgozása, kutatása. Most lehetőségünk volt a kutatók számára kutatási témák kiírására. Olyan témákat igyekeztünk meghatározni, amelyek minél több szereplő számára érdekesek lehetnek.
Az első téma „Az iskolai osztályzatok és a felmért teljesítmények közötti kapcsolatok elemzése” volt.
Amíg jócskán találunk olyan iskolát, ahol a belső értékelési rendszer és a külső értékelés eredménye között az ábrán látható ellentmondás adódik, joggal gondolhatjuk, hogy a téma érdekes, elemzésre méltó és remek tanulságokat hozhat az intézmények és a kutatók számára egyaránt és lerombolhat olyan helyi szokásokat, amelyek a hasonló helyzetek kialakulásához vezetnek.
… ám a kutatók nem így gondolták, egyetlen pályázat sem érkezett a téma kutatására.
A következő téma szintén egy a pedagógiában állandóan, újra és újra felszínre kerülő kérdés „megkutatására” irányult. Ez „Az osztálylétszám hatása a tanulói teljesítményekre” címet viselte. Tipikusan olyan téma ez, amelyről minden szakértőnek van véleménye, ám erről szóló átfogó, kvantitatív kutatást nemigen látni.
Sajnálatos, de erre a témára sem érkezett kutatói pályázat.
Akár a tehetségek felkutatása, akár a teljesítmények közti különbségek okainak alaposabb magyarázata szempontjából is érdekes lenne megtudni, hogy azok a tanulók, akik saját szociokulturális helyzetükhöz képest kiemelkedő teljesítményt értek el, mit és miért tudnak jobban? Melyek azok a tényezők, amelyek rájuk jellemzőek, és amelyek alapján akár egy korábbi életkori szakaszban kiválaszthatóak lennének.
Egyelőre azonban ez a téma sem keltette fel a kutatók érdeklődését.
A természettudományok oktatásával foglalkozók körében állandó téma, hogy a természettudományok szaktárgyanként elkülönített tanítása, vagy az integrált természettudomány oktatása az eredményesebb módszer. A PISA és a TIMSS nemzetközi mérések adatrendszerei lehetőséget adnának egy ilyenfajta elemzésre. Ezért hirdettük meg a témát a kutatók számára.
Akármennyire kurrens témáról van is szó, a kutatók nem reagáltak a pályázatra.
Őszintén remélem, hogy ezen előadás hallgatói, azaz Önök, elviszik ezeknek a pályázatoknak, kutatási céloknak a hírét a kutatóhelyekre, és amennyiben sikerül azokat újra meghirdetnünk, már bőségesen lesz vállalkozó az egyes témákra.
Szerencsére azonban nem volt eredménytelen a pályázatunk. Három témára is érkeztek ajánlatok. Kíváncsian várjuk ezen kutatások eredményeit!
A TÁMOP projekt keretében a tervek szerint folytatódik a többi program is.
A kompetenciamérések eredményeinek helyi értékelésére vonatkozó ötórás képzés, amelyet minden iskolából legalább egy kolléga számára elérhetővé kívánunk tenni, elkészült és folyik a képzések szervezésének előkészítése is. Reményeink szerint – a legnagyobb intézményfenntartók közreműködésével – a képzések még eben az évben megvalósulnak.
A matematika és szövegértés tartalmi kereteinek fejlesztése elkészült. Ennek fókuszában elsősorban a tudásszintek pontosabb leírása áll, amely főképp a pedagógusokat segíti majd tanítványaik teljesítményének mélyebb megismerésében.
A megfelelő szakmai műhelyek bevonásával készülnek a mérési rendszer kínálatát gazdagító új elemek is.
Elkészült a természettudomány kompetenciaterület mérésének tartalmi kerete. A nem szakember számára e tekintetben az adja majd a legtöbb információt, ha látja azokat a feladatokat, amelyekkel a rendszer dolgozik. Bár a feladatfejlesztés és kipróbálás még hátra van, álljon itt egy példafeladat a mérés szemléletének érzékeltetésére.
Ahogyan az az ilyen típusú mérésekben lenni szokott a tanuló kap valamiféle forrást. Ez a jelen egyszerű esetben egy kép. A lényeg a forrásra vonatkozó kérdésekben van. A természettudományos mérésben természetesen szerepelnek szaktudományi (például: itt a fizika területéhez tartozó) kérdések is, ám ezeknél nagyobb jelentőséggel bírnak a komplex szemléletet igénylő, jelen esetben pro és kontra egyaránt érveket felsorakoztató válaszokat igénylő feladatok.
A természettudományos mérésektől joggal várhatjuk a nemzetközi mérések magyar eredményeinek alaposabb „értelmezését”, a kompetenciaterület részletesebb elemzését. Emlékeztetőül álljon most itt a 2006. évi PISA mérés természettudományi része Magyarországra vonatkozó eredményének összefoglalása.
Ezek szerint a magyar 15 éves gyerekek természettudományi kompetenciái az OECD országok vonatkozásában átlagosnak mondhatók. A leggyengébbek a természettudományos problémák felismerésének kompetenciaterületén, illetve a természettudományos megismeréssel kapcsolatos ismeretek területén vagyunk. Érdekesség, hogy erősségünk a fizikai rendszerek ismerete, annak ellenére, hogy a fizika minden kutatás szerint az egyik legkevésbé népszerű tantárgy a diákok körében. A projekt végső célja a mérési rendszer teljes körű megtervezése és kivitelezése annak érdekében, hogy politikai döntés esetén „azonnal” bevethető legyen.
A következő részprojekt a kompetenciamérés adatfeldolgozási technológiájának fejlesztésére irányul. A cél a feldolgozás teljes egészében elektronikus alapokra való helyezése.
Ennek során a kitöltött feladatlapokat először beszkenneljük. Ezzel egyrészt elektronikus formában megőrizhetővé teszünk minden diákproduktumot, másrészt előállítjuk a további elektronikus feldolgozás alapanyagát.
Az „alapanyagot” egy szoftver tovább bontja az egyes feladatok (és válaszok) szintjére, így a továbbiakban minden egyes diák minden egyes feladatmegoldása külön vizsgálható. A feleletválasztásos feladatokat egy jelfelismerő szoftver automatikusan értékeli (a meglehetősen jó eredményességi mutatók láthatóak a dián). Nyílt végű feladatok kódolása természetesen csak kódolókkal történhet, ám az eljárásnak a szokásos technológiához képest számos előnye van:
- A kódolás elektronikus úton, távmunkában is történhet.
- A kódolás feladatonként történhet.
- Lehetőség van próbakódolásra, gyakorlásra.
- Könnyebb a kettős kódolás, és ez által a hibakeresés.
- Lehetséges a központi folyamatkövetés.
- Beépíthető a kódolók számára az éberségi teszt.
Mindezek eredményeként egyrészt szükségtelenné válik az adatrögzítés, másrészt a kódolás feltehetőleg rövidebb idő alatt, de mindenképpen a minőség magasabb szintű garantálása mellet történhet meg.
Végezetül engedjenek meg egy rövid rátekintést az eddig egyetlen, lezárt érettségi kutatásra is. Ennek keretében az öt legnépesebb vizsgatárgy 2012. év tavaszi, emelt és középszintű írásbeli érettségi feladatlapjai kerültek elemzésre. Az elemzés fő célja annak megállapítása volt, hogy mennyire felelnek meg azok a kompetenciamérésben is használatos, professzionális mérésmetodikai elemzések elvárásainak.
Mind a 10 feladatlapról részletes statisztikai elemzések, majd ezek nyomán elemző tanulmányok készültek. Az eredmények azt igazolják, hogy az érettségi írásbeli feladatlapok készítésének technológiája – bár nem azonos a méréselméletben szokásos módszertannal – képes a mérésmetodikai elvárásoknak is megfelelő „mérőeszközök” előállítására.
Ennek bemutatására álljanak itt az egyes feladatlapok reliabilitási mutatói, azaz azok a mutatószámok, amelyeket a mérésmetodika elsőként szokott megvizsgálni a mérőeszköz minőségének elemzésekor.
Mint látható, a reliabilitási mutatók 4 esetben meghaladják a 0,9-et, ami kétségtelenül kiválónak mondható érték, 14 esetben 0,8 felettiek, amely érték még mindig kifejezetten jónak számít, és ennél alacsonyabb mutató mindössze 4 esetben fordul elő.
Tisztelt Kollégák!
Remélem, sikerült bemutatnom, hogy a projekt az elmúlt egy évben megfelelő előrehaladást mutatott, és őszintén remélem, hogy jövőre még több sikeres eredményről számolhatok be Önöknek.
