Ostorics László

A mérés-értékelési rendszer fejlesztése

„A köznevelés keretrendszeréhez kapcsolódó mérési-értékelési és digitális fejlesztések, innovatív oktatásszervezési eljárások kialakítása, megújítása” (EFOP 3.2.15-VEKOP-17) kiemelt projekt konzorciumvezetője az Oktatási Hivatal (OH), konzorciumi partnerei az Eszterházy Károly Egyetem és a Digitális Jólét Nonprofit Kft. Az OH által önállóan lebonyolított alprojektek közül az alább bemutatott célja az országos mérési és vizsgarendszer főbb elemeinek, azaz az Országos kompetenciamérésnek (OKM), az országos idegen nyelvi méréseknek és az érettségi vizsgának a továbbfejlesztése. A projekt 2017. július 1-jén kezdődött és 2020. október 31-ig tart.

Az Országos kompetenciamérés új területe: természettudomány

A projekt fő célja a digitális médium bevezetése az országos mérési rendszerbe, emellett új műveltségi területek megjelenítését is lehetővé kell tennie. Az új mérési területek közül a legrégebben napirenden lévő a természettudomány.

Magyarországon nagy hagyománya van a természettudomány mérésével kapcsolatos nemzetközi összehasonlító vizsgálatokban való részvételnek, először 1971-ben bonyolítottak le hazánkban ilyen tárgyú vizsgálatot, a Nemzetközi Oktatáskutató Társaság (International Association for the Evaluation of Educational Achievement, IEA) Six Study Survey elnevezésű felmérését. Rendszeresen részt veszünk az ennek utódjaként elindított, a 4. és 8. évfolyamosok matematikai és természettudományos teljesítményét vizsgáló TIMSS-felmérésekben, valamint az OECD által megrendelt, 15 éveseket mérő PISA-vizsgálatokban. A nemzetközi mérések értékes adatforrást jelentenek a más oktatási rendszerekkel való összehasonlításhoz, ugyanakkor viszonylag ritkán (3–5 évenként) kerül rájuk sor, és nem céljuk az intézményi, telephelyi és tanulói szintű visszajelzés, ilyesmire alapvetően nem alkalmasak. Az EFOP-3.2.15-ös kiemelt projektben azért szerepel az Országos kompetenciamérésnek (OKM) a természettudomány mérési területtel való kiegészítése, hogy az országoson túl megteremtsük a fenntartói, iskolai és tanulói szintű rendszeres visszajelzés lehetőségét is.

Egy új mérési terület integrációjának szükséges előfeltétele, hogy rendelkezésre álljon a mérés alapvető tulajdonságairól szóló döntéseket megfogalmazó

tartalmi keret, valamint – lehetőség szerint ennek alapján – megkezdődjön a tesztfeladatok fejlesztése. Ezeknek a feltételeknek a megteremtéséről az OH egyik korábbi projektje, a TÁMOP-3.1.8 gondoskodott. 2012 és 2014 között lezajlott a természettudomány mérési terület tartalmi keretének kidolgozása. (A dokumentum a QR-kód segítségével elérhető.) Ezzel a munkával párhuzamosan megkezdődött a tesztkérdések fejlesztése is, aminek eredményeképpen 2015 őszén az OH lebonyolította az első természettudomány-próbamérést. A TÁMOP-os eredmények, azaz a tartalmi keret és a bemért feladatsorok készletei alapozták meg a jelenleg zajló fejlesztést.

Az OKM jelenleg működő rendszere úgy teszi lehetővé a mérés eredményeinek évenkénti összehasonlítását, hogy szövegértésből és matematikából egyaránt rendelkezésre áll egy tartalmában évről évre változatlan teszt, amelyet a mérésben részt vevő mintegy 280 000 6., 8. és 10. évfolyamos tanulóból kiválasztott reprezentatív minta ír meg minden évben. Ezt nevezzük CORE-tesztnek. A mérés évenkénti lebonyolításához emellett arra is szükség van, hogy a főmérést folyamatosan, frissen bemért tesztfeladatotokból tudjuk összeállítani, ezért a CORE mellett minden évben próbamérés is zajlik. Az előzményekre építve az EFOP-3.2.15-ös projektben ezt a két munkafolyamatot kell a természettudomány mérésére is kidolgozni és lebonyolítani. E folyamatokból eddig az alábbiak valósultak meg:

• Új tesztkérdések fejlesztése: 2017. szeptember és 2018. március között mintegy 900 tesztkérdés készült el.
• A TÁMOP-3.1.8 alatt bemért feladatsorokból CORE-teszt összeállítása: 2017. november és 2018. március között valósult meg.
• A próba-CORE-mérésben való részvételre felkért iskolák reprezentatív mintájának kiválasztása: 2018. március.
• Tesztfeladatok beszerkesztése és összeállítása: 2017. október és 2018. március között a TÁMOP-ból örökölt és az újonnan fejlesztett feladatokból a próba 30, illetve a CORE hatféle tesztfüzetét állítottuk össze.
• A természettudomány terület próba-CORE-mérésének lebonyolítása a reprezentatív minta 454 osztályában: 2018. május.

Az elkövetkező időszakban várható a tanulói válaszok értékelése és a statisztikai számítások elvégzése. Ezek eredményeképpen állítható majd össze a tartalmi keretnek megfelelően az először 2019 májusában lebonyolítandó természettudomány-főmérés.

A főmérés, szemben az OKM-ben megszokottal, nem lesz teljes körű. Tekintettel a lebonyolítás nehézségeire és az iskolákra nehezedő, a mérésekkel kapcsolatos terhekre a fejlesztők ezt a lehetőséget elvetették. A résztvevők körét a 2018-as próbára is kiválasztott és abban részt vevő iskolák alkotják majd, amelyek így 2020 tavaszán elsőként kaphatnak természettudományból is FIT-jelentést.

A főmérés előkészítése már megkezdődött: a kiválasztott intézmények az Országos mérések adatbekérő rendszerében a megszokott módon elvégezhetik a tanulói adatok rögzítését a természettudomány-mérésre nézve is.

A természettudomány-OKM lebonyolítása és értékelése után lehetséges a képességskála rögzítése, a képességszintek meghatározása és ezek alapján a fenntartói, intézményi, telephelyi és tanulói szintű jelentések generálása. Erre első alkalommal várhatóan 2020 második negyedévében kerül majd sor.

Egy új mérési terület országos bevezetésekor számos tényező figyelembevételére van szükség. A természettudomány bevezetésével kapcsolatos ajánlások megfogalmazásában az alábbi tényezők játszanak szerepet:

• A mérési rendszer egyik feladata a döntéshozók rendszeres tájékoztatása.
• Az egy teljes tanítási napot igénybe vevő Országos kompetenciamérés lebonyolítása számos érintett iskolában jelent szervezési terhet, emellett a tanulók gyakran egyéb mérésekben is részt vesznek.
• Az EFOP-3.2.15-ös projekt fő célja a mérési rendszer digitalizálása.
• A potenciálisan érintett intézményeknek meg kell adni a mérésben való részvétel lehetőségét.

A fentiek alapján az OH célja az, hogy a 2020/2021-es tanévben az Országos kompetenciamérés területei között már szerepeljen a természettudomány, azonban a megszokott, a szövegértést és matematikát vizsgáló modulétól az alábbiakban különböző eljárásrenddel:

• A természettudomány külön mérési alkalmat igényel, nem lehet a hagyományos méréssel azonos napon lebonyolítani.
• A mérést digitálisan kell lebonyolítani.
• A mérést reprezentatív mintán kell lebonyolítani. Annak érdekében, hogy a FIT-jelentések ábrái ilyen körülmények között is használhatóak legyenek, a mérésnek résztvevő iskolánként teljes körűnek kell lennie. Ez azt jelenti, hogy az adott intézmény mérésben érintett képzési programjában kiválasztott évfolyamon minden tanulónak meg kell írnia a tesztet, például, ha egy szakgimnáziumot választottak ki, akkor ott minden 10. évfolyamosnak.

A digitális természettudomány-feladatok előállításában az OH munkatársai 2015 óta több alkalommal szerezhettek tapasztalatot. Fontos ösztönzést jelentett a PISA 2015 – egyébként az OH alapfeladatai közé tartozó – lebonyolításában való részvétel: ez alkalommal a feladatok szokásos bírálata és adaptációja közben első kézből tapasztalhattuk meg a papíralapú dokumentumok kiiktatásával, kifejezetten a digitális médiumra fejlesztett itemek sokféleségét. Az itt szerzett gyakorlatot, ötleteket és elsősorban az inspirációt a feladatírás koordinációjával foglalkozó kollégák a 2016/2017-es tanév során a TehetségKapu interaktív feladatai elkészítésében kamatoztatták.

Ennek köszönhetően a digitális feladatsorok olyan elemei jelenhetnek meg az OH méréseinek eszköztárában, mint a

• rendezhető táblázatok és grafikonok;
• forgatható 3D objektumok;
• lefuttatható szimulációk;
• a képernyőn való olvasást természetesebbé tevő fülek és linkek.

A TehetségKapura fejlesztett 33 feladatsor a tehetsegkapu.hu oldal „Tehetségazonosítás” menüpontjában érhető el – ezek közül három feladatsor nyilvános és korlátozás nélkül végigböngészhető, további 30 használata pedig intézményi regisztrációhoz kötött.

A természettudomány-főmérés és a TehetségKapura való fejlesztés tapasztalataira alapozva az országos mérés bevezetéséhez szükséges digitális természettudomány-feladatok íratása 2019-ben kezdődik meg és 2020 márciusáig tart majd. Az ez idő alatt elkészülő, várhatóan körülbelül 600 itemet a 2020 májusára tervezett próba során mérjük be, és ugyanekkor fog megtörténni a mérés médiahatás-vizsgálata is, hogy az országos bevezetéshez már a digitális médiumra korrigált skála álljon rendelkezésre.

Kevert műveltségi területű feladatsorok fejlesztése

Az EFOP-3.2.15 projekt egy kísérleti eleme a kevert műveltségi területű feladatsorok fejlesztése. A feladatot az a sejtés hívta életre, hogy a digitális médiumon „az életből vett” helyzetekhez közelebbi tanulási helyzetek hozhatók létre. Így a projektelem során a cél 100 olyan tesztszituáció kifejlesztése, amelyben egy adott szöveghez (amely a megszokott módon tartalmazhat nem szöveges tartalmi elemeket, grafikont, táblázatot, követhető linket vagy médiaobjektumokat is) több műveltségi terület tesztkérdései, azaz a szövegértést, a természettudományos műveltséget és a matematikai eszköztudást egyaránt mérő feladatok is tartoznak.

A fejlesztés megfelelő ütemben halad, 2019 első negyedévére elkészül a körülbelül 1000 item. A kísérlet elsődleges célja az volt, hogy megvizsgáljuk, hogyan lehetséges egy valós tanulási helyzeteket jobban modellező teszttípus kifejlesztése. Az új feladatsorok bemérése fokozatosan zajlik majd, 2019 tavaszán egy kismintán, 900 tanuló részvételével vizsgáljuk meg az új eszközök működőképességét. A feladatsorok a további haladás irányaitól függően esetleges alapját képezhetik az OKM jövőbeni, digitális médiumra való költöztetésének, hozzájárulhatnak a komplex természettudomány mérésének további fejlődéséhez, vagy online fejlesztőfeladat-bank építhető az alkalmazásukkal.

Egységes módszertan és indikátorok a médiaműveltség mérésére

A köznevelésben hagyományosan médiaértésnek vagy médiaműveltségnek nevezett terület mérésével kapcsolatos megrendelői igény több helyről jelentkezett (DGYS, DOS, NMHH), ennek eredményeképpen jelent meg projektünk elemei között ez a feladat.

A médiaműveltség tervezett mérésének céljai sokrétűek. Helyzetképet kell adnia a 13–17 éves tanulók

• digitális technológiai jártasságáról;
• a médiaműveltséggel kapcsolatos kognitív teljesítményéről;
• az online társas térben mutatott viselkedési mintázatainak eloszlásáról, különös tekintettel ennek szociális és etikai dimenziójára, valamint a mentális egészséggel kapcsolatos kockázatok és az azokkal való megküzdési stratégiák fajtáira és gyakoriságára.

A mérésnek a fenti eredményeket, adatokat – hasonlóan a nagy tanulói teljesítménymérésekhez (OKM, PISA) – a részt vevő tanulók munkaerőpiaci és felsőoktatásbeli sikerességével kapcsolatos esélyek keretében kell tudnia értelmeznie.

Emellett helyzetképet kell adnia a magyarországi médiaoktatás állapotáról, és adatokkal kell támogatnia az oktatásügy érdekelt szereplőit a döntéshozói szinttől a pedagógusokig abban, hogy stratégiát alkothassanak a nem papíralapú médiumok köznevelési rendszerbe való integrációjáról.

A mérési terület tartalmi keretének és lebonyolítási tervének fejlesztése 2017 ősze óta folyik, a munka elé számos dilemma állít kihívásokat. A feladatsorok és tesztszituációk fejlesztése 2018 nyarán kezdődhetett meg.

Tesztszerkesztő és -összeállító szoftver

A számos új digitális mérési terület és mérési alkalom jobb kezelhetősége érdekében az OH a már rendelkezésére álló eszközök továbbfejlesztése mellett döntött. Az online feladatsorok kiajánlásában és a mérések lebonyolításában sikeresnek bizonyuló TehetségKapu–MaTalent honlap megfelelő modulját fejlesztjük tovább az országos mérések számára.

Amellett, hogy a szoftver az OH által üzemeltetett és fejlesztett országos mérési rendszer lebonyolítására szolgál majd, azt is lehetővé fogja tenni, hogy a hozzáféréssel rendelkezők szoftverfejlesztői segítség nélkül tudjanak olyan online feladatsorokat létrehozni, amelyek megfelelnek a kompetenciamérések által támasztott igényeknek. Emellett – a TehetségKapun már ismert módon – lehetséges lesz az intézményi fiókok regisztrációja, így az országos mérések online feladatbankjával kapcsolatos régi adósságunkat is törleszteni tudjuk.