Dr. Csapó Benő

A pedagógiai értékelés fejlesztésének új útjai – a formatív és az online tesztelés

Az oktatási rendszer működésének javításához egyre több és egyre részletesebb adatra van szükség, ezért a mérés-értékelés a neveléstudomány legintenzívebben fejlődő területei közé tartozik. Az elmúlt évtizedben a nagy nemzetközi vizsgálatok érték el a leglátványosabb eredményeket, amelyek jelentős fejlődést hoztak az adatgyűjtés, adatelemzés terén is. Számos országban meghonosodott a rendszeres, reprezentatív mintákon alapuló vagy teljes körű adatgyűjtés, elkezdődött a teszt-alapú elszámoltathatóság rendszereinek kiépítése. A fejlődés következő lépését a nagymintás mérések során elért metodikai eredmények szélesebb körű alkalmazása, alapvető megújítása, új, technológiai alapokra helyezése és az értékelésnek a tanítási-tanulásai folyamatokba való szorosabb integrálása lehet.

A fejődési trendek illusztrálásaként a következőkben először röviden áttekintem az értékelés fontosabb területeit, ezek hasonló és különböző vonásait, kapcsolódási pontjait. Ezt követően két olyan fejlesztési irányt fogok részletesebben bemutatni, amely világszerte a kutatók érdeklődésének középpontjában áll. Bemutatom a formatív és a diagnosztikus értékelést, majd technológiai alapú értékelés elterjesztésére irányuló nemzetközi programokat. Végül összefoglalom, miképpen kapcsolódnak ezek össze egyik legnagyobb saját kutatási programunkban.

Részletesebben lényegében három nagy projektről szeretnék beszámolni. Két olyan nemzetközi projektről, amelynek a munkájában, irányításában személyesen is részt veszek, és amelyek eredményeit, tapasztalatait Magyarországon is hasznosítjuk. Az egyik a PISA felméréseinek a számítógépes adatfelvételre való áttérése, amely e mérés-sorozat történetének egyik legjelentősebb innovációja lesz. A másik nemzetközi projekt a 21. századi készségek azonosítására, és ezek technológiai alapú mérésének támogatására irányul. A harmadik a saját kutatási programunk[1], ebben az évben indult. Ennek során az online diagnosztikus mérések elméleti kereteinek kidolgozására és a gyakorlati megvalósítás feltételeinek megteremtésére vállalkozunk.

A pedagógiai értékelés fejlesztésének fő területei

A pedagógiai értékelés legáltalánosabb vonása, hogy visszajelzést nyújt a pedagógiai folyamat valamely szakaszának eredményeiről. Típusait sokféle módon lehet csoportosítani. Például, ha egy skálán kifejezhető számszerű adatokat szolgáltat, akkor mérésekről beszélhetünk. A következőkben a csak ilyen, kvantitatív értékelési folyamatokkal foglalkozom. Ezek közül is három gyorsan fejlődő, nagyobb területet fogok röviden jellemezni.

Minősítés, vizsgák, vizsgarendszerek

Az egyik legfontosabb terület a vizsgarendszerek, minősítési rendszerek fejlesztése. A legtöbb fejlett országnak van egy, vagy akár több vizsgarendszere is. Például sok európai országban van olyan vizsga, amelyik lezárja a középfokú tanulmányokat és átmenetet képez a középfok és a felsőfok között. Nálunk ez az immár közel 160 éves érettségi. Németországban, ahonnan osztrák közvetítéssel a mi érettségi vizsgánk is származik, ugyancsak van egy hasonló funkciójú vizsga az Abitur. Ugyanígy nevezik a finn középfokot lezáró vizsgarendszert is. Más filozófiájú vizsgarendszer működik Amerikában, amely nem a középfokú tanulmányokat zárja le, így csak azok vállalkoznak rá, akik felsőfokon kívánnak továbbtanulni. Ez a vizsga a Scholastic Aptitude Test, a SAT, lényegében az általános értelmesség vizsgálata, mivel nagyon kevés tárgyi tudást igényel.

A vizsgarendszerek mai formája hosszú idő alatt alakult ki, így formájukat, tartalmukat a hagyományok néha erősebben befolyásolják, mint az aktuális funkcióiknak való megfelelés. Változásaikat befolyásolhatják a politikai erőviszonyok, és sokféle társadalmi tényező is. Mivel egyre nagyobb jelentősége van annak, hogy jól működjenek, ahol a tudományos szempontok nagyobb szerepet kapnak, ott komoly fejlődésen mentek keresztül ezek a vizsgarendszerek. A magyar és az amerikai vizsgarendszer ebből a szempontból különböző fejlődési utat járt be. Az amerikai SAT az a szűrő, amelyik bebocsátja a sokféle középiskolából kikerülő hallgatókat a különböző sokféle színvonalú amerikai egyetemekre, és ebben a tekintetben kiváló szűrőként működik. Ha megpróbáljuk azt a csodát megérteni, hogy Amerikában egy legfeljebb közepes színvonalú közoktatása egy kitűnő minőségű felsőoktatás épül, akkor ennek az egyik tényezője ez a felvételi szelekció lehet. A SAT (gyakran más felvételi eljárásokkal kombinálva) biztosítja, hogy a legkiválóbb egyetemekre a legkiválóbb hallgatók jutnak be. Ez a tesztrendszer attól működik jól, hogy immár több, mint egy évszázadra visszamenően a legkorszerűbb eljárásokkal elemzik a tesztek előrejelző erejét. Megfelelő nagyságú mintán évről évre megvizsgálják azt, hogy bizonyos jellegű feladatok milyen módon jelzik előre a diákok beválását, sikeres haladását az egyetemeken. Így egy olyan technológia, fejlesztési kultúra alakult ki, aminek a révén évről évre finomítják, csiszolják ezt a vizsgarendszert.

A mi érettségi rendszerünk működése, fejlesztése a maga két szintjével, száznál több vizsgatárgyával nagyon távol van ettől a fejlett szelekciós technológiától. Például nem világos, milyen távol van egymástól a két szint, mi közöttük a tartalmi különbség, mit mérnek a feladatok a felsőoktatásbeli beválás szempontjából. A SAT esetében annak a kijelentésnek, hogy ebben az évben nehezek, vagy könnyűek voltak a feladatok, nincs értelme, mert bármelyik évben vizsgáznak a hallgatók, a tesztek mindig ugyanazt a tudást mérik százalékos pontossággal. Egy ilyen fejlesztési kultúra megteremtésének egyébként nálunk is megvannak a feltételei, hiszen itt Magyarország is részt vesz a PISA és a TIMSS felmérésekben, és egyes kutatási programokban is megjelenik ez a mérési kultúra. Ezek a nemzetközi projektek lehetővé teszik, hogy százalékos pontossággal összehasonlítsuk egymástól három-négy év különbséggel felvett tesztek eredményeit. Ugyanakkor az érettségi vizsgán a pontosság legfeljebb húsz-harminc százalékos lehet. De ez is csak egy nagyon átfogó becslés, mert nincsenek erre vonatkozó alapos elemzések. Az érettségi vizsga előrejelző erejének elemzése egyes természettudományi tárgyakban csak a legutóbbi időben kezdődött el, és ezek eredményei rámutattak az érettségi súlyos fogyatékosságaira (ld. pl. Radnóti, 2009).

Rendszerszintű mérések, monitor vizsgálatok, elszámoltathatósági rendszerek

Az értékelés fejlesztések másik nagy iránya a közoktatási rendszer egésze és egyes intézmények jellemzésére vállalkozik. Míg az előzőekben jellemzett vizsgáknak a személyekre, az egyes egyénekre nézve van súlyos következménye, addig ezeknek a rendszer, illetve intézmény monitor felméréseknek az intézményekre van jelentős hatásuk. Egyes országokban az eredményeknek az intézményekre vonatkozóan akár az iskolák bezárásáig vezető következménye is lehet. Amerikában például olyan az intézményeket akár be is csukhatják, ha tartósan képtelenek a mérések által kimutatott gyenge eredményeket javítani. Ennek a fajta rendszermonitornak a lehetőségei azonban korlátozottak.

Kezdetben igen jelentős fejlesztő hatása lehet annak, ha egy ország visszajelzést kap arról, hogy milyen a tanulók teljesítménye más országokhoz viszonyítva. Az oktatáspolitika számára is fontos ez az információ, amit a problémák kiküszöbölésére irányuló beavatkozások követhetnek. Hasonlóképpen az intézmények számára is nagyon fontos visszajelzés lehet az, hogy az adott intézmény tanulói hogy teljesítenek más intézményekhez viszonyítva, különösen akkor, ha az elemzésbe egyéb információkat is bevonva részletes útmutatást kapnak arra vonatkozóan, hogy milyen lehetőségeik kínálkoznak a teljesítmények javítására. Az ebből származó fejlesztési lehetőségek azonban egy idő után kimerülnek. Amerika több államban évtizedek óta működnek ilyen rendszerek. Azonban mára már kiderült, hogy ha pusztán csak azáltal kívánják a teljesítményt javítani, hogy az egyes intézményekre nagyobb nyomást gyakorolnak, akkor attól még az intézmények nem lesznek hatékonyabbak.

Ha a tanárok már mindent megtettek, amire aktuális tudásuk alapján képesek, szankciókkal vagy ösztönzőkkel nem lehet az eredményeken tovább javítani. Ilyenkor jelennek meg a különböző elkerülő stratégiák: a tesztmegoldás készségeinek fejlesztése, a tesztekre tanítás, a várható feladattípusok begyakorlása, a nem mért tartalmak, területek háttérbe szorulása. Sok egyéb látszatmegoldás javíthatja még a teszteken elért pontszámokat a tudás érdemi javulása nélkül. Ezt a jelenséget úgy hívják, hogy tesztpontszám infláció.

Azok az országok, régiók (Amerikában egyes államok), amelyek pusztán az elszámoltathatósági rendszerek bevezetése révén kívánták a teljesítményt fokozni, néhány év után elértek egy platót. Nyilvánvalóvá vált, hogy a fejlesztést további területekre is ki kell terjeszteni, és így egyre nagyobb figyelmet kap a formatív értékelés. A visszacsatolási folyamatok mind közelebb kerülnek a tanítási-tanulási folyamatokhoz, a rendszer szint és az intézményi szint után a hangsúly átkerül az osztályteremben folyó munkára, a tanulói szintre. Az értékelés mindinkább az egyes diákok konkrét tanulási folyamatait, egyéni fejlődését segíti.

Érdemes megjegyezni, hogy az elszámoltathatósági rendszerek is, és a tanulók egyéni fejlődésének segítése is szükségessé teszik az egymást követő mérések eredményeinek összekapcsolását, a longitudinális (követéses) adatfelvételt. A longitudinális adatfelvételre építve lehet a legjobb elszámoltathatósági modelleket kialakítani, ezek ugyanis akkor működnek jól, ha az iskolákban mért aktuális teljesítményeket az előző mérés eredményeihez lehet viszonyítani. Így megbízhatóan ki lehet számítani az iskolai hozzáadott értéket, mert ki lehet szúrni a mesterségesen, például a tesztre tanítással növelt tesztpontszámok, a tesztpont-infláció hatását.

A diagnosztikus értékelés során is az az egyik legfontosabb szempont, hogy a gyerekek fejlődését követni tudjuk, a bekövetkezett változásokat mérhetővé tegyük, tehát itt is megjelenik a longitudinális vizsgálat igénye. Szegeden 2003-ban indítottunk el egy longitudinális vizsgálatsorozatot. A gyerekeket első évfolyamtól kezdve követjük folyamatosan. Minden évben két-három teszttel felmérjük a tudásukat, és így a változás ütemét, és a fejlődést meghatározó tényezőket tudjuk elemezni (Csapó, 2006, 2007).

A formatív értékelés

A formatív értékelés egyik legfőbb jellemzője, hogy beágyazódik a tanítási-tanulási folyamatokba. Az összegző, lezáró, szummatív értékeléstől elsősorban abban különbözik, hogy a tanulás közvetlen segítésére, a fejlődés előmozdítására irányul. Feltérképezi, mit tud a tanuló, és mit nem, mit kell megtanulnia, hogy az aktuális helyzetéből tovább léphessen. Akkor lehet hatékony, ha konkrét tudáselemekre koncentrál, ha gyakori, ha nem hagyja a problémákat felhalmozódni. Ebből következően a formatív értékelés sokkal kifinomultabb, kidolgozottabb eszközrendszert igényel, mint amilyen az évente egyszer, vagy három-négyévente egyszer lebonyolított vizsgálatokhoz.

Érdemes megjegyezni, hogy a tesztekkel végzett formatív értékelésnek megvannak az előzményei a szóbeli értékelés terén is. Szükségességét jelzi, hogy az oktatási rendszerben évszázadokkal korábban kialakult. Lényegében az ősi szókratészi módszer, a tanulókhoz intézett célirányos kérdések, majd az azokra adott válaszok segítő értékelése is ezt a filozófiát követi.

Az oktatás modernizációjának több irányzata is él azzal a lehetőséggel, hogy beépíti a formatív értékelést a tanulási folyamatba. A modern tankönyvekben is megjelentek a tanulást segítő, a gondolkodást inspiráló, a megértést elmélyítő kérdések. Ezek többnyire önellenőrző formát öltenek, hiszen maga a tanuló azonnal tapasztalja, tud-e rájuk válaszolni, vagy bizonyos részeket újra kell tanulnia, valaminek még utána kell nézni, valamit még át kell gondolni. A kérdések, és az azokra adott válaszok értékelése fontos szerepet játszik a programozott oktatásban: ezek jelentik az elágazást, a válaszoktól függ, milyen irányba léphet tovább a tanuló. Az e-learning, a technológia alapú tanulás is gazdag értékelő eszközrendszert alkalmaz.

A mérések közvetlen oktatást segítő funkcióját erősíti fel a Nagy József és munkacsoportja által kidolgozott DIFER tesztcsomag (Nagy, Józsa, Vidákovich és Fazekasné, 2004), és a mérésekkel végzett fejlesztés (Nagy, 2009).

A formatív értékelésnek tehát gazdag hagyományai vannak. Ugyanakkor tejesen kidolgozott formájában egy olyan tesztrendszert igényel, amely a teljes tananyagot lefedi, és minden lényeges tudáselemet mérhetővé tesz. A formatív értékelést éppen ezért a maga teljesen kidolgozott formájában szinte megvalósíthatatlan. Azon túl, hogy sokba kerül a papír alapú tesztek kidolgozása, kinyomtatása, bonyolult a mérések szervezése, nagyon sok tanári munkát igényel a tesztek pontozása, és a részletes, érdemi segítséget nyújtó visszajelzés, értékelés. A formatív értékelés alapelveinek megvalósítására újabb lehetőséget kínálnak a tanórákon alkalmazható különböző visszajelző eszközök. A technológiai lehetőségek kibővülése újabb lendületet ad egy hasonló értékelési koncepció, a diagnosztikus értékelés következetes kidolgozásának és elterjesztésének is.

A diagnosztikus értékelés

A diagnosztikus értékelés újraértelmezéséről ma nagyon sok vita folyik nemzetközi szakmai közösségekben is. Sokan a formatív értékelésnek egyik változatának tekintik, mások egy új, a formatív értékeléstől különböző, azon túlmutató értékelési koncepciónak. Fontos különbség lehet, hogy míg a formatív értékelés az aktuális tananyaghoz kötődik, a diagnosztikus értékelés távolabbra tekint, és egész fejlődési folyamatokat kíván segíteni. Ebből következően akkor lehet hatékony, ha kidolgozott tanuláselméletekre, kognitív elméletekre épül. Tehát nem csak arra koncentrál, hogy a gyerekek sikeresebben haladjanak a tankkönyvek megtanulásában, és nem csupán a „megtanulta – nem tanulta meg” kategóriákkal dolgozik. Nem csak az a célja, hogy a tanulót átsegítse az aktuális tanulási helyzetben jelentkező problémákon, hanem egy kognitív fejlődéselmélet alapján végigkíséri egy hosszabb folyamaton.

A diagnosztikus értékelés megvalósításához szükség van egy olyan fejlődési koncepcióra, egy adott készség vagy képesség fejlődésének olyan leírására, amely előre jelzi, hogy mit kell most tudni ahhoz, hogy később sikeres legyen a tanulás, Mely készségek, képességek alapoznak meg további készségeket, képességeket, hogyan épülnek egymásra a fogalmak. Így lehet előre jelezni, hogy bizonyos feltárt hiányosságok majd később esetleg a további fejlődés akadályai lehetnek.

A diagnosztikus értékelés előretekintő, a jövőbeni tanulást segíti. Többnyire problémaorientált, nem elkönyveli, „leigazolja”, minősíti a már megszerzett tudást, hanem azt vizsgálja, hogy mi okozhat majd gondot a későbbiekben. Néha a diagnosztikus tesztek fölkínálják a tanulónak a rossz megoldásokat, és hagyják, hogy arra „lecsapjanak”, mert így kiderül, hogy az adott tudás még bizonytalan. Az ilyen tesztek diagnosztizálják a fejlődési problémákat, például vizsgálhatják azt, túljutattak-e már a diákok bizonyos tévképzeteken (Korom, 2005).

A diagnosztikus tesztek néha az előzetes tudást, a sikeres tanulás előfeltételeit vizsgálják. Az előfeltétel tudás nem is mindig arról a területről, abból a tantárgyból származik, amelyben a teszt megoldására sor kerül. Lehet például, hogy kémiában az oldatokkal kapcsolatos feladatokat a gyerekek azért nem tudják megoldani, mert annak matematika órákon elbliccelték a százalékszámítást. A diagnosztikus értékelés sok tekintetben átlépi az értékelés hagyományos határait, kibővíti módszereit. Miként a formatív értékelésnél általában, itt is fontos a gyors visszajelzés, és nem lehet az eredménynek sorsdöntő adminisztratív következménye. Fontos, hogy a gyerekek őszintén megmutathassák hiányosságaikat, tanulási nehézségeiket. A gyerekeknek bízniuk kell a rendszerben, ugyanolyan együttműködőnek kell lenniük, mint annak a páciensnek, elmondja az orvosnak, hogy mi, hol fáj. Tehát egy egészem másfajta kontextust, viszonyrendszert kell kialakítani, mint az egyéni vagy intézményi kockázatot jelentő vizsgarendszerek, elszámoltathatósági rendszerek esetében.

Ugyanakkor a diagnosztikus értékelés is rendkívül időigényes. Ebben az esetben is sok mérőeszközre van szükség, mindent a maga konkrétságában kell megvizsgálni. Ezért azzal a papíralapú technológiával, melynek során a gyerekeknek megkapják a teszteket, ezeket valaki összegyűjti, kijavítja, az eredményeket kellő részletességű értékelő információval visszajuttatja az érintetteknek, néhány kísérleti programon túl következetesen sehol nem valósult meg. Egy további problémát jelent, hogy ha a tanulók különböző fejlettségi szinten vannak, akkor egy adott időpontban más-más teszteket kell megoldaniuk.

Lehet azonban a mai technológiákkal olyan diagnosztikus rendszereket működtetni, amelyek évente kettő-négy alkalomra szűkítik le a diagnosztikus visszajelzést. Ilyen módon működik a DIFER, és feladatrendszer is. A gyerekek rendszeres időközönként megoldják a fejlődésüket felmérő feladatokat, és azok eredményeiből a pedagógusok következtetnek arra, hogy milyen fejlesztő beavatkozás szükséges.

Mivel a diagnosztikus értékelés számára is korlátot jelent a papír alapú tesztelés, ebben az esetben is megoldást kínál az információtechnológiai eszközök alkalmazása. A megvalósításhoz azonban ebben az esetben is hatalmas fejlesztő munkára van szükség.

A technológia alapú értékelés perspektívái

A hagyományos, papír-ceruza alapú tesztelés alternatívája a technológia alapú értékelés. Ez a kifejezés a legátfogóbb kategória, minden technológiával támogatott mérést magában foglal, így tágabb, mint a számítógépes tesztelés. A tanórai visszajelző eszközök, a mobil technológia, az internetes kommunikáció, a mobiltelefonos kommunikáció és minden egyéb beletartozhat ebbe a kategóriába. A technológia olyan gyorsan fejlődik, hogy szinte nem is lehet az összes megoldást számításba venni. Ha csupán számítógépes tesztelésről beszélnénk, az ma már beszűkítené a látókörünket. Ugyanakkor az is igaz, hogy néhány évig még a közismert asztali számítógép, a notebook, vagy valami nagyon hasonló hordozható számítógép lesz ennek a fajta tesztelésnek a fő eszköze. Mindehhez ma már többnyire hozzátartozik a számítógépek összekapcsolásának lehetősége, a vezetékes vagy vezeték nélküli hálózat és az Internet is.

A technológia-alapú tesztelés újszerű lehetőségei és fejlesztési feladatai

Az információs-kommunikációs technológiák alkalmazása rohamosan terjed az oktatás minden területén. E folyamat részeként megjelentek a számítógépes tesztek is. Bár nagyon sokat olvashatunk a mérés végtelen sokféle lehetőségéről, a szimulációtól a multimédia alkalmazásáig, a szélesebb körben használt technológia alapú tesztek többnyire nagyon egyszerűek, alig néhány feladattípus alkalmazására képesek.

A technológia alapú tesztelés mellett elhangzó egyik leggyakoribb érv az, hogy az a papír alapú tesztelésnél sokkal olcsóbb. Ez alapvetően igaz, hiszen ki lehet küszöbölni a nyomdai munkát, a logisztikát, kiszállítást, visszagyűjtést, adatrögzítést. Automatizálni lehet az adatelemzést, és az eredmények visszajuttatását, a visszajelzést. A nyers adatok gyakorlatilag abban a pillanatban rendelkezésre állhatnak az értékelési központban, ahogy tesztelt tanulók leütöttél az utolsó billentyűt.

Emellett további előny, hogy a információs technológiákkal rengeteg metainformációt, a tesztelés kontextusára és a tesztelt egyénre vonatkozó további információt lehet begyűjteni. Ezeket az információkat a tesztfejlesztés fázisában elemezve sokat lehet javítani magukon a tesztfeladatokon is. Például lehet rögzíteni a billentyűk leütése között eltelt időt, az egér mozgatásának biztonságát, a próbálkozások, javítások számát. A szemmozgást követő technológiákkal elemezni lehet, hogy a képernyő mely pontján levő információkat milyen sorrendben tanulmányozza, mennyi ideig tart a szöveg elolvasása, egyes adatok felfogása. Lehet vizsgálni a gyerekek érzelmeit, fáradtságát is. Szóval fantasztikus lehetőségek vannak, ezek realizálásához azonban nagyon sok fejlesztő munkára van szükség.

A lehetőségek tehát valóban vonzóak, azonban azok rutinszerű kihasználásához még nagyon sokféle problémát meg kell oldani. Ma még nincsenek a közoktatásban, a tanítás mindennapjaiban rutinszerűen alkalmazható, sokféle feladattípus kezelésére képes mérőrendszerek. Emellett ki kell dolgozni az új mérőeszközöket, ki kell próbálni, be kell mérni feladatok ezreit.

Ma még nagyon különböző az iskolák informatikai felszereltsége, Ahhoz, hogy minden iskolába, minden osztályterembe, be lehessen vinni a számítógépes teszteket, fejleszteni kell az infrastruktúrát. Igen nagy különbségek vannak a gyerekek informatikai műveltsége, számítógép-kezelési készségei között. Még nagyobb a különbség a pedagógusok informatikai fölkészültsége, számítógéphez való viszonya között.

Van még egy további probléma: nem tudjuk, hogy pontosan mit mérnek ezek az újszerű tesztek. Komoly érvényességi, validitási problémák merülnek fel, amelyeket gondos kutató-fejlesztő munkával lehet tisztázni. Meg kell vizsgálni, hogy az így felmért tudás és a készségek hogyan transzferálhatók a reális valóságba, a hétköznapi életbe. Nem biztos ugyanis, hogy ha a gyerekek jól eligazodik a virtuális világban, kezelik a számítógépet, megoldják a teszteket, az egyben garantálja, hogy ezt a tudást másutt is alkalmazni tudják. Sokféle vizsgálatot el kell végezni, hogy ezeket a kérdéseket tisztázzuk, és megmutassuk, mit mérnek a számítógépes tesztek (Csapó, Molnár és R. Tóth, 2009).

A technológia alapú tesztelés alkalmazásának fő formái

A technológiai alapú tesztelésnek van néhány alapvető formája, mindegyik megoldást jelent bizonyos értékelési feladatokra, azonban ma még ezek egyike sem alkalmas maradéktalanul a szélesebb körű iskolai alkalmazásra, illetve minden értékelési funkció ellátására. Az alapvető kérdés az, hogy hogyan jutnak el a tesztfeladatok a felmérendő tanulókhoz? Hogy kerül a gyerek kapcsolatba a feladatokkal? Ma erre a kérdésre még nincs egyértelmű válasz, és ez sok országban beszűkíti az alkalmazás lehetőségét. Van néhány lehetőség, amely közül választhatunk, és a következő évek technológiai fejlődése dönti el, melyik lesz a megoldás (Csapó, Molnár és R. Tóth, 2008).

A legegyszerűbb megoldás az, amikor valahol vannak rögzített számítógépek, ezeken van telepítve a teszt, ezeken fut a tesztprogram. A tesztelt személy megoldja a feladatokat, a számítógép rögzíti a válaszokat, esetleg automatikusan kiértékeli a megoldásokat. Erről a gépről azután a vizsgáztató lekéri az eredményeket. Nagyjából így működik a KRESZ vizsgateszt Magyarországon. Ilyen célra be lehet rendezni speciális teszt-termeket, a gépeket akár egy helyi hálózatba lehet szervezni, ahol gondoskodni kell a feladatok biztonságos őrzéséről. Ennek a megoldásnak vannak előnyei, az említett célra alkalmas, de ha a teszteket egyszerre több ezer tanulónak kell megoldania, és az eredményekből átfogó statisztikákat kell készíteni, már szükség lesz a hálózat használatára.

Egy másik megoldás, amelyet ugyancsak széles körben alkalmaznak, az a különböző adathordozókon történő feladatkiszállítás. Így történt például a PISA keretében az elektronikus szövegek olvasásának felmérés 2009-ben. CD-kről, DVD-kről, vagy pedig pendrive-okról és más hordozókról lehet a teszt-programokat a gépre tölteni, és ugyanilyen hordozókra az eredményeket felírni. Az említett PISA felmérésben a számítógépek ezekről a hordozókról indultak el (bootoltak), így biztosítani lehetett, hogy minden gyerek pontosan azonos számítógépes környezetben oldja meg a feladatot. A pendrive-okat azután összegyűjtik, eljuttatják az értékelő központba, onnan leszedik róluk az adatokat, és kezdődhet az összesítés, majd elemzés. Itt is megjelenik a postázás, kiküldés, installáció, begyűjtés feladata, tehát nem sokkal vagyunk előbbre a papír alapú tesztelésnél. Kicsi persze jobb a helyzet, mert legalább az adatrögzítést meg lehet úszni, de itt még mindig túl bonyolult az adatfelvétel folyamata.

Az optimális megoldás, az Internet alapú online tesztelés. Ilyenkor egy központi szerveren fut a program, ahova bejelentkeznek a tesztelt személyek. Ebben az esetben is vannak azonban a szűk keresztmetszetek. Ha például sok tanuló egyszerre oldja meg a feladatot, azt csak komoly szerver kapacitással lehet kiszolgálni. Még nagyobb bizonytalansági tényező az Internet hozzáférés, illetve a sávszélesség. Ha egyes helyeken lassú a net, az hátráltatja a feladatmegoldást, és egyenlőtlen feltételeket teremt a tesztmegoldóknak. Amennyiben a tesztelésnek komoly tétje van, további gondot jelent az adatbiztonság megoldása.

Természetesen technikailag a feladat nem lehetetlen, a Luxemburgi Egyetem munkatársai már megoldották. Luxemburg egyszerűen átugrotta a papíralapú rendszer-monitoring fázist, és rögtön a technológiai alapú értékeléssel kezdte a teljes körű tudásszint-méréseket. Luxemburgban egy évfolyamon körülbelül 5000 gyerek van (nagyjából húszszor kevesebb, mint Magyarországon). Egy olyan szerver-farmot építettek fel, amelyik ezt az 5000 gyereket egyszerre, szinkronizált üzemmódban ki tudja szolgálni. Megoldható, az időméréses feladatmegoldás is, ekkor ugyanabban a másodpercben kapja minden gyerek a feladatokat, maga a központi szerver lapoz, leveszi a képernyőről a feladatot, ha lejárt az idő, és kiadja a következőt. Ez a legnagyobb kapacitás-redundanciát igénylő számítógépes megoldás, de 5000 gyerekre már bizonyítottan működik. Ehhez természetesen kell egy bizonyos, folyamatosan rendelkezésre álló sávszélesség is.

Ahogy korábban említettem, számítógépes tesztekhez igen változatos feladatokat lehet készíteni, például lehet multimédiát, hangot, videót alkalmazni stimulusként. Egy nyelvi tesztbe be lehet iktatni eredeti, anyanyelvi beszélőktől származó hangfelvételeket, amelyekhez feladatok kapcsolódnak, vagy a tesztelt személynek részt vehetnek párbeszédben. Ha azonban ezt a sok információt azonos időben több ezer tesztelt személyhez kellene eljuttatni, ahhoz olyan sávszélességre lenne szükség, amelyet ma nem lehet gazdaságosan kiépíteni. Itt tehát megint egy olyan helyzettel találkozunk, amikor a technikai lehetőség és annak oktatási gyakorlatban való alkalmazása között mély szakadék van.

A technika gyors fejlődése biztosan hoz megoldást ezekre a problémákra. Most azonban az a kutatók feladata, hogy a jelenleg rendelkezésre álló eszközökkel oldják meg a közoktatásban jelentkező feladatokat. Szerencsére a diagnosztikus értékelés technikai követelményeit ma könnyebb kielégíteni, mint megteremteni a szummatív tesztelés feltételeit megteremteni. Ugyanis a szummatív teszteket biztonsági és egyéb okokból mindenkinek egyszerre kell megoldani, és akár néhány másodperces késés is hátrányos helyzetbe hozhat egyes vizsgázókat. Ezzel szemben a diagnosztikus teszteket különböző időpontban megoldhatják a tanulók, és annak sincs végzetes következménye, ha rövidebb időre lelassul az Internet.

A diagnosztikus tesztek éppen az egyéni fejlődést, a különböző ütemben való haladást segíthetik. Ezt akár kevesebb számítógéppel is meg lehet oldani. A tanulók időnként odaülnek a gépekhez, megoldják a számukra kijelölt feladatokat, az értékelő központban automatikusan megtörténik a kiértékelés. Ezután a tanuló vagy a tanár kap egy személyre szóló visszajelzést, esetleg egy rövid útmutatást is arról, miképpen lehet a felismert hiányosságokat pótolni, melyen személyes fejlesztésre lesz szükség.

A technológia alapú értékelés elterjesztését segítő nemzetközi projektek

A technológia alapú értékelés távlati lehetőségei rendkívül vonzóak, ezért világszerte jelentős kutatási források állnak rendelkezésre a korábban elemzett problémák megoldására, a leghatékonyabb megoldások kidolgozására. Átfogó nemzetközi kutatási programok indultak annak érdekében, hogy ezeket a rendszereket továbbfejlesszék.

Az Európai Unió koordináló szerepet játszik kutatásban és fejlesztésben. Egy konferenciasorozatot indított el a kérdés vizsgálatára, ezekre a találkozókra a világ minden részéről meghívták a technológia alapú értékeléssel foglalkozó kutatókat. A tanácskozás eredményei összefoglaló kötetek formájában jelentek meg (Scheuermann és Pereira, 2008; Scheuermann és Björnsson, 2009).

Az OECD PISA felmérések irányítói is igen aktív szerepet játszanak ezen a területen. Azonban a PISA vizsgálatokban résztvevő országok egy része erre még felkészületlen. A PISA keretében az első technológia alapú felmérésre 2006-ban került sor. Az PISA felmérésben részt vevő 57 országból mindössze három vállalta, hogy a computer alapú természettudomány tesztelésben (Computer-Based Assessment of Science – CBAS) részt vegyen (OECD, 2009).

A legutóbbi, 2009-es felmérésnek a szövegértés, az olvasáskultúra volt a fő területe. Az innovatív komponens pedig az elektronikus szövegek olvasásának mérésére (Electronic Reading Assessment -- ERA). A mérés tartalma hasonló volt ahhoz, ahogy a szövegeket a képernyőről olvassuk. Ezt a lehetőséggel már többen kihasználták, 21 ország vett részt a felmérésben. A 2012-es mérési ciklus előkészítése nemrégiben kezdődött el. Az már eldőlt, hogy az általános problémamegoldás lesz az innovatív terület. A tesztelés konkrét formáját azonban egy szakértő csoport csak ezután fogja kidolgozni. A legvalószínűbb változat a dinamikus problémamegoldás. Ebben az esetben a tanulóknak egy szimulált, dinamikusan változó rendszerben kell eligazodniuk, ki kell ismerniük a rendszer viselkedését, majd e tudás birtokában kell bizonyos célállapotokat elérni. Remélhetőleg 2012-ben már sokkal több ország vesz részt ebben a mérésben. Azért is fontos, hogy sok ország bekapcsolódjon, mert ez lehet a 2015-re tervezett technológiai alapra való teljes áttérés „főpróbája”.

Egy másik nemzetközi projektet három információtechnológiai cég, a Cisco, az Intel és Microsoft kezdeményezett. Ezek a vállalatok saját munkájuk során megtapasztalták, hogy a fejlődés legfőbb forrása a tudás, és óriási összegeket invesztálnak az új tudás létrehozásába, a kutatásba. Minimális anyagból viszonylag kevés energiával, és rendkívül nagy kutatási hozzáadott értékkel állítják elő termékeiket. Ezen a területen minden gazdagság a forrása a fejlesztőik, a mérnökök tudása, amit a hatékony vezetés kapcsol be egy produktív szervezetbe.

Ezek a vállalatok óriási összegeket fordítanak az oktatás támogatására, nagyrészt úgy, hogy számítógépekkel és szoftverrel látják el az iskolákat. A cégek vezetői egy idő után meglepve tapasztalták, hogy az így nyújtott támogatás alig hasznosul: az iskolákban nem jelennek meg az eszközöket hatékonyan alkalmazó tanítási tanulási módszerek. Ennek egyik okát abban látták, hogy az oktatási rendszer fejlesztését, benne az információtechnológiai eszközök alkalmazását nem támogatja olyan intenzív kutatómunka, mint amit a saját területükön tapasztalnak. Módosították fejlesztési stratégiájukat, és az oktatás javításával kapcsolatos erőfeszítéseiknek új irány jelöltek ki, az információtechnológia iskolai alkalmazásának kutatását. A múlt évben létrehoztak egy közös testületet a program felügyeletére, és ebben az évben elindították „A 21. századi készségek mérése és tanítása” projektet (Assessment and Teaching of 21^st Century Skills, ATC21S/[2]). Az egész világot behálózó program öt munkacsoportból áll (l. az 1. táblázatot), a munkacsoportok tagjai számos országból kerülnek ki.

1. táblázat: „A 21. századi készségek mérése és tanítása” projekt munkacsoportjai

Munkacsoport	Vezető(k)
A 21. századi készségek értelmezése	Senta Raizen WestEd, Washington, USA
Mérés-metodikai kérdések	Mark Wilson University of California, Berkeley, USA
Technológiai problémák	Csapó Benő Szegededi Tudományegyetem
Osztálytermi környezet és formatív értékelés	John Bransford University of Washington Marlene Scardamalia University of Toronto, Canada
Az új mérések elterjesztésének oktatáspolitikai feltételei	Linda Darling-Hammond Stanford University, USA

A projekt fő céljai között szerepe a 21. században meghatározó szerepet játszó készségek azonosítása, operacionalizálása, leírása mérhető formában. Olyan készségek, képességek állnak a munka középpontjában, mint a kreativitás, a problémamegoldás, a tanulás tanulása, a kommunikáció, a csoportmunka.

Egy másik fontos cél azoknak a technikai feltételeknek a meghatározása, amelyek a különböző funkciót ellátó mérések megvalósításához szükségesek. A számítógép nagyon sok olyan lehetőséget kínál, amelyet más területeken már alkalmaztak, de a technológia alapú értéklelésben még nem, vagy csak kísérleti keretek között. Ilyen például a számítógépes nyelvészet, a tartalomelemzés, amit felhasználva a tanulók egyre bonyolultabb produktumait lehet automatikusan értékelni. Például a számítógépet képessé lehet tenni arra, hogy a szöveges válaszokat, esszé jellegű megoldásokat is értékelje. Sokféle lehetőséget kínál a mesterséges intelligencia eszközeinek beépítése a tesztelő programokba. A technológia lehetővé teszi, hogy egymástól fizikai értelemben távol levő munkatársak együtt dolgozzanak. Ma már hétköznapi realitás a hálózatokon keresztül végzett team-munka. Ez sajátos együttműködési készségeket igényel, amelyeket a technológia segítségével ugyancsak mérhetővé lehet tenni.

A technológia alapú tesztelés számos olyan problémát felvet, amelyre a korábban kidolgozott pszichometriai elméletek nem kínálnak megoldást. Például egy szimulált helyzetben való komplex problémamegoldást nehezen lehet a hagyományos értelemben vett feladatokra felbontani. A papír alapú tesztek tipikusan feladatokból, önállóan értékelhető itemekből állnak, és a tesztelméleti modellek az itemek közötti összefüggéseket elemezve vizsgálják a tesztek különböző tulajdonságait. A számítógépes tesztelés esetében értelmezni kell, milyen önállóan egységekre bontható fel egy komplex viselkedés.

Szükség van továbbá a formatív értékelést, az osztálytermi alkalmazásokat támogató infrastruktúra kialakítására is. Olyan tanórai munkamódszereket kell kidolgozni, amelyekben érvényesíteni lehet a technológia előnyös vonásait. Az osztálytermi környezettel és a formatív értékeléssel foglalkozó munkacsoport egy új, a technológiai eszközök alkalmazására épülő pedagógiai kultúra kereteit alakítja ki.

Diagnosztikus mérések fejlesztése a Szegedi Tudományegyetemen

Végül azt szeretném megmutatni, hogyan lehet mindazt az új tudást, amit többek között az előzőekben felvázolt projektek is létrehoznak, itthon, a mi oktatási rendszerünk fejlesztésében kamatoztatni. Egy ilyen tudás-transzferhez alkalmas kereteket teremt az a kutatási fejlesztési program (TÁMOP 3.1.9.), amely ebben az évben indult el a Szegedi Tudományegyetem Oktatáselméleti Kutatócsoport[3] irányításával.

A kutató-fejlesztő munka 2009 közepén kezdődött, és az első fázis két évig fog tartani. A program végső célja egy olyan online diagnosztikus értékelő rendszer létrehozása, amely hatékonyan támogatja a legfontosabb készségek személyre szóló fejlesztését az iskola első hat évfolyamán. A rendkívül komplex, szerteágazó tevékenységrendszert hét átfogó munkacsomagba szerveztük. Ezeket a 2. táblázat foglalja össze.

2. táblázat: A „Diagnosztikus mérések fejlesztése” c. projekt munkacsomagjai

Munkacsomag	Koordinátor
A diagnosztikus értékelés tartalmi kereteinek kidolgozása az 1-6. évfolyamokra olvasásból, matematikából és természettudományból	Csapó Benő
További hét kognitív és affektív terület mérési lehetőségeinek feltárása	Zsolnai Anikó
Diagnosztikus feladatrendszerének kidolgozása, feladatbankok kiépítése	Vidákovich Tibor
Az elektronikus tesztelés megalapozása – a TAO platform adaptálása	Molnár Gyöngyvér
Mérőeszközök fejlesztése sajátos nevelési igényű tanulók számára	Molnár Éva
Pedagógusok és értékelési szakértők továbbképzése	Csíkos Csaba
Hazai és nemzetközi mérési eredmények másodelemzése	Tóth Edit

A fejlesztő munka középpontjában a három fő műveltségi területre, az olvasás-szövegértésre, a matematikára és a természettudományra kidolgozandó diagnosztikus értékelési rendszer áll. Ami a kutatási program tevékenységeinek logikai sorrendjét illeti, a munka az értékelés tudományosan megalapozott tartalmi kereteinek kidolgozásával indul. Ma már elegendő kutatási eredmény áll rendelkezésünkre ahhoz, hogy a tartalmi kereteket és az azokra épülő értékelési standardokat tudományos alapossággal építsük fel. A munkának ebbe a fázisába az egyes szakterület vezető külföldi kutatói kapcsolódtak be, így a standardok kidolgozása valóban a legújabb nemzetközi tudományos eredményekre épülhet. A diagnosztikus értékelés tartalmi kereteit egy háromdimenziós modellt (l. Csapó, 2008) alkalmazva készítjük el. A hagyományosan is mért diszciplináris tudás (elsajátította-e a tanuló a tananyagot?) mellett külön dimenzióként jelenik meg a tudás alkalmazása (képes-e tudását széles körben, más tantárgyakban, hétköznapi kontextusban alkalmazni?). Egy harmadik dimenzió annak felmérése, megfelelően fejleszti-e az iskola a tantárgyakhoz (is) köthető gondolkodási képességeket.

Mivel más, az elszámoltathatósági rendszereket korábban bevezető országok tapasztalata azt mutatja, hogy ha a rendszeres mérések csak néhány fő területre koncentrálódnak, akkor az iskolák elhanyagolják a többi, nem mért területet. Ezért a kutatási program keretében hét további területen kezdődik meg a diagnosztikus értékelés lehetőségeinek feltérképezése. A programban „minor”-ként számon tartott hét terület a következő: szociális készségek, az angol, mint idegen nyelv, vizuális készségek, állampolgári magatartás, motiváció, egészségmagatartás, a tanulás tanulása.

A kutatási program egyik legnagyobb munkacsomagja a diagnosztikus feladatrendszer kidolgozása. A munka első fázisában gyakorló tanárok, tapasztalt mérési szakértők bevonásával a három fő területre közel kétezer feladat fog elkészülni. Ezek a feladatok egyenletesen lefedik a három fő dimenziót és a felmérendő hat évfolyamot. A feladatbank alapján papír alapú tesztek készülnek, és ezek felhasználásával sor kerül a feladatok kipróbálására, bemérésére, a feladatok paramétereinek megállapítására. A kutatócsoport több, mint 200 iskolával épített ki partnerkapcsolatot. Az iskolák kiválasztása a reprezentatív mintavétel követelményeinek megfelelően történt. A feladatrendszer bemérésére ezekben az iskolákban fog sor kerülni. Az így elvégzett mérések viszonyítási alapként szolgálhatnak a későbbi online mérésekhez is.

A program keretében párhuzamosan folyik az online mérőrendszer kiépítése is. A rendszer alapja a University of Luxembourg és a Centre de Recherche Public Henri Tudor munkatársai által kidolgozott TAO[4] platform lesz. Kutatócsoportunk két éve kísérletezik az online mérésekkel, a munka korábbi fázisa a papír alapú és az online mérések összehasonlítására irányult (Csapó, Molnár és R. Tóth, 2009). A következő években fokozatosan felépítjük az online tesztelésre alkalmazható feladatbankokat. Ennek két fő formája lesz. Egyrészt átültetjük az elkészített, arra alkalmas papír alapú feladatokat számítógépre, másrészt újszerű, a számítógép sajátos lehetőségeit kihasználó feladatok készülnek. Folyamatosan sor kerül az online feladatok kipróbálására, bemérésére, a papír alapú és az online eredmények összehasonlítására.

Az együttnevelés, az integrált, inkluzív oktatás egyik fő kihívása, hogy az együtt nevelt, de különböző felkészültségű tanulók minden iskolai tevékenységben egyenlő eséllyel részt vehessenek. Ennek szellemében a projekt fontos feladata mérőeszközök fejlesztése sajátos nevelési igényű tanulók számára. Ennek keretében sor kerül a feladatrendszer könnyebb feladatokkal való feldúsítására, hogy a lassabban haladók fejlődését is a többiekével közös skálán lehessen kifejezni. Egy másik irány a feladatrendszer egy részének „akadálymenetesítése”, hozzáférhetővé tétele a különböző nehézségekkel küszködő tanulók számára gyógypedagógiai szakemberek bevonásával. Sor kerül továbbá olyan interfészek kidolgozására, adaptálására is, amelyek lehetővé teszik, hogy a mozgáskorlátozott tanulók is bekapcsolódhassanak a számítógépes tesztelésbe.

Az új értékelési rendszer csak akkor lehet hatékony a gyakorlatban, ha a pedagógusok felkészülnek annak alkalmazására, és tevékenyen együttműködnek egy új pedagógiai kultúra kialakításában. Ennek elősegítésére a fejlesztési programot egy differenciált tanár-továbbképzési program egészíti ki. A partner iskolák legalább 4-5 pedagógusának rövidebb idejű felkészítése mellett lehetőség nyílik az elmélyültebb tanulmányokra, értékelési szakértők képzésére is.

A kutatási program további komponense a nemzetközi tapasztalatok rendszeres feldolgozása. Ennek keretében többek között foglalkozunk azokkal a nemzetközi vizsgálatokkal, amelyekben Magyarország is részt vett. Ezek a vizsgálatok hatalmas adatbázisokat eredményeztek, amelyek másodelemzése számunkra is sok tanulsággal járhat.

Az itt felvázolt kutatási program csak egy hosszabb fejlesztési folyamat első fázisa lehet. Amint a korábbiakból kiderült, a technológia alapú értékelés az oktatás megújításának az egyik legígéretesebb iránya. Nagyon fontos számunkra, hogy az első fázisban meghonosítsuk azokat az értékelési technológiákat, amelyek ma a fejlesztés élvonalát képviselik. Ezekre építve indulhat el egy olyan evolúció, amely folyamatosan bővíti és javítja a diagnosztikus mérésekre használható feladatbankot, fejleszti az új rendszert alkalmazó tanárok és diákok informatikai készségeit, és hozzájárul a pedagógiai kultúra átalakulásához.

 

[1] A TÁMOP 3.1.9. keretében az SZTE Oktatáselméleti Kutatócsoportja végez ilyen fejlesztő munkát.

[2] A projekt honlapja: http://www.atc21s.org/

[3] Honlap: http://www.edu.u-szeged.hu/ok

[4] A TAO a Számítógép Alapú Tesztelés francia megfelelőjének (Testing Assisté par Ordinateur) a rövidítése. A TAO fejlesztő csoport honlapja: http://www.tao.lu