Prof. Dr. Csapó Benő

Diagnosztikus értékelés és differenciált fejlesztés:
új eredmények és perspektívák

Az előadás prezentációja pdf formátumban

 

Az előadás[1] az eDia online, diagnosztikus értékelő rendszer kidolgozása terén elért újabb eredményeket foglalja össze. Az eDia rendszert a Szegedi Tudományegyetem Oktatáselméleti Kutatócsoportja fejleszti nagyjából egy évtizede. Alapvetően az általános iskola első hat évfolyama számára készül a szövegértés, a matematika és a természettudomány tanulásának támogatására. Mindegyik terület mérése részletesen kidolgozott tartalmi keretekre épül, amelyek a tudás háromdimenziós modellje alapján készültek el, a pszichológiai (gondolkodási), az alkalmazási és a diszciplináris (szaktudományi) dimenziókat megkülönböztetve. Az egyes dimenziók mérésére több ezer feladatból álló feladatbankok állnak rendelkezésre, jelenleg a rendszer összesen közel 25 000 multimédiás feladatot tartalmaz. Az eDia 2015 óta működik kísérleti üzemmódban, ami azt jelenti, hogy minden lényeges funkciója használható, ugyanakkor folyamatosan fejlődik is. Ebben a tanévben a partneriskolák száma már meghaladta az 1000-et. Az iskolák önként csatlakozhatnak, tetszés szerint bekapcsolódhatnak a mérésekbe. A jelenlegi fázis a korábbi fejlesztésekre épül, amelyek részletes bemutatására itt nincs mód, azonban ezekről tájékozódni lehet az eDia honlapján[2]. Azok az iskolák, amelyek még nem vesznek részt a mérésekben, ugyanott jelentkezhetnek.

A megoldandó problémák

Van néhány olyan probléma a magyar közoktatásban, amelyeknek a megoldása egyre sürgetőbb feladat. Utalhatunk a PISA mérésekre, amelyek azt jelzik, hogy a 15 éves diákok 28%-a funkcionális analfabéta, és több mint negyedük matematikában és természettudományban sem éri a már használhatónak tekinthető kettes tudásszintet. A tizenhat éves diákok mind kisebb arányban járnak iskolába és növekszik az iskolát korán, végzettség nélkül elhagyók aránya (jelenleg 12,5%). Az európai cél az, hogy ezt tíz százalék alá csökkentsük uniós szinten és ugyanez lenne a magyar cél is, de az utóbbi években nálunk ezen a téren is romlik a helyzet.

Ezek az adatok jelzik azokat a gondokat, amelyeket nekünk együtt meg kell oldanunk. A megoldáshoz sokféle beavatkozásra és eszközre szükség van. A problémák egy része nem az iskolán belül keletkezik, másik részüket pedig az iskolai szelekció és a hagyományos pedagógiai kultúra olyan sajátosságai okozzák, amelyeket nehéz kezelni.

Az iskolai tanítás során az egyik legnagyobb nehézséget az okozza, hogy a diákok sokfélék, közöttük jelentős különbségek vannak, amely különbségek ráadásul időben is változnak. Így a pedagógusok nehezen mérik fel, melyik diák milyen szinten áll, milyen konkrét támogatásra lenne szüksége. E téren jelent segítséget a diagnosztikus értékelő rendszer, ami naprakészen meg tudja mutatni, hol tart az egyes diákok fejlődése a felmért területeken. Az eDia rendszer ma a legkorszerűbb technológiát képviseli, és készen áll a teljes tanulói népesség felmérésre, ugyanakkor a technológia fejlődése máris olyan újabb lehetőségeket kínál, amelyekkel a tanulók fejlődésének felmérése még hatékonyabb lehet.

A pedagógiai értékelés új lehetőségei (adattudomány, tanulás-analitika)

A technológia-alapú értékelésre való átérés, mintegy „melléktermékként” azt eredményezte, hogy a mérések során nagyon sok adat keletkezik. Más területeken is megfigyelhető, hogy a felhasználók az internetre kapcsolódó különböző technológiai eszközökkel interakcióba lépve sokféle adatot hoznak létre. Ezeknek az adatoknak elemzése azután lehetőséget ad szokásaik, preferenciáik, személyiségük feltérképezésére. A hatalmas anyagmennyiség feldolgozására új elemzési módok alakultak ki. Megjelentek azok a tudományágak, amelyek segítenek eligazodni a nagy adatbázisokban. Az új adatok keletkezése és a felhasználási lehetőségek változása olyan ütemű, hogy ezekkel kapcsolatban gyakran már adatforradalomról beszélnek. Valóban, az adatok mennyisége néhány év alatt megsokszorozódott, és várhatóan a következő években is gyorsuló ütemben fog növekedni.

Megjelent az adatok elemzésével foglalkozó tudományág, az adattudomány és a nagy adatbázisokból releváns információk kinyerésére irányuló adatbányászat. Ez a terület olyan gyorsan fejlődik, hogy már egyes speciális szakterületek önállósodnak is. Ilyen például a pedagógiai adatbányászat (educational data mining), amely köré tudományos társaság szerveződött, folyóirattal, rendszeresen megrendezett konferenciákkal. A technológiai eszközök használata nyomán létrejött óriási adatbázisokban lehet szokatlan mintázatokat keresni, amelyeket azután megpróbálunk utólag értelmezni, de már egyre inkább az jellemző, hogy előre megfogalmazott kérdésekre keressük a választ az adatok elemzése révén. Az ilyen mintázatokból azután következtetéseket tudunk levonni a jövőre nézve.

Az online tanulás során keletkezet adatbázisok elemzésének egyik legkifejlettebb formája, a tanulás-analitika (learning analytics) szintén arra törekszik, hogy a felismert szabályosságok alapján előrejelzést tegyen. Például a tanulók bizonyos válaszaiból, viselkedéséből következtessen arra, hogy a tanuló valamit nem jól értett meg, megkülönböztesse a későbbi tanulás szempontjából alapvető fontosságú és kevésbé jelentős tudáselemeket. A hagyományos (papír alapú) pedagógiai mérések során keletkezett adatok alapvető célja a tanulók aktuális tudásszintjének jellemzése. Természetesen ez a cél megmarad az online mérések során, ugyanakkor e tesztek alkalmazásának vannak olyan melléktermékei, keletkeznek olyan meta adatok is, amelyeknek az elemzéséből esetleg pontosabb előrejelzéseket lehet tenni, mint magukból a mérési eredményekből. Az eDia rendszer is lehetővé teszi ilyen adatok rögzítését, elkezdtük ezeket elemezni, dolgozunk az új lehetőségek felhasználásán.

A legegyszerűbb lehetőség a diákok válaszmintázatainak elemezése. Lényegében ezzel már megnyílik az út a „folyamat-bányászat” (process-mining), a folyamtokban való adatbányászat irányába, amikor olyan válaszmintázatokat elemzünk, hogy milyen sorrendben, hova klikkel a diák. Abból, hogy milyen sorrendben mozgatja az egyes elemeket egy diák a képernyőn, lehet arra következtetni, hogy hogyan gondolkodik. Amikor a tanulók képek képernyőn való mozgatással adják meg a válaszokat, abból, hogy mit hova húznak, hányszor próbálkoznak, hányszor kezdik újra, részletes képet lehet alkotni a feladatmegoldás folyamatáról. Lehet látni, hogy előzetes elgondolás nélkül próbálkoznak, találgatnak, vagy pedig előzetesen már van egy stratégiájuk, ami „fejben már készen van”, ami szerint megoldják a feladatokat. Természetesen rögzítjük az egyes mozzanatok közötti időt is, amiből látszik, mikor volt szükség gondolkodásra, és mikor futott le több lépés egymás után gondolkodás nélkül. Az idő-adatokból lehet következtetni a fáradtságra, motiváltságra is. A gondolkodási folyamatok elemzése metaadatok felhasználásával, esetleg bizonyos elemzési módok automatikus kivitelezésének beépítése a rendszerbe az egyik legizgalmasabb kutatási-fejlesztési feladat.

Az eDia rendszer fejlődésének újabb fázisa

Az eDia rendszer egyik legfontosabb erőssége, hogy tudományosan megalapozott, részletesen kidolgozott tartalmi keretekre épül. Ha ugyanis diagnosztikus értékelést végzünk, nagyon fontos annak pontos meghatározása, hogy mit mérünk, és megértsük, milyen megismerő folyamatok mennek végbe a feladatok megoldása során. A diagnosztikus mérések egyik legfontosabb funkciója az, hogy láthatóvá teszi azt, amit a pedagógus közvetlenül, a diákok megfigyelése során, a hagyományos értékelési módokat alkalmazva nem lát.

A három mérési dimenzió megkülönböztetése lehetővé teszi, a tanulók fejlődési folyamatainak részletes feltérképezését. Egyrészt értelmezzük a pszichológiai dimenziót, a gondolkodás dimenzióját, másrészt megkülönböztetjük a tanulás alkalmazása dimenziót, harmadrészt pedig magát az aktuális iskolai tananyagot, a diszciplináris dimenziót. Ez utóbbi a tantervi tartalom, az, amit a tankönyvek tartalmaznak, tehát amit a gyermekek az iskolában tanulnak. Ez az, amit a pedagógus lát, hiszen óráról órára halad, tanítja a diákoknak azt, amit a tantervek megkövetelnek. De a tananyag elsajátítása még nem garancia arra, hogy a tanulók ezt a tudást alkalmazni is tudják. Ezért ezt külön mérjük, visszajelezzük, megértették-e kellő mélységben, tudják-e új területeken alkalmazni a tanultakat, ez az alkalmazás dimenzió. A pszichológiai dimenzió pedig az, amit legkevésbé látnak a pedagógusok, az, hogy a gyermekek értelmi képességei fejlődnek-e.

A természettudomány és a matematika kereteinek felépítése nagyon hasonlít egymásra, egy kicsit eltér ezektől a szövegértés, de a három abban egyezik meg, hogy mindegyiket az említett három dimenzióban mérjük. A tantervi dimenziót, vagyis, hogy a diákok haladnak-e a tananyag elsajátításával, a pedagógusok értékelik a maguk hagyományos eszközeivel is, erre való a feleltetés, a röpdolgozat, a témazáró, és ehhez ad objektív mérőeszközöket a diagnosztikus rendszer. A pedagógusok figyelme kiterjed az alkalmazásra is, de erre a hagyományos értékelési módszerek kevesebb lehetőséget adnak. A legfontosabb újdonság pedig az, hogy láthatóvá tesszük a diákok értelmi fejlődését, láthatóvá tesszük a gondolkodást, megmutatjuk azt, hogy aktuálisan hol tartanak az értelmi fejlődésben az adott mérési területen.

A három mérési területről először (2011/2012-ben) kiadtunk egy-egy kötetet, amelyek részletesen értelmezik az egyes dimenziókat. Ezek a kötetek szolgáltak tananyagul a feladatírók képzéséhez, és útmutatóként a feladatok elkészítéséhez. Majd, miután az eDia rendszert feltöltöttük feladatokkal, kiadtunk újabb három kötetet (2015-ben). Ezekben már a mérések tartalmát úgy mutatjuk be, hogy a rendszerből kivett feladatokkal illusztráljuk azt, hogy melyik területen milyen méréseket végzünk az egyes dimenziókban. Ebből látható, mit mérnek a feladataink a szövegértés pszichológiai dimenziójában, mit az alkalmazás dimenzióban és így tovább. Részletesen illusztrálják, hogy a matematikában milyen gondolkodási feladatok vannak, például hogyan mérjük az arányossági gondolkodást, a kombinatív gondolkodást, az induktív gondolkodást stb. Ezekből a feladatokból részletesen meg lehet ismerni, hogy mit mérünk, a pedagógusok látják, milyen jellegű feladatokat kínál az eDia rendszer.

Most dolgozunk ennek a sorozatnak a harmadik részén. Mivel a rendszer évek óta működik, nagyon sok adatot gyűjtöttünk a diákok teljesítményeiről, ami egyben a feladatok nehézségét is jellemzi. Most már meg tudjuk mondani, hogy az egyes feladatokat a diákok milyen arányban oldják meg az egyes évfolyamokon. A következő fázisban már úgy fogjuk a mérési dimenziókat feladatokkal illusztrálni, hogy megmutatjuk a feladatok nehézségét is. A mérési adatok alapján már meg tudjuk mutatni, melyik feladat milyen nehéz.

Mivel mindegyik területen (szövegértés, matematika, természettudomány) három dimenziót (pszichológiai, alkalmazási, tantervi) különböztetünk meg, összesen kilenc dimenziót értelmezünk. Mindegyikre külön-külön mérési skálákat készítettünk. A következő években ezeket a skálákat még finomítani kell, országos reprezentatív mintákkal kell bemérni a feladatokat, hogy megfelelően pontos viszonyítási adatokat tudjuk meghatározni.

Az eDia feladatai a multimédia sokféle lehetőségét alkalmazzák. Tartalmazhatnak hangot, mozgóképet, animációt, videót, vagyis mindent, amit a számítógépek lehetővé tesznek. Az első három évfolyamon az összes feladathoz tartozik hang is, vagyis meg lehet hallgatni a feladatok utasításait. Ebből következik az, hogy olyan életkorban is lehet méréseket végezni, amikor a gyermekek még nem tudnak olvasni, például így kiterjeszthettük a méréseket az iskolakezdés idejére és az óvodára is. A feladatbankok nagyon változatos feladatokat tartalmaznak, a feladatok kuntextusát sokkal életszerűbbé lehet tenni, mint amire a pípír-alapú tesztek lehetőséget teremtettek. Hasonlóképpen sokféle válaszadási típus is megjelenik a feladatokban. Azáltal, hogy a képernyőn különböző objektumokat lehet mozgatni, a feladatok már közel kerültek ahhoz a lehetőséghez, mintha valódi tárgyakat manipulálnának. Az eDia honlapján ki is lehet próbálni a feladatok megoldását, az egyes területeken különböző életkorú tanulók számára összeállított teszteket lehet megoldani.

A teljes körű alkalmazás lehetőségei és feltételei

Az eDia rendszer jelenleg ezer körüli iskola használja. Ha térképen ábrázoljuk az iskolák helyét, azt látjuk, hogy a partneriskoláink egyenletesen lefedik az ország területét. Most már az iskolák közel harmadával kapcsolatban vagyunk. Vannak olyan tankerületek, amelyekkel együttműködést építettünk ki, a tankerület összes iskolája bekapcsolódott a mérésekbe. Ilyen esetekben már tankerületi szinten is tudunk elemzéseket végezni és visszajelzéseket nyújtani.

Ha feltesszük a kérdést, hogy mikor lesz kész a rendszer, a kérdésre kétféle hiteles választ lehet adni. Az egyik válasz az, hogy készen van, 2015 óta kísérleti üzemmódban működik, a rendszer minden fontosabb funkciója használható. A másik válasz pedig az, hogy a fejlesztés lehetőségei végtelenek, és mindig szükség lesz arra, hogy a pedagógiai kutatás eredményeit és a technológia által teremtett újabb lehetőségeket beépítsük a rendszerbe. Nagyjából ugyanaz a helyzet, mint a szoftverekkel, vagy a mobiltelefonokkal, és napjainkban egyre inkább így lesz a hétköznapjainkban használatos egyéb technológiai eszközzel is. Itt vannak például az elektromos autók. A Tesla autókba beépítik az érzékelőket, azokat a szenzorokat, amelyek még nem működnek, hanem majd a következő szoftverfrissítéskor újabb és újabb funkciókkal látják el azokat. Tehát ha most valaki megvesz egy autót, nem tudja, hogy pontosan milyen lehetőségeket vett, mert a következő években újabb és újabb funkciókra lesz alkalmas. Az említett Teslát például arra készítik fel, hogy ha mobiltelefonnal felhívjuk, kijön a parkolóból és odaáll a házunk elé – a hardver megvan hozzá, a szoftvert még fejlesztik.

Mi szeretnénk ezt a szemléletmódot képviselni, újra és újra beépítjük a legújabb eredményeket a mérési rendszerbe. Azt szeretnénk, ha nem lenne olyan kötelezettségünk, hogy befagyasszuk, és azt mondjuk, hogy most ez van és így is marad. Tanulunk és továbbra is folyamatosan együtt szeretnénk tanulni a pedagógusokkal. Várjuk a visszajelzéseiket, várjuk a kérdéseiket, amelyekre megkeressük a válaszokat. Várjuk a kéréseiket és ha lehet, teljesítjük. Több ilyen, a pedagógusok kérésére fejlesztett eleme van már a rendszernek, fogok erre is példát bemutatni.

Fejlődik maga a platform, új funkciókkal gazdagodik, és fejlődik a feladatbank, újabb feladatokat írunk, az empirikus eredmények alapján töröljük a nem elég jól differenciáló feladatokat, vagy, ha lehet, kicsit javítunk rajtuk. Ha azt látjuk, hogy a nehézségi skála nincs egyenletesen lefedve feladatokkal, akkor próbálunk olyan nehézségűeket készíteni, amilyenből hiány van. Ha valamelyik területen nincs elég könnyű, vagy nehéz feladat, akkor oda próbálunk megfelelő feladatokat készíteni. Azt persze nem lehet megrendelni, hogy pontosan milyen nehézségű feladatok készüljenek, de ha sok feladat készül, lesz közöttük a megfelelő nehézségi fokú is. Mi is az ötszáz pont átlagra, és száz pont szórásra skáláztuk be a mérőrendszert, de azt nem lehet mondani, hogy akkor készítsen valaki egy hatszázhuszonnyolc pontos feladatot, mert olyan még hiányzik. Ez nem egy könnyű munka, nagyon időigényes, többszöri kipróbálás után tudjuk csak elérni, hogy egyenletesen lefedjük a teljes skálát.

Fejlődik az adatelemző rendszer is, újabb és újabb viszonyítási adataink vannak, amelyekhez képest az egyes diákokat, iskolákat el lehet helyezni. Ahogy említettem, az életkori viszonyítási pontok már megvannak, tehát tudjuk azt, hogy első, második, harmadik stb. évfolyamokon a szövegértés pszichológiai dimenziójában milyen az országos átlag. És ezt mind a kilenc dimenzióban meg tudjuk mondani minden egyes életkorra (évfolyamra). A hat évfolyamra és kilenc dimenzióra tehát 54 ilyen viszonyítási pontot tudunk kijelölni. Amin most dolgozunk, az a longitudinális viszonyítási skála megalkotása. Azok a gyermekek, akik 2015-ben elkezdték a rendszert használni, haladnak előre, évenként valamennyit fejlődnek, mindegyik dimenzióban javulnak, és azt meg tudjuk mutatni, hogy Magyarországon, országosan mennyi az átlagos fejlődés például a matematika gondolkodási dimenziójában.

A következő években ilyen átlagos évenkénti fejlődés jellegű viszonyítási pontokat határozunk meg, ami csak longitudinális mérésekkel, több tanév alatt lehetséges. Hat év kell ahhoz, hogy a tanulók végigmenjenek ezen a folyamaton, vagyis kövessünk egy mintát az iskolába lépéstől a hatodik évfolyam végéig, és megállapítsuk, hogy egy-egy dimenzióban egy adott évben mennyit fejlődnek. Ezt a skálát azután majd folyamatosan frissíteni kell, mert közben a teljes népesség is fejlődik. Már most azt lájuk, hogy azok a diákok, akik rendszeresen részt vesznek a mérésekben, gyorsabban fejlődnek, mint azok, aki éppen csak bekapcsolódtak a folyamatba. Ennek a különbségnek részben az lehet az oka, hogy megtanulják a rendszert kezelni, de az is látszik már, hogy a rendszeres visszacsatolás meggyorsítja a felmért képességek fejlődését.

Pedagógusok képzése és a tanári tesztek

A pedagógusok képzése kutatócsoportunk egyik legfontosabb feladata. Szeretném azonban felhívni a figyelmet arra is, hogy nem a diagnosztikus rendszer technikai oldalát, nem az eDia platform működését és használatát szeretnénk tanítani. Ahogyan senki nem képzéseken tanulta a mobiltelefon használatát, technikai szempontból ugyanúgy magától értetődő módon kell működni a méréseknek is. Ez a diagnosztikus rendszernek az alapfilozófiája. A kezelés technikájánál sokkal fontosabb annak a megismerése, hogy mit mérnek a tesztek, és ehhez már a tartalmi kereteket kell tanulmányozni. Alaposan megérteni, hogy mi az egyes dimenziók megkülönböztetésének az értelme, és mit jeleznek az adatok. Itt nagyrészt olyan új tudásról van szó, ami nem lehetett része a pedagógusképzésnek, erre nem készítették még fel a tanárokat és tanítókat. Fontos például annak megértése, hogy mit jelent a gondolkodás fejlesztése már az iskolába lépéstől kezdve a matematikában, majd hogyan jelennek meg ugyanazok a gondolkodási műveletek a természettudományban.

Az adatok elemzése és könnyen áttekinthető bemutatása még a kutatócsoport dolga, azonban az eredmények szakszerű értelmezése, a diagnózis megállapítása és az abból következő tennivalók meghatározása már a pedagógusok feladata. Az eDia rendszer nagyon sokféle adatot tár a pedagógusok elé, de amit az adatok mutatnak, az nem a teljes kép. A diagnózist a pedagógus az összes körülmény figyelembe vételével tudja megállapítani. A diagnosztikus rendszer nem „ismeri” a diákokat, az adatfelvétel úgy van felépítve, hogy nem is lehet visszakövetkeztetni arra, ki áll az adatok mögött. A pedagógusok megkapják az adatot, és minden lényeges körülményt figyelembe tudnak venni, amikor az egyes tanulók fejlődése érdekében érdemi döntéseket hoznak.

A továbbképzések a mi esetünkben nem egyirányú információáramlást jelentenek, hanem a pedagógusokkal való konzultáció, a folyamatos párbeszéd fontos terepei. Az iskolai gyakorlat megváltoztatására, fejlesztése közös feladatunk, és ehhez szükség van a kölcsönös megértésre. Az együttműködés egyik kiemelt területe a hátrányos helyzetű iskolák támogatása. Többféle definíciója van annak, hogy mi a hátrányos helyezet, mi a saját munkánkhoz egy nagyon egyszerű megoldást választottunk. A hatodikos kompetenciamérések eredményeit vettük alapul és összeadtuk a szövegértés és a matematika pontszámok átlagát az egyes iskolákra vonatkozóan. Így minden iskolára kaptunk egy számot, aminek alapján kiválasztottuk a kétszáz leggyengébben teljesítő iskolát. Utána megnéztük, hogy ezek az iskolák benne vannak-e a partneriskola-hálózatunkban. Akik még nem voltak a partnereink, azokat egyenként megkerestük és megvizsgáltuk, van-e akadálya annak, hogy bekapcsolódjanak a felméréseinkbe. Akiket lehetett és vállalták is az együttműködést, azokat felvettük a méréseinkbe.

Ha ezt a kétszáz iskolát térképén ábrázoljuk, azt látjuk, hogy nem egyenletesen fedik le az ország területét. Vannak bizonyos sűrűsödési pontok, például az ország észak-keleti részében átlagosan több ilyen iskola van. A továbbképzéseket is ezekre a területekre fókuszáltuk, itt tartattunk kihelyezett workshopokat. (Én három ilyen workshopot tartottam, voltam Nyíregyházán, Salgótarjánban és Miskolcon). E találkozók során megbeszéltük a pedagógusokkal, hogy ott, azoknak az iskoláknak a támogatása érdekében mit tudnánk tenni, hogyan tudnánk az ő differenciált fejlesztő munkájukat segíteni.

Van továbbá egy fókuszcsoportunk is, amelyet a Szegeden, Hódmezővásárhelyen és a környéken levő, viszonylag könnyen megközelíthető távolságban elhelyezkedő iskolákból állítottunk össze. A közelségre azért van szükség, mert ezekbe az intézményekbe rendszeresen kijárunk kollegáimmal együtt. Beszélgetünk az igazgatóval, a tantestület tagjaival, hogy érzékeljük a helyi gondokat. Vannak dolgok, amelyeket csak ott, helyben lehet megtapasztalni. Például látni azt, hogy mit jelentenek a foglakozási ártalmak a maguk konkrét módján megjelenve, milyen az, amikor berekednek, amikor nem tudnak lábra állni, vagy amikor egyszerűen csak elfáradnak a pedagógusok. Sokszor terheket jelent a hiányzók tanárok pótlása, és néha erőfeszítést igényel annak elérése is, hogy ne maradjon el óra. Ezekben az iskolákban már nem csak a technológia hiánya jelenthet problémát, hanem gyakran hiányzik a humánerőforrás is. Ezek a gondok különösen jellemzőek az említett kétszáz iskolában. A mi dolgunk az is, hogy megértsük ezeknek az iskoláknak a sajátos problémáit, és a különválasszuk, mi az, amit diagnosztikus eszközzel kezelni lehet, és mi az, ami ezeken a lehetőségeken túlmutat. Meg kell találnunk a mérések alkalmazásának olyan módszereit, amelyek keretében nem egy újabb terhet teszünk a pedagógusok vállára, hanem valóban a napi munkájukat segítjük.

Elkészült az eDia rendszer egy további kiterjesztése, a tanári tesztek modulja, amely lehetővé teszi, hogy a tanárok a feladatbankokból összeállítsák a saját tesztjeiket. Ez az egyik olyan fejlesztés, amit kifejezetten a pedagógusok kérése nyomán indítottunk el. A tanár kollégák felvetették, mi lenne, ha maguk össze tudnák állítani a teszteket és megmérnék, amire ők kíváncsiak. Megoldottuk a problémát, megnyitottuk a feladatbankot a pedagógusok előtt és elkészültek azok az programok, amelyekkel kényelmesen összerakhatják a tesztet, elvégezhetik a méréseket és megnézhetik az eredményeket. A honlapon egy külön felületet is készítettünk, amelyen néhány olyan fő menüpont van, ami kifejezetten a pedagógusok érdeklődését szolgálja. A pedagógusok egyszerűen regisztrálnak a rendszerbe és teszteket tudnak összeállítani. Átnézik a feladatokat, kiválogatják a számukra megfelelőket, eldöntik, hogy melyiket teszik a tesztbe. Az így elkészült tesztekkel akár egy tanulót is fel tudnak mérni, vagy akár egy osztályt is, és meg tudják nézni az eredményeket utólag is, bármikor. Néhány évtizeddel ezelőtt Amerikában a tanárok által készített tesztekkel (teacher made test) próbálták javítani az iskolai értékelés objektivitását. Az addig rendben van, hogy a pedagógusok megtanulnak teszteket készíteni, ennek révén minden értékelő tevékenységük szakszerűbb lesz. De a hagyományos teszteket sokszorosítani kell, majd a megoldás után javítani, pontozni, ami nagyon sok tanári időt és energiát igényelt, ezért ezek a tesztek csak korlátozott mértékben tudtak elterjedni. Mi most lényegében egy általuk összeállítható, szabadon alakítható tesztet adunk a kezükbe, aminek minimális a költsége, szakértők által készült feladatokból áll, és sokkal kisebb mértékben veszi igénybe a tanárok idejét. Ez az eDia egyik legnépszerűbb alkalmazási lehetősége, és várjuk a pedagógusok további kéréseit is.

A diagnosztikus mérések kiterjesztése az óvodára

Egy további fejlemény a diagnosztikus értékelés kiterjesztése az óvodai nevelés, az óvoda-iskola átmenet és a sikeres iskolakezdés támogatására. A fejlesztésnek ezt az irányát az indokolja, hogy – ha keressük az iskolai kudarcok kialakulásának okait –, egyre fiatalabb életkorra kell visszamennünk. Ha meg akarjuk előzni az iskolai lemorzsolódást, akkor azt nem tíz, tizenkét, vagy tizennégy éves korban kell elkezdeni, hanem vissza kell menni az óvodáig. Mi is megvizsgáltuk, mit tudunk tenni a probléma megoldása érdekében a diagnosztikus mérés eszközeivel. Szeged és Hódmezővásárhely összes óvodáját bevontuk a fejlesztéseinkbe, ők alkotják a partner-óvoda hálózatot. Ismét az volt a földrajzilag közeli óvodák kiválasztásának az oka, hogy ez a munka sok személyes jelenlétet igényel. Ezekben az óvodákban mérjük be az óvodások számára készített tesztjeinket, és itt nyílik lehetőségünk az óvoda-iskola átmenet részletesebb tanulmányozására is. Ezekből az óvodákból ugyanis többnyire szegedi iskolákba mennek a gyermekek, ahol tovább vizsgálhatjuk a fejlődésüket.

Az egyik első feladatunk a széles körben ismert és használt DIFER tesztcsomag digitalizálása volt. A DIFER elődjét, a PREFER-t Nagy József még az 1970-es évek közepén kezdte el kidolgozni, ebből – többszörös korszerűsítés, áldolgozás után – alakult ki a ma használt forma. Látszik rajt a hosszú fejlesztés és a sok tapasztalat alapján végzett módosítások eredménye, mert a hagyományos tesztekkel elérhető legjobb paraméterekkel rendelkezik. Ugyanakkor az online tesztelés újabb lehetőségeket kínál, ezért ígéretesnek tűnt a számítógépes változat elkészítése. Kiderült, hogy a DIFER bizonyos tesztjeit könnyen, más teszteket nehezebben, egyes teszteket pedig egyáltalán nem lehet átültetni a számítógépes platformra. Amely teszteket digitalizáltuk, azoknál elvégeztük a kétféle médium, a hagyományos, közvetlen szemtől-szembeni adatfelvétel és a számítógépes mérés összehasonlítását. Az eredmények azt mutatták, hogy az elektronikus formának jobbak a paraméterei, megbízhatóbbak, objektívebbek az online tesztek, mint a személyes adatfelvételre épülő.

Csak két példát említve, ilyen a beszédhanghallás és a relációszókincs teszt. A beszédhanghallás teszt hagyományos adatfelvétele esetében az ország összes óvodájában és iskolájában annyiféleképpen olvassák fel a gyermekeknek a képekhez tartozó szavakat, ahány pedagógus felveszi a teszteket. A megoldás sikeressége nem csak azon múlik, milyen tisztán hall a gyermek, hanem azon is, milyen tisztán ejti ki a szavakat a teszteket felvevő személy. Az online tesztek esetében viszont minden gyermek ugyanazt hallja, egy televízió-bemondó pontosan artikulálva olvassa fel a szövegeket. Ettől már sokat javul a tesztek objektivitása. Egy másik esetben, amikor a relációszókincs tesztben a gyermekeknek meg kell mutatniuk, hogy alatta vagy fölötte van a képen valami egy másik tárgynak, a pedagógus egy kicsit megengedőbb lehet. Elfogadja, hogy a gyermekek azt akarták mutatni, amit kell. A gép nem ilyen engedékeny, vagy azt a pontot érintette meg a tesztet megoldó gyermek, amit kell vagy nem. Így megint javul az objektivitás, sokkal jobbak lesznek a teszt paraméterei.

A korábbi tapasztalatok alapján elindítottunk egy újgenerációs, új tartalmi elemekre épülő online iskolakészültség teszt kidolgozását, ami most már a számítógépes lehetőségekre van optimalizálva. Óvodai és iskolakezdő változat készül belőle azonos tartalmi keretekre építve. Az óvodában tablet, az iskolában az ott megtalálható számítógépeken billentyű és egér felhasználásával oldják meg a gyermekek a teszteket. Az óvodában az a standard mérési módszer, hogy hat gyermek leül az asztal köré, fölteszik a fülhallgatót, megérintik a tabletet, elindul a rendszer, és onnantól kezdve csak követni kell az utasításokat, ami jön a fülhallgatóból.

Öt teszttel indítottuk el ezt az iskolakészültség mérőeszköz fejlesztést, és az első mérések alapján úgy ítéljük meg, hogy ezt szűkíteni lehet, illetve tovább lehet fejleszteni. Az első teszt az info-kommunikációs alapokat méri, vagyis lényegében azt, hogy milyen biztonsággal tudják a gyermekek az adott eszközt használni. Például, hogy a gyermekek tudják-e mit és hogyan kell megérinteni, vagy tudják-e mozgatni az ujjukkal az objektumokat a tableten (vagy egérrel a képernyőn). Ezt a tesztet kivettük abból a körből, amellyel mérünk, részben azért, mert igen magas volt a megoldási arány, vagyis a gyermekek minden előzetes képzés nélkül többnyire azonnal tudták használni az eszközöket. Ezért ezt a tesztet egy bemelegítő feladatsorrá alakítottuk, és tettünk bele visszacsatolási-ismétlési ciklust azoknak, akik hibáznak. Magyarul: addig gyakorolja a gyermek ezt a részt, amíg el nem éri a száz százalékot, és utána indul a mérés.

A második teszt eredetileg az utasítások követésének készségét vizsgálta, egy külön teszt volt, amit szintén kivettünk a tesztrendszerből, de a folyamat, ahogy erre a következtetésre jutottunk, nagyon tanulságos. Még a szovjet pszichológusok dolgoztak ki egy ilyen diktáláson alapuló feladatot, amit a finn kollegáink átvettek és használtak az iskolakészültség vizsgálatára. A lényege az, hogy a gyermekek egy kockás papírra az utasításoknak megfelelő jeleket rajzolnak. Ez egy tanórai diktálás szituációban kiválóan működött, nagyon jól mérő feladat volt, ezt ültettük át digitális alapra. Azt láttuk, és ez már közel áll a metaadatok elemzéséhez, hogy az, amit ebből meg akartunk tudni, vagyis, hogy a gyermek képes-e követni az utasításokat, sokkal pontosabban látható abból, ha az egyéb feladatok az utasításainak követését nézzük meg. Emellett látjuk az adatokból azt is, hogy melyik századmásodpercben hallotta meg a gyermek az első utasítást, és látjuk azt, hogy mikor érintette meg először a képernyőt, vagy mennyi idő telt el két feladat megoldása között. Ezekből a meta­adatokból sokkal pontosabban ki tudjuk olvasni, hogy mennyire figyelmes a tanuló, mennyire követi az utasítást, mennyire érett, mennyire felkészült arra, hogy iskolai feladatokat végezzen. Vagy, ami a nem is távoli jövőben reális kérdéssé válik, mennyire felkészült arra, hogy online módon, technológiai eszközökkel tanítani lehessen őt.

A harmadik teszt egy induktív gondolkodás teszt, az iskolakészültség-mérés nagyon fontos elemének bizonyult. Nem hullott ki a regresszió-elemzés rostáján sem, azaz az eredmények szerint a negyedik, az olvasás előfeltételeit vizsgáló, és az ötödik, a matematikatanulás előfeltételeit mérő tesztek mellett önállóan még valami fontos képességet mér. Ez utóbbi három teszt (olvasás előfeltételei, matematika előfeltételei, induktív gondolkodás) az, amelyek továbbfejlesztésén érdemes dolgozni, mert ezek a tapasztalatok szerint is jó mérőeszközöknek bizonyultak. Ezek mindegyike további résztesztekre bomlik. A feladatok szintjén, egyes feladatok javításával, vagy újabb feladatokkal való kicserélésével lehet még a tesztrendszert fejleszteni, a releváns mutatókat javítani.

A közeljövő fejlesztési feladatai

Az eDia rendszer a partneriskoláknak jelenleg alapvető szolgáltatásként évente három standard mérést tud nyújtani: a tanév elején, a tanév közepén és a tanév végén. Így a három mérés között két fejlesztési fázis adódik, az első féléves és a második féléves. A pedagógusok az első mérés alapján kitűzhetik a saját, diákokra lebontott fejlesztési céljaikat, néhány hónapig dolgoznak ezek megvalósításán, és a második mérés visszajelzi az elért eredményeket. Hasonló a helyzet a második félévben is. Ezeket a mérési adatokat felhasználva lehetőség nyílik a finn kollégáink által kidolgozott kutatásalapú pedagógusképzés filozófiájának gyakorlati megvalósítására. Ennek lényege az, hogy minden pedagógus maga is kutatómunkát végezhet, fejlesztheti saját tanítási módszereit. Ha szeretne változtatni valamit azon, ahogy tanít, kipróbálhat új módszereket, és a mérési adatok alapján megnézheti, hogy ennek mi a hozama az eredmények tekintetében.

Minden tanítási innovációt, ami az országban elérhető, ki lehet próbálni. Bárki lehet a partnerünk, és nem is kell, hogy mi tudjunk arról, hogy az iskolák milyen kísérletezésre használják a rendszert. Ha pedig pedagógusok nagyobb csoportja több iskolában vagy osztályban szeretne egy új módszert kipróbálni és az eredményeket tudományos alapossággal dokumentálni, mi segítünk a szakszerű megvalósításban. Az elért eredményeket lehet az országos reprezentatív (a kísérletben részt nem vevő) minta eredményeihez hasonlítani, és ha valamilyen speciális összetételű csoportban kerül sor a kísérletre, ahhoz is lehet illesztett mintát szervezni. Mi össze tudunk állítani a partneriskoláinkból egy olyan mintát, ami illeszkedik a kísérletben résztvevőkhöz, és meg tudjuk nézni, hogy akik nem vesznek részt a kísérletben, azoknak milyenek lennének az eredményei.

Mi magunk is elindítottuk a fejlesztő feladatok elkészítését, és ezek kiközvetítéséhez létrehozunk egy új rendszert. Az eDia rendszerrel párhuzamosan felépítjük az eLea rendszert (a név az e-learning rövidítése alapján született). Ennek szerkezete hasonlít az eDia rendszerhez, csak ebben nem mérő feladatokat, hanem fejlesztő gyakorlatokat hozunk létre. A gyakorlatoknak nem az a célja, hogy megtudjuk, hogy a tanuló mit tud, hanem trenírozzuk őket bizonyos területeken. Néhány fejlesztő eszköz már készen van, kísérleti üzemmódban ezek többsége már működik is. A hatékonyságát mi magunk bemérjük, és ha igény van rá, szolgáltatásként nyújtani tudjuk.

A következő időszak egyik feladata lesz, hogy a diagnosztikus rendszert adaptáljuk az új Nemzeti alaptanterv (NAT) által kijelölt keretekhez. A feladat nem lesz nehéz, mert a diagnosztikus rendszer eleve „NAT-barát”. A NAT ugyancsak számos ponton utal a fejlesztő mérésekre és a diagnosztikus mérésekre. A NAT 2018. augusztus 31-én nyilvánosságra hozott változatában az első két fejezetben többször is előfordul a differenciált, személyre szóló fejlesztés, aminek a támogatására az eDia rendszer lényegében létrejött. A NAT első és második fejezete az általános alapelveket fejti ki, és az 1.3.3. alfejezet az „Egyénre szabott tanulási utak, a tanulói sokféleség figyelembevétele” cím alatt foglalkozik a személyre szabott fejlesztés alapelveivel. Ezek bemutatása további három részre tagolódik: „1.3.3.1. Személyre szabott tanulás és pedagógiai támaszrendszerek”, „1.3.3.2. Személyre szabott tanulás és differenciált oktatás”, és „1.3.3.3. Általánosan alkalmazott differenciált tanulásszervezési módok”.

A mérési rendszerünknek a gondolkodás és az alkalmazás dimenzióit, ahogy korábban már jeleztem, nem közvetlenül a tantervekből vezetjük le, ezek a dimenziók azonban jelzik, milyen hatása van az aktuális tantervnek a gondolkodás fejlődésére és az alkalmazható tudás alakulására. Egyedül csak a diszciplináris dimenziót érinti közvetlenül a tantervi tartalmak változása. Az eddigi információink alapján nem sok tennivalónk van ezen a téren, mert a szövegértés, matematika és természettudomány tartalmi kereteink és az új NAT között nagyon kevés eltérés van. Mindenesetre elkezdjük a diszciplináris dimenziónk feladatbankjainak dúsítását NAT kompatibilis feladatokkal.

Összegzés

Az eDia kész a rendszerszerű üzemelésre, az 1–6. évfolyamos teljes magyar iskolás népesség felmérésére. Az elterjesztéséhez, a teljes körű használatához az iskolák többségében rendelkezésre állnak a feltételek. Még a kétszáz leghátrányosabb helyzetű iskola is bekapcsolódhat a felmérésekbe, és mivel nem szükséges, hogy minden tanuló ugyanakkor ugyanazokat a feladatokat oldja meg, tudunk olyan mérési modellt javasolni, amelyben akár néhány géppel is megoldható tesztek felvétele. A diagnosztikus rendszer támogatja a pedagógusok személyre szóló fejlesztő munkáját, emellett elkezdtük azoknak a fejlesztő gyakorlatoknak a kidolgozását is, amelyekkel a pedagógusok szükség szerint fejleszthetik diákjaikat. A rendszer, bár készen van, folyamatosan fejlődik, épít a pedagógiai kutatás és a technológiai fejlődés legújabb eredményeire. A fejlődés, a fejlesztés soha nem érhet véget.

[1] A tanulmány a konferencián elhangzott előadás szerkesztett, kibővített változata.

[2] Az eDia honlapja: http://edia.hu/