Kindrusz Pál

Intézményi belső mérési-értékelési rendszer felépítése és működtetése

Hölgyeim és Uraim!

Kedves Kollégák!

„Mérés nélkül a fejlesztés veszélyes.” mondták holland szakértők, a 2002 márciusában Pilisborosjenőn szervezett nemzetközi konferencián.[1] Természetes velejárója lenne a pedagógusok fejlesztő munkájának a mérésszakmailag jó paraméterekkel rendelkező, releváns mérőeszközök alkalmazása. (A fejlesztés mértékét az elő- és utótesztek, sok esetben ugyanazon mérőeszközök ismételt alkalmazásával tudjuk számszerűsíteni.) Senki nem vitathatja, hogy a gyermekek fejlődését mindig önmagukhoz és az elsajátítási kritériumokhoz viszonyítva kell értelmezni. Azt is el kell fogadnunk, hogy a pedagógiában is vannak dolgok, melyeket nehéz vagy egyáltalán nem is lehet számszerűsíteni. Ezért van szükség a kvantitatív és a kvalitatív megközelítések (méréses módszertanok) ismeretére és együttes alkalmazására. A mérésmetodika alapjainak ismerete nélkül, - lehetünk bármennyire elhivatottak, lelkiismeretesek vagy lelkesek – munkánk egy kontroll nélküli láncreakcióhoz hasonlatos.

A probléma az, hogy sem a gyakorló, sem a leendő pedagógusok a jelenlegi felsőfokú képzésben nem sajátíthatták (sajátíthatják) el a szakszerű mérés alapjait.

Az iskolai értékeléssel kapcsolatos problémákat – több kutatás eredményeként – az alábbi területekhez kapcsolhatjuk:

• a tanítási-tanulási követelmények nem operacionalizáltak;
• a pedagógusok mérésmetodikai ismeretei hiányosak;
• az értékelés ismert – ösztönző/motiváló, szelektív és tájékoztató/segítő - funkciói keverednek a tanári munkában;
• az egyes tanulók teljesítményéről nincs rendszerezett, megbízható információ, a visszacsatolás esetleges;
• az értékelésből származó információk nem épülnek be a tervezésbe, nem kapcsolódnak szervesen a fejlesztő munkához;
• az értékeléshez használt mérőeszközök érvényessége, megbízhatósága nem ismert; az eredmények interpretálása esetleges;
• a különböző osztályok teljesítménye nehezen összemérhető (véletlen- és szisztematikus eltérés);

A pedagógusok által végzett iskolai tevékenységek rangsorában az értékelés az utolsó előtti helyet foglalja el[2]. (Az 1-5 skálán mérve, értéke=3,8) Az utolsó  helyet elfoglaló „fegyelmezés” és az ezt megelőző értékelés a legtöbb esetben – talán emiatt is szerepelnek a sor végén - konfliktust okoznak a tanároknál. Egy MTA-OM által támogatott kutatásban 1998-ban megkérdeztünk 2100 gyakorló pedagógust értékelési szokásaikról. Arra a kérdésre, hogy „Mit vesznek figyelembe a diákok értékelése során?” igen meglepő válaszmintázatot kaptunk. Cluster-analízissel a kapott válaszok csoportosítását és egymáshoz viszonyított távolságát szemléltetve a tantárggyal szembeni attitűd és a szorgalom, valamint az előző teljesítmények alkotják az első meghatározó faktort. A gyermekek magatartása erősebb befolyást gyakorol értékelésükre, mint a pillanatnyi teljesítményük. (1. sz. ábra)

1. sz. ábra

Mérésszakmai hiányosságaik pótlását a kollégák a pedagógiai szolgáltatók 30-120 órás akkreditált képzésein, vagy a felsőoktatásban meghirdetett (4 féléves) posztgraduális kurzusokon pótolhatják. Míg a gyakorló pedagógusok többségének elegendő a pedagógiai intézetek képzése, addig minden iskolából legalább egy kollégának el kellene végeznie az egyetem mérési szakát. Szerencsés helyzetben van az az intézmény, ahol dolgozik mérésszakot végzett pedagógus. Az iskolavezetés érdeke, hogy a mérési szakos pedagógus „mérési-értékelési rendszergazdaként” felügyelje az intézmény belső értékelési rendszerét. Az iskolai eredményeket (mérés)szakmailag felkészült pedagógus tudja a leghitelesebben interpretálni. A nemzetközi, az országos és a belső mérések eredményei meg kell, hogy jelenjenek az iskola portfoliójában. (Weblapon, szóróanyagokban, tájékoztatókon stb.) A mérés-értékelés fontosságát hangsúlyozza Csapó Benő amikor azt írja:  „… A tervszerű pedagógiai munka alapvető feltétele, … ezek nélkül nincs lehetőség arra, hogy a folyamatot céljainknak megfelelően irányítsuk.”[3]

Az iskolák hatékonyságának vizsgálatával számos nemzetközi és hazai kutatás foglalkozott. A legtöbb esetben közös dimenzióként jelenik meg a mérés, tanulási képesség, képességfejlesztés, motiváltság, tanár-diák interakció.

MacKenzie[4] a hatékony iskolák jellemzőjeként három dimenzióban (vezetés, hatóerő, eredményesség) 19 indikátort talált, melyek közül számunkra a

1. folyamatos teljesítménymérés és értékelés,
2. csoport-interakció az osztályban,
3. az órai tanulás szervezettsége,
4. az alap- és a magasabb szintű készségeknek az egész iskolában kiemelten kezelése bír releváns jelentőséggel.

A nyolcvanas évek végén Hollandiában indult BGR[5] szemlélete – a gyermekek képességétől függetlenül – az individuális és differenciált csoportmunkára építve a reálisan megállapított követelmények optimális teljesítési szintjét jelölte meg feladatként. A nagy körültekintéssel megtervezett mérési rendszer szervezeti keretet biztosít intézményi szinten a problémafeltáró megbeszélések lefolytatására, az értékelésre és a fejlesztés megtervezésére. A cél az, hogy egyéni, osztály és iskolai szinten is legyenek információk a tanulók fejlődéséről. A BGR működése kapcsán szerzett kedvező személyes tapasztalatok arra ösztönöztek, hogy a modell elméleti keretét felhasználva és empirikus kutatási eredményekre építve tervezzünk egy – a magyar iskolákban 2-4 év alatt megvalósítható – mérési-értékelési rendszert.

A kutatási eredmények rávilágítottak arra, hogy a tanulói teljesítményeket nagymértékben meghatározzák a tanulót körülvevő környezeti tényezők. Bloom kb. 20%-ra becsüli az affektív szféra hatását a teljesítmények varianciájának magyarázatában. (Báthory, 1992, 51. o.)

A tanulók iskolai sikerességét, eredményességét befolyásoló tényezőket vizsgálta Orosz Sándor.[6] Az egyes faktorok determinációs hatását (a variancia magyarázott értékét) jeleníti meg a következő táblázat. (1. sz. táblázat)

Az iskolai eredményességet befolyásoló faktorok	Determinációs hatás %
Tanulási habitus	27
Tanári követelmény, értékelés	18
A tanulók tantárgyi attitűdjei	9
A tanulók neme	8
Az iskola települése	6
Osztálylétszám	5

1. sz. táblázat

A tanulók eredményességét 27%-ban az befolyásolja, hogy milyen tanulási habitust sikerül a gyermeknél kialakítanunk (optimális esetben a családdal közösen). A pedagógusok stílusa, értékelési szokása nagymértékben függ a mérésmetodikai felkészültségüktől. A gyermekek jövőjére nézve meghatározó lehet az a 18%-os hatás, melyet teljesítményük értékelésével gyakorolunk rájuk. A tantárgyakkal szembeni attitűdnek is kimutatható hatása van (9 %) a tanulói eredményességre. Mindhárom terület tesztekkel mérhető és szükség esetén fejleszthető. Az első három faktor valójában a pedagógus személyéhez, módszertani felkészültségéhez kapcsolható.

A legfontosabb „általános tanulásszervezési feladatok”-nak tekinti Báthory Zoltán a motiválás, aktivizálás és megerősítés tevékenységeit.[7]

Zsolnay József a képesség- és személyiségfejlesztés feltételeként említi a differenciált tanulásszervezés és tanulássegítés mellett a belső szabályozás meglétét. „Képességfejlesztésről nem eshet szó, ha a tanulókban a kellő motivációs rendszer mint  belső szabályozó nem alakult ki. Magyarul: erőszakos beavatkozással képesség- és személyiségfejlesztésről beszélni illúzió.”[8]

Munkánk során különös figyelmet fordítunk az MTA Képességkutató Csoportjának eredményeire. Csapó Benő számos tanulmányában felhívja a figyelmet az iskolai értékelés hiányosságaira.

„…az iskolai eredményeket nem lehet csupán a kognitív tényezőkkel megmagyarázni, nagy szerepet játszanak abban az affektív tényezők, az attitűdök, a beállítódások. … ki kell alakítani a megfelelő értékeket, attitűdöket, fejleszteni kell a motivációt. Alapvető szempont a tudásnak mint értéknek a tisztelete, …”[9]

Bábosik István és munkatársai kidolgoztak egy a tanulók pedagógia értékelését segítő eszközrendszert, amely segíti a rendszeres és strukturált információgyűjtést és a visszacsatolást.[10]

„… az értékelés optimális hatásfokú változatának az olyan informatív-instruktív értékelés tekinthető, amely nem szűkül le a tanulmányi teljesítményekre, hanem kiterjed a személyiség minden releváns komponensére és megnyilvánulására.” 

 

Ahhoz, hogy az intézmények „belső értékelési rendszeré”-ben elfogadott mérési-értékelési gyakorlaton gyökeres változtatásokat tudjunk elérni, diagnosztizálnunk kell a MIP részeként elfogadott ellenőrzési, mérési, értékelési rendszereket. A Suliszerviz Pedagógiai Intézet segítségével hét megye, közel 100 intézményében megvizsgáltuk az engedélyezett mérési-értékelési rendszereket, az alábbi szempontok alapján (2. sz. ábra):

• rendszerjellegű kapcsolata van az iskola céljaival, a tantestület fejlesztésével, az értékelés más területeivel
• kiszámítható, az érintettek által elfogadott stratégián és eszközrendszeren alapul
• az információszerzés módjai, eszközei
• az információfeldolgozás rendszere
• az adatok, következtetések hozzáférhetősége
• referenciaként feltételez-e külső mérést

2. sz. ábra

A programok 84%-ában van kapcsolat az iskola céljaival, 81%-ában tervezett az információszerzés módja, 78%-ában a kapott mérési eredmények nyilvánosak és hozzáférhetők, 22%-ában az érdemjegyek meghatározására helyezi a hangsúlyt. Az értékelési rendszerek közel 50%-ában szerepel a tanulók képességének és a tanulók teljesítményének mérése. Ezek az intézmények számítanak a központilag szervezett mérésekre. Összességében a cél-tartalom-módszer-eszközök koherenciáját vizsgálva a programok 63%-a jónak mondható, 18-19%-a fejleszthető, és ugyanennyi százaléka átdolgozásra szorulna.

A hagyományos értelemben elvégzett külső mérések információt gyűjtenek a tanulókról, és ez alapján mondanak információkat az osztályról, iskoláról, iskolatípusról. Az ilyen típusú visszajelzés – s, ehhez hasonló az országos, vagy nemzetközi mérések outputja – jó az oktatásirányításnak, fenntartónak, iskolavezetésnek, de a pedagógus munkájához kevés információt ad.

A pedagógusok nem osztályokat, iskolákat fejlesztenek, hanem TANULÓKAT, és az ő esetükben is részképességeket, képességeket. Célunk egy olyan differenciális pedagógiai környezet létrehozása, amely elsősorban a belső és csak kismértékben külső erőforrásokra támaszkodva működik.

A tanítás-tanulás eredményessége fokozható, ha ismerjük, hogy az egyes gyermekeket mi motiválja a tanulásra, milyen a tanulási stílusa, milyen stratégia szerint tanul. Az iskolába belépő gyermekek rendelkeznek-e a sikeres tanuláshoz szükséges alapkészségekkel, képességekkel, vagy az osztálytanítónak először egyéni vagy csoportos fejlesztéssel kell a gyermekeket közel hasonló szintre fejleszteni?  Elképzelésünk szerint, ha a pedagógusoknak szeretnénk segíteni, akkor meg kell mondanunk, hogy melyik gyermeknél mi az, ami nem megy, tehát a tanulókról individuális profilt kell a kollégák elé tenni. A profil alatt nem a tesztenként elért összesített pontszámot értjük, hanem a feladatsorral mért terület indikátorait. Pld. egy szövegértés teszt esetében:

	Műveletek
Tanuló	Információ visszakeresés (%)	Értelmezés (%)	Értékelés (%)
X	40	65	30
Y	90	85	70
Z	85	75	65

2. sz. táblázat

A pedagógus ebben az esetben tudja, hogy kit, miből kell fejleszteni egyéni (60% alatt) és csoportos formában (61-80% között).

Ki	Hogyan	Mit
X	Egyéni fejlesztés	Információ visszakeresés,  értékelés
X, Z Y, Z	Csoportos fejlesztés	Értelmezés Értékelés

3. sz. táblázat

Méréseink során tehát az a cél, hogy legyenek információink a tanulók fejlődéséről:

• egyéni pedagógus számára
• osztály és
• iskolai szinten iskolavezetés számára

A tanulási-magatartási problémák nagy része kezelhető, ha a tapasztalat mellet empirikus úton is információkat szerzünk a tanulókról. Az alábbi ábrán jelöltük azokat a területeket, amelyek kiindulópontot adhatnak a belső értékelési rendszer tervezéséhez.(3. sz. ábra) 

3. sz. ábra

Az általunk tervezett mérési-értékelési rendszer csak akkor valósítható meg, ha adottak a működéshez szükséges feltételek:

1. A mérések irányában elkötelezett vezetés.
2. A nevelőtestület és a vezetés bizalmát élvező, mérésszakmailag hiteles pedagógus. (Mérési-értékelési rendszergazda)
3. Innovációra fogékony nevelőtestület.
4. A pedagógiai programban elfogadott célokra épülő „Figyelőnaptár” testületi elfogadása.
5. Szisztematikusan összeállított mérőeszközök gyűjteménye. (Orthotéka)
6. Dokumentációs rendszer kialakítása, folyamatos vezetése.
7. Hatékony továbbképzések.
8. Külső szakértői konzultáció.

A mérési-értékelési modell tartalmazza mindazon területeket, amelyek lehetővé teszik az intézmények számára kialakítandó differenciált tanulásszervezés mérésének megtervezését, az eredményesség indikátorainak kiválasztását és az iskola sikerességének számszerűsítését. Természetesen egy ilyen rendszer bevezetése minden intézmény életében nemcsak pozitív, de nem várt változásokat is előidézhet. Ezekre fel kell készíteni a menedzsmentet. A vezetői elkötelezettség megléte esetén meg kell vizsgálni a nevelőtestület innovációval szembeni attitűdjét, klímáját. Kockázatelemzést kell végezni. (Javasolt a táblázatos módszer alkalmazása)

A modell intézményi bevezetését egy többszintű képzésnek kell megelőznie:

1. nevelőtestületi tájékoztatás
2. középvezetők mérésmetodikai képzése (igh., munkaközösség-vezetők) (30 órás akkreditált képzés)
3. mérési rendszergazda képzése (mérési szakértői szak, (vagy) kb. 120 órás mérési képzés)

Az iskolai megvalósítás fázisai

• Kezdeményezés (tájékozódás, tájékoztatás)
• Alkalmazás (mérési-értékelési rendszergazda képzése, fejlesztések támogatása)
• Intézményesítés (a rendszer a mindennapi munka részévé válik)

Az intézményi munka - felmenő rendszerben történő - kiépítése kb. 2-4 évet vesz igénybe.

A munka nagy részét a „mérési-értékelési rendszergazda” végzi, ezért feladatait a következőkben határoztuk meg:

• tervezze meg az intézmény tesztelési forgatókönyvét (Ezt a figyelőnaptárnak nevezett táblázatot minden iskola (óvoda) saját arculatára kell, hogy alakítsa. Szerepelhet benne az OMR is. A tanév indításakor kell, hogy ismerje: pedagógus, gyermek, szülő)
• szerezze be a szükséges mérőeszközöket, feldolgozó szoftvereket
• segítse kollégáit a mérések szervezésében
• segítse kollégáit a fejlesztési tervek elkészítésében
• informálja a vezetést a mérési eredményekről
• dokumentálja a mérések eredményeit (osztályonként és tanulónként tárolja a fejlesztési terveket)
• gyűjtse a mérőeszközöket (Az orthotékának nevezett tesztgyűjteményt ő alakítja ki.)

Munkájuk intézményesítését az jelenti, hogy a problémák mennyiségétől függően munkaközösség vezetői státuszban (heti) 2-5 óra kedvezményben részesülnek.

A rendszer bevezetésével lehetővé vált az adott évfolyamokon, a tanulók önmagukhoz viszonyított teljesítményének nyomon követése, a fejlesztés folyamatának, lépéseinek tervezése, az alapkészségek szintjének megismerése, a következő időszak tennivalóinak meghatározása.

Köszönöm megtisztelő figyelmüket!

 

[1] A Magyar-holland Oktatási Együttműködés részeként  2002. március 4-5. –én  rendeztek „A mérés-értékelés módszertana és gyakorlata” címmel konferenciát Pilisborosjenőn az OM, a KÁOKSZI, az OKÉV és a PEDIG Mérési Szakcsoportja képviselőinek részvételével.

[2] Nagy M. (1996) „Kérem, értékelje az alábbi tevékenységeket aszerint, hogy mennyire szívesen végzi!”

[3] Csapó Benő: A tanulói teljesítmények értékelésének méréses módszerei. MM Vezetőképző és Továbbképző Intézete, Veszprém, 1987/88.

[4] MacKenzie, D. E. (1983): Research for school improvement: An appraisal of some recent trends. Educational Researcher, 12. 5-19.

[5] A Belső Gondozói Rendszer – a CED Rotterdam-MPI Magyarország Projekt 1998-2001 keretén belül - a megyei pedagógiai intézetek segítségével megvalósult néhány magyar óvodában és iskolában.

[6] Dr. Orosz Sándor (1993): Pedagógiai mérések. Korona Kiadó

[7] Báthory Zoltán (1992): Iskolák, tanulók-különbségek. Tankönyvkiadó, Budapest. (44. o.)

[8] Zsolnay József: Képességfejlesztés alulnézetből

[9] Csapó Benő: A tudáskoncepció változása: nemzetközi tendenciák és a hazai helyzet.  Új Pedagógiai Szemle >  2002. február

[10] Bábosik István – Békési Kálmán – Busi Etelka – Lénárd Sándor– Rapos Nóra Szöveges értékelő eszközcsomag fejlesztése, kísérleti bevezetése és beválásvizsgálata Új Pedagógiai Szemle,  2004. április-május