Dr. Molnár Gyöngyvér

Az óvoda és az iskola feladatai
az értelmi képességek fejlesztése terén

„Amit nem tudunk megmérni, azon nem tudunk javítani.”

Kelvin

Az oktatási rendszer teljesítménye alapvetően meghatározza az élet minőségét, a gazdaság fejlődését, a fenntartható fejlődés lehetőségeit és ezzel párhuzamosan Magyarország nemzetközi helyzetét. Ma már empirikusan bizonyított, hogy szoros kapcsolat van a társadalom által birtokolt tudásvagyon, az oktatási rendszer sikeressége és a társadalmi-gazdasági fejlődés hosszú távú trendje között (lásd: OECD, 2010a). Mivel a munkafolyamatok gyorsan változnak, a modern munkavállaló egyik legfontosabb képessége a tanulás és a megtanult ismeretek, az elsajátított készségek alkalmazásának képessége (OECD, 2013a). A 21. század társadalmában egyre kevesebb olyan munka van, amelyet megfelelő szintű írástudás, kommunikációs készség és infókommunikációs műveltség nélkül lehet végezni, az iskolázás folyamatos és fokozatos fejlesztése nélkül nincs társadalmi-gazdasági fejlődés (Csapó, Nikolov és Molnár, 2011). Az Európai Unió 2020-ra megfogalmazott célkitűzései (intelligens, fenntartható és inkluzív növekedés) is szoros kapcsolatban vannak az oktatással, miután olyan gazdaságot tételeznek fel, amely a tudásra és az innovációra épül. Ennek érdekében az EU javasolja tagállamainak az oktatás fejlesztését, például a gyengén olvasók vagy az iskolából kimaradók számának szisztematikus csökkentését és az egyetemek minőségi fejlesztését (European Commission, 2010a, b).

A tanulmány négy nagy tematikus egységbe szerveződik. Az első részben áttekintjük, mit mutatnak az adatok, hogyan jellemzik a magyar iskolarendszer eredményességét nemzetközi összehasonlításban történelmi perspektívából. A második egységben felvázoljuk oktatási rendszerünk néhány jellemzőjét, amelyek alapvető változtatásra szorulnak. A harmadik egységben a tudományos alapokra helyezett változtatások főbb irányvonalait ismertetjük, míg végül a tanulmány negyedik egységében a diákszintű megfelelő beavatkozás megválasztását segítő diagnosztikus értékelési rendszer bemutatására kerül sor.

A magyar iskolarendszer eredményessége nemzetközi összehasonlításban történelmi perspektívából

A magyar oktatás világszinten is kiemelkedő teljesítményét jelezte többek között a 1970-es és 80-as években végzett nemzetközi tudásszintmérő vizsgálatokon a magyar tanulók által elért kiemelkedő eredmény. A 80-as években az IEA szervezet TIMSS kutatásán diákjaink mindenkit megelőzve a világ élvonalában teljesítettek (12. ábra).

Az ezredforduló OECD PISA eredményei ezek után mindenkit sokkoltak, szembesülnünk kellett azzal, hogy már nem vagyunk a világ élvonalában, de még a fejlett országok átlagos teljesítményét mutatták 15 éves diákjaink. Az oktatási rendszer minden egyes szintjén máshogy interpretálták ezeket az adatokat, átütően jelentős mértékkel bíró pozitív irányú változtatás nem történt oktatási rendszerünkben. Ennek következtében az ezredforduló után 14 évvel összekötve a három évenként felvételre kerülő PISA kutatások hazai vonatkozású eredményeit (OECD, 2010c) nem egy olyan típusú görbével találkozunk, amit látni szeretnénk (13. ábraHiba! A hivatkozási forrás nem található.).

Nézzük meg, hogyan alakult ugyanezen időintervallumban a magyar diákok teljesítménye azon a felméréssorozaton, amelyen az 1970-80-as években a világ élvonalában voltunk (14. ábra). Az előzőhöz hasonló görbével találkozunk, azaz valami megváltozott és a változás iránya nem kedvező a magyar oktatási rendszer sikeressége és ezért a társadalmi-gazdasági fejlődésünk szempontjából sem.

A továbblépés szükséges feltétele annak ismerete, hogy van-e esély a változtatásra, van-e mód letérni erről a fejlődési görbéről, amivel jelen pillanatban oktatási rendszerünk hatékonysága jellemezhető. Első lépésben nézzünk meg néhány olyan országot, akik kulturálisan, történelmi szempontból hozzánk közel állnak és a 2000-es PISA kutatásban hasonlóan teljesítettek, mint a magyar 15 éves diákok. Akár Lengyelországot, akár Németországot vesszük górcső alá, a legutóbbi PISA felméréseken mindkét ország diákjai mindhárom vizsgált területen szignifikánsan jobban teljesítettek, mint a magyar 15 éves diákok. A teljesítményváltozás mögött természetesen nagyon sok oktatási beavatkozás áll.

12. ábra: A TIMSS kutatássorozatban a 8. évfolyamos (14 éves) diákok
teljesítményváltozása 1970–71 és 1983–84 között

Második lépésként nézzünk meg néhány olyan ország diákjainak teljesítményváltozását, akik 2000-ben még sokkal alacsonyabban teljesítettek, mint a magyar diákok, de gyorsan fejlődő oktatási rendszerük következtében jelentős mértékben változott átlagos képesség-fejlettségi szintjük az érintett három területen az elmúlt közel 15 év távlatában. Ha a jelenlegi fejlődési trendek nem változnak meg, akkor például Kazahsztán 2016-ban, Malajzia és Törökország 2018-ban, Mexikó 2027-ben, Brazília 2028-ban utoléri, majd leelőzi a magyar 15 éves diákok teljesítményét (Csapó, 2014). Mindezek alapján levonható az a következtetés, hogy jól irányzott oktatáspolitikával van remény a változtatásra, hisz számos országnak sikerült már új pályára állítani oktatási rendszere sikerességét.

A szükséges beavatkozások definiálása során nemcsak a diákok átlagos teljesítményszintjéből érdemes kiindulni, lényeges annak ismerete is, hogy milyen arányban szerepelnek a 15 évesek között a legalacsonyabb és a legmagasabb képességszintű diákok. A PISA legfrissebb kutatási eredményei alapján 15 éves diákjaink közel 20%-a gyakorlatilag funkcionális analfabéta. Felismerik a betűket, lehet, hogy még a szavakat is ki tudják olvasni, de értő olvasási szintjük nincs olyan szinten, ami elegendő lenne a mindennapi életben, a munkában történő boldoguláshoz. Ők potenciális munkanélküliek, nem fognak tudni elhelyezkedni a munkaerőpiacon. A matematika területén ez az arány huszonnyolc százalék, a tendenciákat tekintve fokozatosan nő. Az érintett diákpopulációban vajon milyen arányban vannak a legmagasabb képességszintű diákok? Matematikából a 15 évesek 2,1%-a, természettudományokból 0,5%-a teljesített a legmagasabb szinten. Ez azt jelenti, hogy a 15 évesek 0,5%-a képes arra, hogy az általunk is elvárt szinten el tudjon végezni egy természettudományos szakot az egyetemen. Ez nagyon kevés, ezen rendszerszinten változtatnunk kell. Változásra van szükség! A problémát 2014-re félig megoldottuk, hiszen az oktatási rendszer minden egyes szintjén felismertük, bevallottuk, hogy probléma van, változásra van szükség, ami változás és változtatás tovább nem odázható el. De hol érdemes kezdeni a beavatkozásokat? Hova koncentráljuk az energiáinkat? Mit tehetünk? Mit tegyünk?

A kora-gyermekkori nevelés fontossága

A nemzetközi szakirodalomban az elmúlt évtizedben sok elemzés fókuszált arra, hogy ha egy oktatási rendszer kimenetét pozitív irányban drasztikusan meg szeretnénk megváltoztatni, ha egy ország oktatási rendszerét új pályára szeretnénk állítani, akkor hova koncentráljuk az energiáinkat (lásd: OECD, 2010a, b; 2013b). Az elemzések egyértelműen azt mutatják (15. ábra), hogy az oktatási befektetések megtérülési rátája akkor a legmagasabb, ha azt a kora gyermekkorra fókuszáljuk. Az elemzéseket kiegészítve a diákok társadalmi hátterével, egyértelműen a hátrányos helyzetű tanulók korai támogatására érdemes fordítani a forrásokat. A hátrányok kiegyenlítésével nagy hozamot lehet elérni (Csapó, Nikolov és Molnár, 2011). A közoktatás végén fordított helyzet bontakozik ki, akkor a már kialakult lemaradásokat csak jelentősebb erőfeszítéssel lehet behozni, a felsőoktatásban és a felnőttképzésben pedig egyértelműen a legkiválóbbak támogatásával lehet elérni a legnagyobb eredményt.

Ezen eredmények nemzetközi szinten is felhívták a figyelmet a sikeres iskolakezdés fontosságára. Ha a gyerekek sikeresen kezdik az iskolát, az már tanulmányi eredményességük egyfajta záloga is. Ha az elemzések mögött meghúzódó modellbe belevesszük a magyar iskolarendszer nemzetközi szinten is rendkívül szelektív sajátosságát (Csapó, Molnár és Kinyó, 2009), akkor még jelentősebb hangsúlyt kap az induló szint fontossága.

Ezt támasztják alá a rezilienciával kapcsolatos elemzések is. Magyarországon 4%-os a reziliencia (OECD, 2013b), ami azt jelenti, hogy azon diákokból, akik a beiskolázáskor a legalacsonyabb képességszinten teljesítenek a kötelező iskoláztatás végére mindösszesen a diákok 4%-a kerül át a magasan teljesítő diákok közé. Van ország, ahol ez 20–30%. Ezen mindenképp változtatnunk kell, mert nagy lehetőségeket rejt fejlesztés szempontjából.

15. ábra: Az oktatási befektetések megtérülési rátája az életkor függvényében,
az alacsony és a magas társadalmi státuszú tanulók esetében

Oktatási rendszerünk kimenetét alapjaiban meghatározó jellemzők

Oktatási rendszerünk egyik fő jellemzője a tananyag-központúság. Mindenki ugyanakkor ugyanazt, ugyanannyi ideig tanulja, és nem veszi figyelembe a diákok fejlődésében rejlő fáziskülönbségeket. Egy mindennapi példával szemléltetve: különböző életkorban kezdünk járni tanulni, különböző ideig tart, amíg megtanulunk járni és ezek egyike sem határozza meg azt, hogy megtanuljunk járni. Attól függetlenül lehet valakiből gyaloglóbajnok, hogy későn kezdett el megtanulni járni és sok ideig tartott neki, amíg megtanult járni. Mindeközben szüleink türelmesek voltak velünk, nem siettettek és nem löktek el minket, ha néhány hét alatt nem sikerült megtanulnunk járni. Ezt a filozófiát kellene az oktatásban is alkalmazni. A gyerekek közötti különbségekre a magyar oktatási rendszer buktatással és homogenizált csoportokkal reagált, ami, ahogy megismerhettük az eredményeket, nem egy sikeres válaszreakció.

Vajon fejlesztjük és tanítjuk a 21. század iskolájában a 21. század kulcsfontosságú képességeit? Az oktatás tervezése során figyelembe vesszük a társadalomban végbemenő változásokat? Ténylegesen vannak bizonyos személyiségvonások, mint például az intelligencia, ami tíz év távlatában sem változik drasztikusan. De vannak olyan területek, például az informatika, ami jelentős változáson esett át. Egy tíz évvel ezelőtt tanuló diák sokkal kevesebb ismerettel rendelkezett ezen a területen, mint a mai diákok. A 21. század társadalmában sokkal gyorsabb az információáramlás, a befogadás és ezért megváltoztak információfeldolgozási folyamataink is. A mostani gyerekek ennek következtében máshogy gondolkodnak, más tanulási szokásokkal rendelkeznek, mint mi rendelkeztünk, amikor iskolába mentünk. A mai gyerekek szeretnek egyszerre sok mindennel foglalkozni, kevesebb időt töltenek hagyományos olvasással, kézzel történő írással, de több időt töltenek számítógép előtt.

Tekintsünk kicsit vissza, milyen volt az iskola, amikor mi iskolába mentünk? Tanítottak nekünk 21. századi képességeket? Fejlesztették együttműködő problémamegoldó képességünket, kritikus gondolkodásunkat? Nyomtatott könyvekből tanultunk. Kihasználták a pedagógusok a multimédia adta lehetőségeket? Nem, miután még nem is volt. Minden előre megtervezett volt. Szakértők által írt könyvekből tanultunk, ezért fel sem merült bennünk, hogy az nem helyes, ami a könyvben szerepel. Ezért nem tanítottak meg minket a kérdezés tudományára, nem kellett olyan kérdéseket feltennünk, hogy miért, hogyan, mi van ha? Nem volt Google, nem voltak blogok, ha információhoz szerettünk volna jutni, könyvtárba mentünk, ami több időt vett igénybe, mint ma egy internetes keresőben kulcsszó alapján rákeresni a kérdéses információra. Vajon ma ezek megjelennek a tantervben? Vannak országok, ahol igen. (Graesser, 2012)

Melyek azok a területek, ahol fokozottabb odafigyeléssel érdemes eljárni egy ország oktatási rendszerének új pályára állítása során? Az egyik legfontosabb a behozhatatlan induláskori lemaradások megelőzése. Ezen a téren kiemelkedő szereppel bír az óvoda és az óvodai fejlesztések, az írás, az olvasás, a számolás, az anyanyelvi ismeretek, a gondolkodási képességek előfeltételeinek fejlesztése.

A kötelező iskoláztatás első négy évében eldől a diákok tanuláshoz való viszonya, kialakulnak tanulási szokásaik, jelentős mértékben fejlődik énképük, kialakulnak jövőbeli céljaik, a tudás, a tanulás iránti motivációjuk. Az oktatás sikerességének új pályára állításához nélkülözhetetlen a tananyagot közvetítő iskola meghaladása és a tanulók közötti különbség, mint fejlődésbeli fáziskülönbség kezelése, a lényeges és a lényegtelen tananyagelemek szétválasztása. Ennek egy manifesztációja, hogy az alapvető készségek, képességek tekintetében mindenkit, minden egyes diákot el kellene juttatni a képességfejlettség továbblépéshez szükséges kritériumszintjéig. Ne mehessen senki se úgy felső tagozatba, hogy nem tud írni, olvasni, számolni, anyanyelvi és gondolkodási képességei nincsenek megfelelő szinten. Ha ennek hiányában lépnek a diákok felső tagozatba, eleve kudarcra van ítélve tanulásuk, iskolai sikerességük. Mindennek alapvető feltétele, hogy meg kell tudnunk állapítani azt, hogy hol tart a diák a legfontosabb képességek, készségek fejlődése tekintetében. A diagnosztikus mérés-értékelés alkalmazása segíti a megfelelő fejlesztési beavatkozás megválasztását.

A diagnosztikus értékelés szerepe és az eDia rendszer

A diagnosztikus, segítő-fejlesztő értékelés időigényes, mert sokszor kell alkalmazni, sokszor kell használni a teszteket, ezért sok tesztet, sok feladatot igényel, ami jelentős mértékben megdrágítja egy diagnosztikus értékelési rendszer felállítását és a diagnosztikus értékelés bevezetését.

Diagnosztikus értékelés esetén méréselméleti szempontból a különböző képességszintű diákokat nem mérhetjük ugyanazokkal a tesztekkel. Ha képességszinttől függetlenül ugyanazokat a teszteket alkalmazzuk, akkor nagy mérési hibával dolgozunk, valamint az alacsony képességszintű diákokat frusztráljuk, a magas képességszintű diákokat esetlegesen untatjuk a teszteléssel, ami nem jó nekik. Az a jó, ha a megoldandó teszt, megoldandó feladatok nehézségi szintje illeszkedik a diákok képességszintjéhez. Ebben az esetben sokkal pontosabb visszacsatolást tudunk biztosítani a diák valódi képességszintjéről és a diák sem unatkozik vagy frusztrálódik a mérés alatt, sőt élvezi azt. Papír alapon ez nem kivitelezhető, számítógép alapon viszont igen. De vajon van lehetősége a magyar pedagógusoknak arra, hogy használjanak egy ilyen rendszert, egy számítógép alapú diagnosztikus rendszert? Igen.

Az eDia egy online diagnosztikus mérés-értékelési rendszer (Molnár és Csapó, 2013), amely egyesíti mindazon ismeretünket, tudásunkat, amit az elmúlt 20–30 évben a szegedi műhely vonatkozó papír alapú kutatásai kapcsán összegyűjtöttünk, plusz integrálja a technológia mérés-értékelés terén nyújtott lehetőségeit és előnyeit. Az eDia-rendszerben futó feladatok elsősorban az első hat évfolyamra készülnek olvasás-szövegértés, matematika és természettudomány területeken. Mindhárom területen egy háromdimenziós modell nyugszik a feladatfejlesztés mögött (részletesen: Csapó és Csépe, 2012; Csapó és Szabó, 2012; Csapó és Szendrei, 2011). Például a matematika feladatok harmada a diákok gondolkodási képességeit méri, másik harmada a TIMSS kutatások feladataihoz állnak közel és tantervi tudást mérnek, harmadik harmada a PISA feladatokhoz hasonló alkalmazás jellegű feladatokat tartalmaz.

A matematika és természettudományos feladatok instrukciói első, második és harmadik évfolyamon meghallgathatóak, miután nem a diákok olvasási képességének a fejlettségi szintjét szerettük volna diagnosztizálni e feladatok kapcsán. Változatos feladatformákkal (16. ábra) és válaszadási lehetőségekkel találkozhatnak a diákok és olyan feladatokkal is, melyek papír alapú kivitelezése nem megvalósítható (például: egy madár felismerése annak hangja alapján).

16. ábra: Egy matematikai alkalmazás (első évfolyamos eDia feladat)

Mindenkiben felmerülhet a kérdés, hogy miért csak a matematika, miért csak a természettudományok és miért csak az olvasás. Miért csak ez a három fő műveltségi terület, ami a PISA kutatásokban és az Országos kompetenciamérésen is szerepet kap – utóbbi esetben csak kettő a három fő műveltségi terület közül –, hiszen nagyon lényeges a különböző művészeti területekre, egészségműveltségre, gazdasági műveltségre, idegennyelv tudásra, általános gondolkodási képességekre stb. vonatkozó képességek, készségek iskolai fejlesztése is. Ennek következtében a projekt keretein belül 14 további területre (minorterület) dolgozunk ki teszteket (például: gazdasági műveltség, zenei képességek, induktív gondolkodás, problémamegoldás, kreativitás, IKT műveltség, motiváció, egészségműveltség, vizuális képességek).

Ha összeáll a rendszer, elnyeri végleges állapotát, akkor személyre szabottak lesznek a feladatok és a tesztek. A diákok annak fényében kapják a tesztelés folyamán a feladatokat, hogy milyen teljesítményt nyújtottak a teszt addigi feladatain. Ha valaki rosszabbul teljesít a teszt elején lévő átlagos nehézségű feladatokon, akkor ő egyre könnyebb feladatokat fog kapni, ha valaki viszont jól teljesít, akkor egyre nehezebb feladatokat oszt számára a rendszer a tesztelés során. A teszt utolsó feladatának megoldása után a diákok már nem csak egy százalékos visszajelzés kapnak, hanem objektív viszonyítási pontokkal és kritériumszintekkel ellátott visszacsatolást. A partneriskolai hálózatunkban lévő és a rendszert használó pedagógusok a tesztelés után azonnal látni fogják, hogy például ötödikes tanítványaik teljesítménye hol helyezkedik el az országban lévő többi ötödikes diák teljesítménye között és az hogy viszonyul a továbblépéshez szükséges kritériumszinthez. Ez egy kulcsfontosságú, ugyanakkor az oktatási rendszerünkből jelen pillanatban hiányzó információ. (Az intézményi és nem diákszintű étékelésre fókuszáló Országos kompetenciamérés eredményei csak néhány évfolyam kapcsán és hét hónapos visszacsatolási idővel ad hasonló információt a pedagógusok számára.) A gyakori, gyors és objektív viszonyítási pontokkal ellátott online diagnosztikus értékelési rendszer segíteni fogja a tanulási nehézségek korai azonosítását is. Miután a diákok mérési azonosítóval tudnak belépni a tesztekbe, ezért megvalósítható a diákok fejlődésének nyomon követése is.

A pedagógusok és diákok visszajelzései alapján a tanulók szeretik megoldani ezeket a feladatokat, egyfajta játékként és nem tanulásként tekintenek rá. Miért jó azoknak az iskoláknak, akik csatlakoznak az eDia-rendszerhez? Diákjaik már most is gyakorolhatják a számítógép alapú tesztek megoldását és felkészülhetnek a jövőbeli tesztekre. (A PISA mérések 2015-től már számítógép alapon valósulnak meg és eljön az az idő, amikor a kompetenciavizsgálat feladatai is számítógépen lesznek.)

Mennyire elfogadhatóak az eredmények? Gyakorló pedagógusok, feladatírók írják és szerkesztik a rendszerben futó feladatokat, melyek többszörös lektori körön esnek át, mielőtt kiközvetítésre kerülnek. A három fő terület dimenziófelelősei az adott szakterület elismert szakemberei. Mindazonáltal, amire a rendszer és a tesztek mögött lévő indexelt és skálázott feladatbank összeáll, empirikus adatfelvételen is átesnek ezek a feladatok. Ennek következtében, ha véletlenül egy-egy nem jól működő feladat be is kerül a rendszerbe, empirikus mutatói kizárják azt a végleges feladatbankból.

Mikor alkalmazható jelenleg a rendszer? Közel a teljes tanév folyamán három mérési ciklus segítségével. Az első mérési ciklus szeptember elejétől november közepéig tart, ahol az iskolákba lévő kisiskolásoknak lehetőségük van egy számítógép-használati teszt és az eDIFER megoldására, 2–7. évfolyamos diákok pedig 1–6. évfolyamosok részére készült feladatok segítségével tesztelhetik magukat a három fő területen. Ezt követi majd egy téli, valamint tavasszal egy 1–6. évfolyamos diákokat célzó adatfelvételi periódus. Ha összeállt a rendszer, azaz elegendő információval rendelkezünk a közel 10.000 kidolgozásra kerülő feladat kapcsán, akkor a partneriskolai hálózatokban lévő pedagógusok bármikor használhatják az eDia-rendszert.

Jelen pillanatban több mint 650 általános iskola (és a minorterületek kapcsán több mint 100 középiskola) csatlakozott az eDia használatához. A térképvázlat (17. ábra) a csatlakozott általános iskolákat mutatja, de várjuk további iskolák jelentkezését is (edia.hu honlapon elérhető regisztrációs űrlap segítségével).

17. ábra: Az eDia rendszerhez csatlakozott általános iskolák eloszlása 2014-ben

Irodalomjegyzék

Csapó Benő (2014): Értelmezési keretek a PISA 2012 eredményeihez. Előadás. Rendszerszintű mérések az oktatásban. PISA 2012. Szeged, 2014. január 25.

Csapó Benő és Csépe Valéria (2012): Tartalmi keretek az olvasás diagnosztikus értékeléséhez. Nemzeti Tankönyvkiadó, Budapest.

Csapó Benő és Szabó Gábor (2012, szerk.): Tartalmi keretek a természettudomány diagnosztikus értékeléséhez. Nemzeti Tankönyvkiadó, Budapest.

Csapó Benő és Szendrei Mária (szerk.): Tartalmi keretek a matematika diagnosztikus értékeléséhez. Nemzeti Tankönyvkiadó, Budapest.

Csapó Benő, Molnár Gyöngyvér és Kinyó László (2009): A magyar oktatási rendszer szelektivitása a nemzetközi összehasonlító vizsgálatok eredményeinek tükrében. Iskolakultúra, 2009. 3–4. sz. 3–13.

Csapó Benő, Nikolov Marianne és Molnár Gyöngyvér (2011): Az oktatás szerepe a nemzeti erőforrások fejlesztésében. Nemzeti Fenntartható Fejlődési Keretstratégia. Háttértanulmány.

European Commission (2010a): New skills for new jobs: Action now. A report by the Expert Group on New Skills for New Jobs prepared for the European Commission. European Commission, Brussels.

European Commission (2010b): Europe 2020. A strategy for smart, sustainable and inclusive growth. European Commission, Brussels.

Graesser, A. C. (2012): Foreword. In.: Mayrath, M. C., Clarke.Midura, J., Robinson, D. H. és Schaw, G. (2012): Technology-based assessment for 21st centruy skills. Information Age Publishing, Charlotte, NC. VII–IX.

Keeves, J. P. (1992): Learning science in changing world. Cross-national studies of science achievement: 1970 to 1984. IEA.

Molnár Gyöngyvér és Csapó Benő (2013): Az eDia online diagnosztikus mérési rendszer. XI. Pedagógiai Értékelési Konferencia. Szeged, 2012. április 11–13. 82. o.

OECD (2010a): The high costs of low educational performance. The long-run economic impact of improving PISA outcomes. OECD, Paris.

OECD (2010b): PISA 2009 Results, Vol. IV.: What makes a school successful? Resources, policies and practices. OECD, Paris.

OECD (2010c): PISA 2009 Results Vol. V.: Learning trends. Changes in student performance since 2000. OECD, Paris.

OECD (2013a): OECD Skills Outlook 2013. First results from the survey of adult skills. OECD, Paris.

OECD (2013b): PISA 2012 Results: Excellence through Equity. Giving every students the chance to succeed. OECD, Paris.

 

[1] Forrás: Keeves, 1992. 15. o.

[2] Forrás: Csapó, 2014

[3] Forrás: Csapó, Nikolov és Molnár, 2011. 61. o.