Máté István

A generatív mesterséges intelligencia,
a nagy nyelvi modellek és a kiterjesztett valóság
együttes oktatástámogatási lehetőségei

AI kitekintés

Előadásom első részében kitekintést nyújtok arra vonatkozóan, hogy most hol tartunk a nagy mesterségesintelligencia-útvonalon haladva. A fejlettség mely szintjét értük el, és mi a következő állomás. Ezek alapján legkésőbb 2030-ra elérjük az általános mesterséges intelligencia szintjét (AGI) és kb. 2050 környékére – nagy valószínűséggel – a mesterséges szuperintelligencia szintjét (ASI).[1]

A mesterséges intelligenciák várható elérésének prognózisa (saját szerkesztés)

Előadásom ezt követő részében a Deloitte tanulmányából idézve bemutattam azokat a felhasználási területeket arányaiban is, amelyeken alkalmazzák a mesterséges intelligenciát.

VR kitekintés

A VR területre átlépve bemutattam a versenypiaci körülmények között leginkább elterjedt VR- és AR headset-eket, valamint egy módszertani alapot arra vonatkozóan, hogy miként lehet egy egyszerű LiDAR-szenzorral felszerelt eszközt aktívan az oktatás és az oktatástechnológia szolgálatába állítani stratégiai és technikai szinten is.[2]

Mire használják az AI-megoldásokat az üzleti világban? (saját szerkesztés)

Együttes oktatástámogatási lehetőségek

Beszámoltam arról, hogy az AI-alapú szoftveres eszközök és a VR/AR-eszközök külön-külön is milyen oktatástechnológiai potenciállal rendelkeznek. Különböző kutatások alapján kijelenthető, hogy potenciálisan magas hozzáadott értékkel rendelkezik a technológia tárháza a bevésődés és az információ átadás területén:

• Az AI-alapú tanulási elemzések és a VR szimulációk együttes alkalmazása lehetővé teszi a személyre szabott oktatást, különösen azokban a közösségekben, ahol a hagyományos oktatási erőforrások hiányosak.[3]
• A VR segítségével új készségeket és ismereteket sajátíthatnak el a hátrányos helyzetű gyermekek, csökkentve a társadalmi kirekesztettséget.
• A VR-alapú képzés akár négyszer gyorsabb lehet, mint a hagyományos osztálytermi képzés.[4]
• A VR oktatási játékokat használó diákoknál 20–40%-kal jobb tanulási eredmények voltak megfigyelhetők, mint azoknál, akik hagyományos oktatási módszerekkel tanultak.[5]
• A VR-t használó diákoknál akár 30%-kal is javulhat a tananyag megértése és visszahívása, összehasonlítva a hagyományos tanulási módszerekkel.
• A VR/AR alapú oktatási játékok általánosságban pozitív hatással vannak a diákokra.[6]

Hol tartunk a virtuális valóság és a kiterjesztett valóság alkalmazásában? Hogyan alkalmazhatók a gyakorlatban?
(saját szerkesztés; a képek forrása: www.apple.com, www.meta.com)

Az oktatási perspektívák a különböző szinteken

Egy tucat oktatástechnológiai és digitális tananyagfejlesztési lehetőséget különítettem el, a szóbanforgó technológiák felhasználására. A pedagógia stratégiai taktikai és technikai szinten történő fejlesztéséhez járulhat hozzá a technika. Ezen szintek általam a gyakorlatban tesztelt és saját diplomamunkámban, valamint felnőttképzésben bevezetett módszertanát mutattam be.

A technikai szint, avagy a gyakorlati alkalmazás lehetőségei

VTS –Tükörinstruktor

Az ötlet lényege, hogy önmagam virtuális ikertestvérének megalkotásával még többet hozzak ki a tanfolyamból, egy 0–24-ben elérhető mentort adjak a hallgatóim kezébe. Ez egy többlépcsős folyamat, melyből már csak az utolsó lépés hiányzik. Jelenlegi formájában már alkalmas online videó tananyagok létrehozására, így minden videóm egységességet sugároz.

AI tükörinstruktor (képalkotás módja: biometrikai jellemzők alapján, az AI által generált kép; szoftver: Heygen.com)

Az Interaktív avatarok

Az interaktív avatarok az előző módszer fejlesztett változatai, amikor a vizuális videós válaszadási idő lecsökken pár száz milliszekundumra. A lehetőség kiaknázásához a Heygen szolgáltatás Interaktív avatarjainak működésére mutattam valós idejű, beszélgető példát.

A Heygen interaktív avatar (bal oldalt) és egy élő ember (jobb oldalt) egy videokonferencián. (forrása: LinkdIn)

Önellenőrzés és mérésértékelő segéd (VTS-GPT asszisztens)

Egyik új elemként a virtuális önellenőrző tanársegéd VTS-GPT modellt hoztam létre. Ezzel az önellenőrzés egy teljesen új, lényegesen izgalmasabb módozatán történhet meg. Az VTS segít a kiértékelésben is a tanár irányában. A viselkedése és a működése általam szabályozott, és mint egy valódi tanársegéd, jelent nekem. A tanulót kikérdezi, automatizált módon értékelési javaslatot tesz számomra, aki a végleges értékelést jóváhagyom és kiegészítem, ha szükséges.

Egy önálló GPT-modell betanítása
(bal oldal: a preferenciák megadása, jobb oldal: a végeredmény előnézete)

Adaptív, személyre szabott tanulási útvonal

A nagy nyelvi modellek fejlődésével arra szintre jutottunk pl. az Open AI „o”-szériás modelljei segítségével, amely már valós idejű beszélgetést tesz lehetővé érzelmi funkciók figyelésével és imitálásával is. A megfelelően promtolt, tanulást segítő VTS-modell képes egyéni útvonalat biztosítani a gyermek/tanuló/hallgató tanulási képességeihez alkalmazkodva. Ez alatt azt értem, hogy érzékeli az értelmezési zavart, érzékeli, ha a tanulás üteme alacsony, vagy nagyobb, majd ennek megfelelően adja át a tananyagot. Képes idomítani a kontextust az aktuális helyzethez vagy életkorhoz igazodva. Ezáltal olyan példákat képes behozni, amelyek közelebb állnak a tanuló élethelyzetéhez.

Történetszerűség és vizuális narratív megoldások alkalmazása

A narráció lehet hangoskönyv formátumú, de megvalósulhat akár egy-egy jelenet kitalálásában és közös elvégzésében is. Nincs szükség hozzá speciális eszközökre, csak közös munkára. A többit az AI-eszközök elvégzik. Amennyiben magasabb életkorú diákok a célközönség, ott szakkör jelleggel – akár a KAP-programhoz illeszkedve – be lehet vonni egyéb szoftveres környezeteket is – akár az Adobe termékcsalád AfterEffects vagy Photoshop szoftvere –, melyek képesek kivágni a hátteret, vagy minimális tanulási görbe mellett megkülönböztetni az előtér/középtér/háttér elemeket. Ezeket elsajátítva bármilyen környezetet képesek vagyunk filmstúdióvá átalakítani. Erre hoztam példát, melyben bemutatom, hogyan tettem bele a saját kisfiamat egy teljesen hétköznapi környezetből saját kérésére egy meseszerű jelenetbe mindösszesen pár perc leforgása alatt. A használt eszközök a már említett termékcsalád AI-támogatott termékei, valamint a Midjourney voltak.

A valós felvételből (bal oldal) a szerző közreműködésével, részben AI-generált kép (jobb oldal).
(forrás: saját felvétel, eszközök: Midjorney, Adobe AfterEffects, Adobe Photoshop)

Ezt követően példákat mutattam be arra vonatkozóan, hogy ezt néhány számítógép segítségével hogyan végeztük el általános iskolákban, ahol a diákokkal egy mesefilmet hoztunk létre.

AI-generálás és animáció készítése általános iskolai körülmények között. (forrás: Ózdi Városi Televízió)

Az AR- és a VR-eszközök mint az inkluzivitást és az akadálymentességet
elősegítő lehetőségek

Előadásomban kitértem arra, hogy az inkluzivitás nemcsak a nem ép emberek számára lehet fontos. Olykor mindannyian rá vagyunk szorulva. A feliratok automatikus gyártásában, vagy a hang annotációinak felolvasásán túl az AR/VR-eszközök a szó szoros értelmében akadálymentessé tudnak tenni bizonyos területeket. Ehhez 3D-szkenneléssel digitalizálni kell egy – például nehezen megközelíthető és/vagy veszélyes – területet, amelyet aztán VR-ban AR-ben már bárki meg tud tekinteni a saját telefonján, vagy a biztonságos osztálytermi keretek között.

Differenciálás és gamifikáció

A differenciálás AI Agent-ekkel is megvalósulhat, emellett kiegészülhet olyan specifikus módszerekkel is, mint a gamifikáció. Bemutattam egy példát[7], amelyben egy általam tervezett digitális ökoélmény-központban, időben differenciáltan és csoportbontásban, tematizált szobákon végighaladó diákcsoportok vetélkednek egymással. A differenciáláshoz nagy segítség lehet egyfelől az alkalmazott kvíz applikációba beépülő megoldása, illetve az AI által generált videó segít útbaigazítást adni a feladatok megoldásával kapcsolatban.

AI avatar, mint a gamifikáció feladatainak útbaigazítója (saját készítés,forrás: Óbükk Látogató és Élményközpont)

Diákcsoport azapplikáció használata közben (a szerző felvételei)

Oktatástervezés és tananyagfejlesztés

Kitértem rá, hogy számos történelmi tárgy 3D modellje elérhető már online ingyenes platformokon. Ezek FBX formátumban vannak fent a különböző gyűjtőoldalakon. Egyszerű kereséssel bárki számára elérhetőek ingyenesen. Egy FBX AR-viewer alkalmazást letöltve, gyakorlatilag bármely, kamerával rendelkező okostelefon „AR-látóvá”-válhat. Az ilyen módon bemutatott – akár a helyszínhez kapcsolódó anyagok – nagyobb érdeklődést és élményszerűbb pedagógiai didaktikai eszközt adnak a kezünkbe.

Ahhoz, hogy ezt meg tudjuk tenni, lehetőségünk van óratervet már a stratégiai szinteken is úgy megalkotni, hogy eszközt bérel az iskola pár napra, és saját maga beszkenneli 3D-ben az adott tárgyakat, műveket, szobrokat stb.

„Vasmunkás” c. dombormű Ózd városából. 3D szkennelve és AR-kivetítve a saját kocsibeállómon a levegőbe. Körbejárható.

Megfeleltetés az oktatás pilléreinek

Végezetül kitértem arra, hogy miként segítik ezek a technológiák az oktatás fő pilléreit:

• A tudás, készség, attitűd, autonómia, felelősségvállalás szempontjából hozzáadott érték jön létre, mivel az új ismeretek könnyebben hozzáférhetővé válnak. A multiszenzoros bevésődés komplexebb neurális hálót eredményez, (pl. gamifikáció AR-ral és AI-jal kiegészítve). Készségek fejlesztése tekintetében egyszemélyes digitális alkotó stúdióvá válik a felhasználó. Ezzel a DigComp 2.2.-es keretrendszerhez is felzárkózik. A fogalmazási és az algoritmizáló készségek fejlődnek.
• Az attitűd jelentősen befolyásolható pozitív irányban az új motivátorok bevonásával az elmaradott térségekben. Társas kapcsolatok mélyítése történhet meg a közös VR-élmények átélésén keresztül. Ezáltal a technológiai felhasználás nem áll meg a közösségi média görgetésénél, hanem az interperszonális készségek kerülnek előtérbe. A VR önmagában is képes arra, hogy megmozgassa a diákokat, ezáltal a mozgásra nevelés kaphat egy új belépési pontot.
• A felelősségvállalás növekedhet. Az oktatási paradigmaváltásának köszönhetően a retorziótól való félelem háttérbe szorul és erőteljesebbé válhat az egyéni kiállás önmagáért.

 

[1] IBM – Getting ready for artificial general intelligence with examples
https://www.ibm.com/think/topics/artificial-general-intelligence-examples

[2] Deloite – State of Generative AI in Enterprise
https://www2.deloitte.com/us/en/pages/consulting/articles/state-of-generative-ai-in-enterprise.html

[3] AI and VR in Education for Disadvantaged Communities: Exploring Opportunities and Challenges

[4] Virtual Reality as a Tool for Social Inclusion

[5] Journal of Computer Assisted Learning

[6] Meta-analysis of the effectiveness of virtual reality instructional games on learning outcomes

[7] Az Óbükk Látogató és Élményközpont (Borsodnádasd) attrakcióját felhasználva.