Vještine

Procjena kompetencija za generativnu vještačku inteligenciju.

Objektivna procjena kompetencija za generativnu vještačku inteligenciju zasnovana na učinku: dvadeset ključno bodovanih pitanja sa višestrukim izborom iz četiri oblasti sadržaja, uz jedan otvoreni zadatak u kojem pišete prompt. Traje oko petnaest minuta.

Trajanje: Oko 15 min
Pitanja: 21

Jedinstvena ukupna mjera

Uputstva

Ovo je test znanja i procjene, a ne upitnik o vama. Svako od prvih dvadeset pitanja ima jedan tačan odgovor. Posljednje pitanje traži da nešto napišete svojim riječima. Ne postoji prag prolaznosti. Vaš rezultat je broj tačno riješenih stavki od dvadeset bodovanih, svrstan u jedan od tri referentna opsega. Posljednje pitanje se ne boduje. Četiri oblasti sadržaja koje stavke pokrivaju kategorije su pokrivenosti, a ne zasebni rezultati. Odgovarajte bez pomoći asistenta zasnovanog na vještačkoj inteligenciji i bez pretraživača. Rezultat dobijen uz pomoć mjeri tu pomoć, a ne vas. Stavke 1 do 20 prevedene su na crnogorski iz: Jin, Y., Martinez-Maldonado, R., Gasevic, D. i Yan, L. (2024). GLAT: The Generative AI Literacy Assessment Test. arXiv:2411.00283v2 (https://arxiv.org/abs/2411.00283v2). CC BY 4.0, creativecommons.org/licenses/by/4.0.

Šta da očekujete

Naučno validiran: Zasnovano na uspostavljenom psihološkom istraživanju
Privatni rezultati: Vaši podaci su sigurni i privatni
Detaljni rezultati: Sveobuhvatni uvidi i preporuke

O testu Pismenost za generativnu vještačku inteligenciju (GLAT)

Alati generativne vještačke inteligencije pišu, sažimaju, crtaju i odgovaraju na zahtjev, a većina ljudi ih danas koristi na poslu ili u učenju, a da nikada nije provjerila šta o njima zapravo zna. Ovaj test mjeri to znanje neposredno. Umjesto da pita koliko se sigurno osjećate, postavlja dvadeset pitanja sa po jednim tačnim odgovorom, koja pokrivaju šta je generativna VI i kako radi, kako je dobro koristiti, kako prosuđivati ono što proizvede i koja etička pitanja otvara. Dvadeset prvo pitanje traži da svojim riječima napišete prompt.

Dvadeset ključno bodovanih stavki čini Test procjene pismenosti za generativnu VI (GLAT), otvoreno licenciran instrument koji su 2024. godine razvili i validirali istraživači u oblasti obrazovanja. Otvoreni zadatak je naš dodatak i ne boduje se; tu je da bi test obuhvatio i nešto što sa generativnom VI radite, a ne samo ono što o njoj znate.

Test ima 21 pitanje i traje oko petnaest minuta. Vaš rezultat je broj tačno riješenih stavki od dvadeset bodovanih, svrstan u jedan od tri referentna opsega. Ne postoji prag prolaznosti. Odgovarajte bez otvorenog asistenta zasnovanog na VI i bez pretraživača: rezultat dobijen uz pomoć mjeri tu pomoć, a ne vas.

Stavki

Trajanje

Oko 15 min

Format

Dvadeset pitanja sa višestrukim izborom sa po jednim tačnim odgovorom, uz jedan otvoreni zadatak pisanja prompta koji se ne boduje

Besplatan rezultat

Da li je vaš zbir ispod referentnog opsega, unutar njega ili iznad njega, besplatno nakon završetka

Kompletan izvještaj

Detaljan izvještaj koji tumači vaš opseg, navike upotrebe na koje ukazuje i konkretne korake za dalje učenje (besplatno uz nalog)

Šta mjeri

Test mjeri kompetencije za generativnu vještačku inteligenciju kao jedan ukupan rezultat: koliko od radnog znanja i prosuđivanja koje kompetentna svakodnevna upotreba zahtijeva zaista imate. Stavke su pisane prema nacrtu iz četiri dijela. Znati i razumjeti pokriva šta su generativni modeli, kako se treniraju i zašto mogu proizvesti tečan, ali netačan sadržaj. Koristiti i primijeniti pokriva kako doći do korisnih rezultata, uključujući to kako prompt oblikuje odgovor. Procijeniti i stvarati pokriva prosuđivanje kvaliteta i pouzdanosti onoga što alat proizvede i odlučivanje kada se na njega osloniti. Etika pokriva privatnost, predrasude, autorstvo i odgovornu upotrebu.

Te četiri oblasti kategorije su pokrivenosti, a ne zasebni rezultati: obezbjeđuju da dvadeset stavki obuhvati konstrukt umjesto da se gomilaju na definicijama, i iskazuju se kao jedan ukupan zbir. Otvoreni zadatak, pisanje prompta za realističan posao, bilježi se uz vaše odgovore, ali se ne računa u rezultat. Opseg koji dobijete kaže gdje vaš zbir stoji u odnosu na referentni prosjek validacionog uzorka, otprilike jednu standardnu devijaciju na obje strane; to je smjernica za čitanje rezultata, a ne percentil i ne potvrda kompetentnosti.

Kompetencije za generativnu vještačku inteligencijuBroj tačno riješenih od dvadeset ključno bodovanih pitanja, koja obuhvataju kako generativna VI radi, kako je koristiti, kako prosuđivati njene rezultate i etiku njene upotrebe.

Nauka i valjanost

GLAT su 2024. godine objavili Jin, Martinez-Maldonado, Gašević i Yan kao objektivan test pismenosti za generativnu VI, izgrađen na okviru kompetencija VI pismenosti koji su ranije opisali Long i Magerko. To je objektivna alternativa upitnicima samoprocjene, koji mjere koliko se ljudi osjećaju kompetentnima za VI, a ne šta znaju. U validacionom uzorku od 355 studenata visokog obrazovanja, testiranih na engleskom jeziku, dvadeset stavki dalo je pouzdanost od 0,80 (Kronbahova alfa), uz prosječnu težinu stavke oko 0,67, što znači da je prosječan učesnik tačno riješio otprilike dvije trećine pitanja.

Referentni opsezi koje ova stranica koristi izvedeni su iz tih objavljenih statistika stavki, a ne iz sopstvenog uzorka opšte populacije. Oni kažu da li vaš zbir stoji više od otprilike jedne standardne devijacije ispod referentnog prosjeka, unutar nje ili iznad nje; ne kažu koji procenat ljudi ste nadmašili. Test mjeri znanje i prosuđivanje u jednom trenutku i može se poboljšati učenjem. Nije sertifikat, ne procjenjuje vaše vještine u konkretnom alatu i ne kaže ništa o vašoj inteligenciji ili ličnosti.

Reference

Jin, Y., Martinez-Maldonado, R., Gasevic, D., & Yan, L. (2024). GLAT: The Generative AI Literacy Assessment Test. arXiv:2411.00283v2.

Long, D., & Magerko, B. (2020). What is AI literacy? Competencies and design considerations. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, 1-16. ACM.

Primjeri pitanja

Koja tvrdnja najbolje opisuje zašto generativni jezički model može dati uvjerljiv, ali pogrešan odgovor?Ilustrativna stavka iz oblasti Znati i razumjeti (nije ocjenjivana stavka).

Želite kratak, precizan sažetak dugačkog izvještaja za publiku bez stručnog znanja. Koji prompt će najvjerovatnije dati koristan rezultat?Ilustrativna stavka iz oblasti Koristiti i primijeniti (nije ocjenjivana stavka).

Alat je naveo referencu u prilog tvrdnji. Šta je najprikladniji sljedeći korak prije nego što se na nju oslonite?Ilustrativna stavka iz oblasti Procijeniti i stvarati (nije ocjenjivana stavka).

Često postavljana pitanja

Da li je ovo test ličnosti ili test znanja?

Test znanja. Svako od prvih dvadeset pitanja ima jedan tačan odgovor, a vaš rezultat je broj tačno riješenih. Ne pita kako se osjećate u vezi sa vještačkom inteligencijom niti koliko je koristite; pita šta o njoj znate i kako prosuđujete njene rezultate.

Da li je ovaj test pismenosti za VI besplatan?

Jeste. Rješavanje testa od 21 pitanja je besplatno, bez potrebe za nalogom da biste počeli, a besplatan rezultat pokazuje da li je vaš zbir ispod referentnog opsega, unutar njega ili iznad njega. Kompletan izvještaj, besplatan uz nalog, detaljno tumači vaš opseg, opisuje navike upotrebe na koje ukazuje i daje konkretne korake za dalje učenje.

Šta znači referentni opseg?

Opsezi su izvedeni iz objavljenih statistika stavki validacione studije GLAT, sa uzorkom od 355 studenata visokog obrazovanja testiranih na engleskom jeziku. Kažu da li vaš zbir stoji više od otprilike jedne standardne devijacije ispod tog referentnog prosjeka, unutar nje ili iznad nje. Nijesu percentili opšte populacije i ne postoji prag prolaznosti.

Da li se otvoreni zadatak boduje?

Ne. Dvadeset prvo pitanje traži da napišete prompt kakav biste zaista ukucali. Tu je da bi test obuhvatio i nešto što sa generativnom VI radite, ali se ne računa u zbir od dvadeset.

Mogu li koristiti asistenta zasnovanog na VI dok rješavam test?

Možete, ali tada rezultat mjeri asistenta, a ne vas. Test je osmišljen da se rješava bez pomoći, bez otvorenog pretraživača ili čet-bota, da bi zbir odražavao vaše sopstveno znanje i prosuđivanje.

Da li je test na crnogorskom jeziku?

Jeste. Dvadeset stavki prevedeno je na crnogorski sa engleskog originala, a otvoreni zadatak je napisan na oba jezika. Referentni opsezi potiču iz validacije na engleskom jeziku i za crnogorsku verziju su smjernica, a ne zasebno normirani rezultat.

Ko je napisao pitanja?

Dvadeset bodovanih stavki objavili su Jin, Martinez-Maldonado, Gašević i Yan (2024) kao GLAT, pod licencom Creative Commons Attribution 4.0, i ovdje se koriste uz navođenje izvora i uz naznaku da su prevedene. Otvoreni zadatak je naš sopstveni rad i nije dio GLAT-a.