pátek 21. listopadu 2014

Domácí úkol na víkend: Co se to stalo v testování ICILS?

„Čeští osmáci to s počítačem umějí. V testování byli nejlepší,“ dočteme se ve včerejších zprávách. Podle někoho jsou dokonce nejlepší na světě. Loni totiž proběhlo testování počítačové a informační gramotnosti ICILS, a naši žáci dosáhli nejlepších výsledků. Paráda! Jenže... kde jsou?! Z jiných zdrojů se nezdá, že by naši žáci uměli s počítači“. Tak co se stalo?

Na první pohled tady máme tak trochu záhadu. Žáci a studenti, které potkávám, obvykle neovládají počítače tak, jak bych to považoval za uspokojivé. A to nehovořím o informatice, jinak hlavním tématu tohohle blogu.

Zaměstnanci jsou podobně nespokojeni. Maturitní pilotáže také žádné zázraky neodhalily. Vláda naopak nedávno považovala za potřebné schválit strategii, která má mimo jiné vést právě ke zvýšení digitální gramotnosti. Jak si tedy výsledky vysvětlit?

Nezbývá, než pročíst národní zprávu a pořádně se zamyslet. Zjišťoval test to, co tady považujeme za počítačovou a informační gramotnost? Byl vybraný vzorek škol či žáků reprezentativní? Mají výsledky co dělat s výukou, které se žákům do osmé třídy dostalo nejspíš okolo dvou vyučovacích hodin? Jak mohl výsledky ovlivnit výběr zemí?

Nebo máme výsledky oslavit, vzít výuku ICT a rozvoj informační gramotnosti za vyřešené a soustředit se na výuku informatiky a rozvoj informatického myšlení?

Skvělý program na volný víkend. Na případné závěry, ale i jen dílčí postřehy se těším v komentářích.

10 komentářů:

  1. Dovolím si začít tímto. Grafy na straně 33 zprávy ICILS říkají, že se na výuce zkoumaných dovedností podíleli učitelé jen ve velmi malé míře. Dále bych všechny rád poprosil, aby se podívali na testové úlohy. Tedy především na to, co měří. Jen ta poslední nazvaná Velký úkol má trochu něco společného se zpracováním informací. Jenže u ní chybí výsledky. Nebo jsem něco přehlédl? Moc se těším na úterní setkání s výzkumníky. Doufám, že i oni na mě!

    OdpovědětVymazat
  2. Tento komentář byl odstraněn autorem.

    OdpovědětVymazat
  3. Tak ještě jednou:
    Zdá se, že překvapen je kdekdo! :-) Buďme pozitivní: uznejme našim žákům úspěch, řadu věcí se naučili sami nebo s pomocí rodiny a kamarádů, a i přesto oceňme jejich učitele, protože řadu věcí se žáci naučili ve škole. Navrhuju:
    - porovnat dovednosti, které se v šetření sledovaly, s dovednostmi, které považujeme za aktuálně důležité,
    - citlivě a v souvislostech identifikovat ve výsledcích šetření naše slabá místa, to že jsme nejlepší, neznamená, že nemůžeme být ještě lepší,
    - a podívat se s jakými a kolika vzdělávacími systémy a ekonomikami jsme se srovnávali.

    OdpovědětVymazat
  4. Prokousal jsem se českou zprávou, zatím bez příloh. Velmi zajímavé čtení. A spousta otázek. Třeba by mě zajímalo, čím to je, že jsou děvčata (ve všech zemích!) lepší než chlapci.
    Bavím se myšlenkou, jak teď v dalších zemích zkoumají naše RVP a organizují delegace, aby se přijeli podívat, jak dosáhnout nejlepších výsledků :-)

    Na různých místech vykukuje už zmíněná zásadní věc: škola má na výsledky žáků zřejmě minimální vliv. Jak už upozornil B. Brdička, do oka udeří data na str. 33, kde žáci sami udávají, že mají dovednosti odjinud (paradox v tom ale je: dívky je mají častěji ze školy, a mají je lepší). V souladu s tím je ale mnoho dalších zjištění:
    - 15% žáků vůbec v osmičce nemá informatiku (výzkum ale zřejmě nezkoumal, co měli do té doby), a dalších 25% při ní nepoužívá počítač. Hlava mi to nebere. Tady je to ale aspoň jedna z mála oblastí, kde má použití počítačů vliv na výsledek v testu (je ale třeb použití "v každé nebo téměř každé hodině", nestačí "v některých" či "ve většině"). Ovšem i žáci bez informatiky či bez počítačů jsou pořád výrazně nad průměrem ve srovnání s ostatními zeměmi (a to i když neberu v úvahu Thajsko a Turecko, které výsledky dosti zkreslují).
    - Gymnázia dopadla lépe, a ICT učí a zapojují méně než ZŠ. Težko ale čekat, že si žáci dovednosti přinesli z prvního stupně.
    - ICT zapojujeme méně, než ostatní země (str. 40). Mimochodem, podle těch počtů se zdá, že některé aktivity jsou izolovány do hodin informatiky, ač to z grafu na první pohled není vidět (počítá se přes učitele, nikoliv hodiny, takže 12% učitelů může být docela dobře informatikář).
    - Názory učitelů na vliv ICT na vzdělání žáků jsou negativnější než jinde (str. 44).

    Co mi zatím chybí: srovnání, jakou míru naučení ve škole deklarují žáci v ostatních zemích a analýza vztahu tohoto údaje k jejich výsledkům. Můžeme totiž říkat: "jsme sice nejlepší, ale nikoliv díky škole". Je ale pořád možné, že s ohledem na vliv škol v ostatních zemích, vlastně našim školám za výsledek vděčíme, jakkoliv vidíme nenaplněný potenciál. Třeba je klíčové umět se postarat o ty, co se to nenaučili doma, protože na to nemají podmínky, schopnosti, zájem...

    Jak by v tuhle chvíli vypadalo doporučení ostatním zemím? Omezte časovou dotaci na nejmenší nenulovou možnost. Obsah a formu vzdělávání postavte podle stavu před deseti lety. ICT ve výuce pokud možno omezte na promítání prezentací učitelem na plátno. Poučte učitele, že ICT nevede ke zlepšení studijních výsledků, schonosti spolupráce, nedává možnost efektivně komunikovat (sic!), zhorší písemný projev a vede jen ke kopírování zdrojů z internetu. Několik let na výuku informatiky nesahejte, a pak se radujte z výsledku. Jinými slovy, ani po přečtení zprávy mi výsledky nedávají smysl.

    Teď mám v pořadí prozkoumat úlohy. Zajímalo by mě, jestli testují to, co si představuju pod CIL, ale taky třeba jestli nebyl překlad příliš nakloněn našiím žákům (i když asi ne). Je taky možné, že mi test bude připadat prostě lehký. Tím se vysvětlí, že žáci mohli dopadnout dobře, a přitom ti, kteří mi pak přijdou na střední, zas až tak neoslňují. Tím hůř pro ostatní země, jestli jsou tam na tom opravdu tak špatně :-)

    OdpovědětVymazat
  5. Hehe, při pohledu na výsledky jsem si mj. říkal, že by se každého výzkumu měla zúčastnit nějaká země jako Thajsko a Turecko, aby ostatní vypadaly lépe. Myslel jsem, že přeháním, ale teď čtu o Slovensku, jak se úspěšně zařadilo mezi 10 zemí se signifikantně nadprůměrným výsledkem. Co na tom, že jsou uprostřed :-)

    Bližší pohled na zúčastněné země je ale myslím důležitý, jak už ostatně naznačila D. Růžičková. Zemí se totiž zúčastnilo smutně málo. Srovnávat se můžeme s 15-16 (Kanada se zúčastnila dvěma provinciemi; nevím ale, jak se dívat třeba na Německo a jeho spolkové země). Kladu si otázku, s kolika z nich se srovnávat chceme. Nechci tím umenšovt úspěch našich žáků, ale snad není necitlivé, když mne nerozruší náš náskok před Chile či Ruskem.
    Zemí, které bych čekal, že budou na tom stejně nebo lépe, a se kterými tedy pro nás má smysl se měřit, tam vidím 7 (vlastně jsou to první místa až po Slovensko, samozřejmě včetně). U těchto zemí by mě zajímalo srovnání a vysvětlení, proč skončily za námi.
    Např. v bohatších ekonomikách bychom čekali víc počítačů doma, což by případný špatný systém mělo přebít ještě víc než u nás. Naopak slovenský vzdělávací program z hlediska informatiky hodnotíme pozitivně, přitom Slováci z uvažovaných zemí skončili na chvostu. Systém nepomohl, počítačů a knížek mají o něco míň, nebo co se stalo?

    OdpovědětVymazat
  6. Podíval jsem se na úlohy, tedy na tu zveřejněnou ukázku (http://www.iea.nl/icils_2013_example_module.html). Testování činnosti namísto zaškrtávání považuji za krok správným směrem. Jednou z nevýhod je ale jednoduchost prostředí. Není kam se ztratit, velmi rychle lze i bez nějak hlubokého porozumění dojít k požadovanému výsledku. Běžné editory nabízí mnohem víc voleb. Např. kontextová nabídka použití při kopírování URL z těla mailu do adresního řádku má právě dvě položky: kopírovat a vložit. Vkládání obrázků je velmi zjednodušené. Co trochu vadí je neřešení otázky jejich autorství, také není jasné, jak se pohlíží na (ne)dodržení poměru stran při úpravě velikosti.
    Na druhé straně je prostředí pro žáky nové a musí se s ním seznámit, někdo může být zpočátku trochu zmatený. Studie patrně neřešila, v jakém prostředí žáci běžně pracují (prostředí se dost podobá starým Windows) — pro posouzení validity nástroje se ale otázka nabízí.

    Z uvedeného plyne možné vysvětlení úspěchu našich žáků. Už v některém předchozím výzkumu vyšlo, že umí dobře řešit problémy. Třeba si prostě v nové situaci (v testovacím prostředí) poradili lépe, než jejich vrstevníci z jiných zemí. Umíme tohle nějak potvrdit nebo vyvrátit?

    Trochu mi nesedí některé dovednostní úrovně velkého úkolu. Na 4 stačí "přeformulovat svými slovy", kdežto na 3 je třeba přesvědčovat citovým zabarvením textu. Na 4 se formátuje text, na 3 obrázky. To bych viděl obráceně. Detaily vyhodnocování ale neznáme.

    Kde vidím prostor ke zlepšení: Podvodný mail je za podvodný prohlášen zadáním. Které informace má plakát obsahovat bylo předepsáno zadáním (kdy, co s sebou, ...), místo aby to podle situace usoudili sami (zadání mohlo být přibližně: tak, aby plakát obsahoval všechny informace potřebné k účasti na kroužku...). To jaksi pořád není to co chceme. (Netroufám si odhadovat, jestli by při pokročilejších zadáních dopadlo srovnání jinak).

    Z dostupných informací jsem zatím nezjistil, jaké bylo rozložení úkolů z různých úrovní. Ukázka se zdá dost jednoduchá, ale bez znalosti souvislostí to je jen subjektivní dojem. Co mi tedy chybí nejvíc: není mi jasné, co tedy např. ze zvolené ukázky dovede náš průměrný žák. Je u horní hranice úrovně 2, takže ji asi celou zvládne, ale třetí už ne. Takže typický český žák např. využije celou plochu plakátu, rozumí souvislosti délky a síly hesla, ale už neposoudí spolehlivost informace, nevybere relevantní (ani z poměrně omezené množiny), nerozloží vhodně obrázky na plakátu? Snažím se dobrat toho, co tedy podle ICILS naši žáci umí (bez ohledu na ostatní země), abych si mohl říct, jestli mohu být spokojen. Nechce se někomu porovnat rozhraní druhé a třetí úrovně (str. 47-48 národní zprávy) s naším ICT standardem, nebo s NIQES standardem? To je nakonec důležitější, než jestli jsme předhonili Kanadu.

    Sice to chápu, ale trochu mě mrzí, že zpráva výsledky konstatuje, ale jen vzácně jde hlouběji po příčinách zjištění.

    OdpovědětVymazat
    Odpovědi
    1. Myslím, že zjednodušené prostředí nemusí být zásadní problém. Je dobré si uvědomit, že jde stále o děti na základní škole. V praxi budou (někteří až časem) používat plnohodnotné dospělácké prostředí, ale pro výuku mi zjednodušené nevadí.
      Ondřej Neumajer

      Vymazat
    2. Pro výuku mi taky nevadí, na ZŠ spíš naopak. Zatemňuje to ale možnost interpretace výsledků. Nelze přímočaře tvrdit, že když žák zvládl nastavit sdílení v ICILS, že to zvládne i ve skutečné aplikaci. To není kritika, spíš konstatování. ICILS je pořád zcela jinde než jakékoliv papírové zaškrtávání.

      Vymazat
  7. Jen stručně a průběžně:
    - Nápad s řešením problémů se nepotvrdil, aspoň ne pomocí dat PISA 2012. Možná schopnost řešit problémy našim žákům v ICILS pomohla, ostatním žákům ale nikoliv.
    - V mezinárodní zprávě je srovnání míry znalostí ze školy uvedeno. Ukazuje se tam, že si naši žáci odnáší dovednosti ze školy málokdy nejen absolutně, ale i relativně vůči ostatním zemím (takřka všude jsme významně pod průměrem).
    - Mimochodem, v české zprávě jsem asi přehlédl zajímavou věc: rozptyl našich žáků je vůbec nejnižší.

    Celkově pořád nějak nevím. Třeba to mají ti naši žáci vrozené. Ani v dalších dokumentech nenacházím vysvětlení výsledku, tedy kromě toho, že byl test celkem lehký (pak ale není jasné, co to vyváděli v ostatních zemích).

    Asi zítra sem na blog pověsím shrnutí poznatků a zajímavostí.

    OdpovědětVymazat
  8. Taky bych si chtěl užít proflákaný víkend. Ale protože rekonstruujeme, tak každý volný čas trávím na stavbě. Nebo spíš jsem trávil, protože minulý týden vše završilo objednání vyklizení nemovitostí v Praze a stěhování do nového bydliště. Starý byt jsme si sice ještě nechali, protože se budou dělat nějaké úpravy, ale prakticky máme hotovo. Tak snad to v nejbližší době vyjde, že hodím nohy na kanape. :)

    OdpovědětVymazat