Velké jazykové modely a zpracování přirozeného jazyka (CZ)

Popis kurzu

Kurz pro všechny, kteří jsou fascinovaní schopnostmi velkých jazykových modelů a generativní umělé inteligence, a chtějí proniknout do této problematiky hlouběji.

Společně se seznámíme s transformery, základním stavebním moderních jazykových modelů, představíme si nejznámější architektury a ukážeme si, jak se velké jazykové modely dají použít pro různé aplikace. K praktickým cvičením není nutný žádný placený účet třetích stran. Budeme používat open source modely, které jsou při správném způsobu použití stejně dobré jako ty největší komerční modely.

Určeno pro

Obsah kurzu

• Generativní umělá inteligence pro text a obrázky
• Evoluce jazykového modelování
• Transformery
• Typy transformerů pro jazykové modelování (encoder, decoder, encoder-decoder)
• Posilované učení s lidskou zpětnou vazbou (RLHF)
• Vybrané modely pro jazykové modelování založené na transformerech (BERT, GPT, LLAMA, T5, BART…)
• Praktický příklad na klasifikaci textů pomocí transformerů s využitím knihovny HuggingFace v prostředí Google Colab
• Prompt engineering: in-context learning, zero shot, one shot and few shot prompting, nejdůležitější konfigurační parametry generativních procesů
• Praktický příklad na in-context learning s využitím knihovny HuggingFace v prostředí Google Colab
• Fine-tuning velkých jazykových modelů a parameter-efficient fine-tuning (LoRA)
• Evaluace jazykových generativních modelů (ROUGE, BLEU)
• Praktický příklad na využití parameter-efficient fine-tuning s využitím knihovny HuggingFace v prostředí Google Colab
• Retrieval Augmented Generation (RAG)

Předpoklady

• Základní znalost programování v Pythonu
• Znalosti strojového učení na úrovni kurzu Úvod do strojového učení.

Návaznosti