# Rekurentní sítě a LSTM

Věta „vyrostl jsem ve Francii, a proto plynně mluvím ... " má na konci slovo, které se dá odvodit jen z informace vzdálené deset slov zpátky. Klasická rekurentní síť ho nedoplní, i když má teoreticky paměť neomezené délky.

Důvod není v architektuře, ale v číslech. **Gradient se při zpětném průchodu časem násobí v každém kroku, a když je ten násobitel menší než jedna, po deseti krocích z něj nezbude nic.** Síť se prostě nemá jak naučit, že tam ta souvislost je.

LSTM tenhle problém řeší jedním strukturálním nápadem z roku 1997. Tahle stránka ho vysvětluje po jednotlivých hradlech. Předpokládá to [MLP a backpropagation](MLP-a-backpropagation), zejména gradientní sestup a mizející gradient, a [topologie sítí](Topologie-a-uceni-siti). Kde to vede v praxi, ukazují [jazykové modely](Jazykove-modely).

## Rekurentní síť

**Rekurentní neuronová síť (RNN)** je síť se zpětnou vazbou - výstup neuronu je vedle okolních neuronů přiveden i sám na sebe nebo na předchozí vrstvu. Hodí se k modelování **sekvencí**: text, řeč, časové řady.

Zásadní rozdíl proti [dopředné síti](MLP-a-backpropagation): **tentýž vstup může dát jiný výstup**, protože záleží na tom, co bylo předtím. Dopředná síť je funkce, rekurentní je automat se stavem.

Trénuje se to **rozvinutím v čase** (backpropagation through time): síť se pro sekvenci délky `T` rozbalí na `T` kopií za sebou, čímž vznikne obyčejná hluboká dopředná síť, a na ni se pustí normální backpropagation. Váhy jsou ve všech kopiích sdílené, takže se gradienty sečtou - stejný princip jako u [sdílených filtrů v CNN](Konvolucni-site#konvoluční-vrstva).

A přesně tady vzniká problém.

## Problém dlouhodobých závislostí

Klasické RNN mají problém s dlouhodobými závislostmi: **gradient během zpětného šíření skrz mnoho časových kroků buď mizí, nebo exploduje** (Hochreiter 1991, Bengio et al. 1994). Síť si pak nedokáže „zapamatovat" informace přes delší časový interval.

Mechanismus je jednoduchý a stojí za to si ho spočítat. Při rozvinutí na `T` kroků se gradient násobí `T`-krát stejným faktorem. Pro faktor `0,9`:

| Kroků zpět | Zbytek gradientu |
|---|---|
| 10 | 0,35 |
| 50 | 0,005 |
| 100 | 0,000027 |

Pro faktor `1,1` naopak po sto krocích vyjde `13 780` a gradient exploduje - trénink diverguje a váhy skončí jako `NaN`.

**Exploze se řeší snadno: gradient se ořízne (gradient clipping) na maximální normu a hotovo.** Mizení se takhle řešit nedá, protože chybějící informaci nemáš z čeho doplnit. Proto se musela změnit architektura.

Souvislost se [sigmoidou](Neuron-a-perceptron#aktivační-funkce): její derivace je nejvýš `0,25`, takže u rekurentní sítě s sigmoidální aktivací gradient mizí obzvlášť rychle.

## LSTM

Architektura navržená **Hochreiterem a Schmidhuberem v roce 1997**. Zavádí dvě věci:

**Cell state `Ct`** - „dopravníkový pás" vedený časem **s minimem změn**.

**Tři hradla (gates)** tvořená sigmoidálními neurony, která regulují, co se do stavu zapíše, co se vymaže a co vystoupí.

Ten dopravníkový pás je celý nápad a stojí za to říct, proč funguje. Podívej se dopředu na rovnici `Ct = ft ⊙ Ct−1 + it ⊙ C̃t`. **Stav se do dalšího kroku dostává násobením a sčítáním, ne průchodem aktivační funkcí.** Když je `ft` blízko jedné, gradient projde skrz beze změny - není čím ho zmenšit. To je celý mechanismus, kterým LSTM mizející gradient obchází.

Hradlo je vždycky sigmoida, protože její výstup je mezi 0 a 1 a chová se tak jako **ventil**: nula zavřeno, jedna otevřeno, mezitím přiškrceno.

### Zapomínací hradlo (forget gate)

Rozhoduje, které informace z předchozího stavu `Ct−1` zahodit:

```
ft = σ( Wf · [ht−1, xt] + bf )
```

Hodnota blízko 0 znamená **zapomeň**, blízko 1 znamená **ponech**.

Ten zápis `[ht−1, xt]` znamená zřetězení předchozího skrytého stavu a aktuálního vstupu. **Hradlo se tedy rozhoduje na základě toho, co síť ví, i toho, co právě přišlo.**

### Vstupní hradlo (input gate)

Rozhoduje, co nového do stavu zapsat. Jsou to dvě věci naráz:

```
it  = σ( Wi · [ht−1, xt] + bi )
C̃t = tanh( WC · [ht−1, xt] + bC )
```

`C̃t` je **kandidát** na novou hodnotu stavu, `it` určuje, **kolik z něj připustit**. Rozdělení na „co" a „kolik" je záměrné - kandidát je z tanh a může být záporný i kladný, ventil je ze sigmoidy a je vždycky mezi 0 a 1.

### Aktualizace buněčného stavu

Jádro celého LSTM:

```
Ct = ft ⊙ Ct−1 + it ⊙ C̃t
```

kde `⊙` je prvkové (Hadamardovo) násobení.

Přečti si tu rovnici slovy: **nový stav = (kolik si nechám ze starého) + (kolik připustím z nového)**. Nic víc. A protože se stav mezi kroky jen násobí a sčítá, gradient jím proteče bez ztráty.

### Výstupní hradlo (output gate)

Určuje, co síť vyprodukuje jako skrytý stav `ht`:

```
ot = σ( Wo · [ht−1, xt] + bo )
ht = ot ⊙ tanh(Ct)
```

**Stav `Ct` a výstup `ht` jsou dvě různé věci** a tohle je věc, kterou lidi u LSTM přehlédnou nejčastěji. Buňka si může něco pamatovat a nedávat to ven. Informace uložená deset kroků zpátky může sedět v `Ct` a projevit se až ve chvíli, kdy ji výstupní hradlo pustí.

## Varianty LSTM

**Peephole connections (Gers a Schmidhuber, 2000)** - hradla získávají přístup i ke stavu `Ct−1`. Rozhodují se tedy nejen podle vstupu a výstupu, ale i podle toho, co je v paměti.

**Coupled forget/input gate** - zapomínáme a zapisujeme společně: `it = 1 − ft`. Logika je, že novou informaci zapíšeš právě tam, kde jsi starou zapomněl. Míň parametrů, srovnatelný výsledek.

**GRU (Gated Recurrent Unit, Cho et al. 2014)** - zjednodušená varianta se **dvěma hradly** (update, reset), která **spojuje cell state a skrytý stav dohromady**. Často srovnatelné výsledky, méně parametrů.

**Doporučení: začni GRU.** Má míň parametrů, trénuje se rychleji a na většině úloh dosáhne stejného výsledku jako LSTM. Na LSTM přejdi, jen když ti GRU nestačí.

## Kde se to používá

Zpracování přirozeného jazyka (strojový překlad, generování textu), rozpoznávání řeči, rozpoznávání rukou psaného textu, popisky obrázků (image captioning), predikce časových řad.

## Kde LSTM přestává platit

**Nedá se paralelizovat.** Krok `t` potřebuje výsledek kroku `t−1`, takže se sekvence musí projít po jednom. [CNN](Konvolucni-site) spočítá celou vrstvu naráz, LSTM ne. **Tohle je hlavní důvod, proč LSTM prohrálo s Transformerem** - ne kvalita, ale to, že Transformer zpracuje celou sekvenci paralelně a využije grafickou kartu.

**Na velmi dlouhé závislosti pořád nestačí.** Odsune problém z desítek kroků na stovky, neodstraní ho. Na tisíce kroků potřebuješ pozornost (attention).

**Pro generování dlouhých koherentních textů byly LSTM předstiženy architekturami typu Transformer.** To je dnešní stav a je dobré ho říct rovnou.

**Kde LSTM pořád dává smysl:** [na rozpoznávání](Jazykove-modely#kde-lstm-dnes-pořád-dává-smysl) - třeba detekci sentimentu - je stále použitelné. LLM zvládne stejnou úlohu, ale **středně velký LSTM potřebuje řádově méně výpočetních zdrojů**. U časových řad se senzorickými daty, kde jde o krátkou historii a běží to na malém zařízení, je to pořád rozumná volba.

## Co se na tom nejčastěji rozbije

| Příznak | Kde je problém |
|---|---|
| Ztráta se změní na `NaN` | explodující gradient - zapni gradient clipping |
| Síť se učí jen krátké souvislosti | mizející gradient v obyčejné RNN - přejdi na LSTM nebo GRU |
| Trénink je extrémně pomalý | sekvenční povaha RNN - zkrať sekvence, zmenši model, zvaž Transformer |
| Model ignoruje začátek sekvence | příliš dlouhá sekvence i na LSTM - potřebuje attention |
| Výsledky kolísají mezi běhy | krátká sekvence a malý dataset, přidej dropout a víc dat |
| Model funguje na trénování, na delších sekvencích ne | trénoval jsi na krátkých - délky musí odpovídat nasazení |

## Co si odnést

**RNN má stav, dopředná síť ne.** Tentýž vstup může dát jiný výstup.

**Trénuje se rozvinutím v čase**, čímž vznikne velmi hluboká síť - a s ní problém gradientu.

**Explodující gradient se ořízne, mizející ne.** Proto musela vzniknout jiná architektura.

**Cell state je dopravníkový pás.** Prochází časem jen násobením a sčítáním, takže jím gradient proteče.

**Tři hradla: zapomeň, zapiš, vydej.** Všechna jsou sigmoidy, tedy ventily mezi 0 a 1.

**`Ct` a `ht` jsou dvě různé věci.** Buňka si může pamatovat a nevydávat.

**GRU je jednodušší a většinou stačí.**

**Transformer vyhrál kvůli paralelizaci**, ne kvůli kvalitě jednotlivého kroku.

## Kam dál

- **[Jazykové modely](Jazykove-modely)** - co LSTM na znakové úrovni doopravdy umí a co ne
- **[MLP a backpropagation](MLP-a-backpropagation)** - algoritmus, který se tu rozvíjí v čase
- **[Konvoluční sítě](Konvolucni-site)** - druhá specializovaná architektura, pro srovnání
- **[Topologie a učení sítí](Topologie-a-uceni-siti)** - kam se rekurentní sítě řadí