# Konvoluční neuronové sítě (CNN)

Obrázek `224×224` ve třech barevných kanálech má 150 528 čísel. Napoj ho na plně propojenou vrstvu o tisíci neuronech a máš **150 milionů vah** v jediné vrstvě. Nenatrénuješ to, nevejde se to do paměti a hlavně je to zbytečné - protože detektor svislé hrany je v levém horním rohu užitečný stejně jako v pravém dolním, a plně propojená vrstva se ho musí naučit pro každou pozici zvlášť.

Konvoluční síť tenhle problém řeší jedním nápadem: **naučí se filtr jednou a posouvá ho po celém obrázku.** Z těch 150 milionů vah se stane pár set.

Tahle stránka je o tom, jak se CNN skládá a proč každá vrstva existuje. Předpokládá to [MLP a backpropagation](MLP-a-backpropagation) - trénování je totiž úplně stejné - a [umělý neuron](Neuron-a-perceptron), zejména ReLU.

## Definice a odkud se to vzalo

**Konvoluční síť** je specializovaná dopředná síť pro zpracování dat s **mřížkovou strukturou** - obrazy, zvuk, video.

Inspirace je z biologie a je konkrétní: práce **Hubela a Wiesela z roku 1962** o primární zrakové kůře koček. Zjistili, že jednotlivé neurony reagují na podněty jen v malé části zorného pole (**receptivní pole**) a že různé neurony reagují na různě orientované hrany. Přesně tohle CNN kopíruje.

**Milník: ImageNet 2012.** Alex Krizhevsky se sítí AlexNet snížil chybu klasifikace z **26 % na 15 %**. To odstartovalo nástup hlubokého učení - ne jako nová myšlenka, ale jako důkaz, že to funguje. Konvoluční sítě existovaly od osmdesátých let, chyběla jen data a grafické karty.

## Reprezentace obrazu

Barevný obrázek `32×32` je **trojrozměrná matice `32×32×3`** - kanály R, G, B. Hodnoty pixelů jsou 0-255, případně normalizované na `[0, 1]`.

Ta [normalizace](Metriky-a-vyhodnoceni#základní-typy-dat) není volitelná. Vstupy v rozsahu 0-255 nasytí aktivační funkce a síť se přestane učit hned v první vrstvě.

## Vrstvy CNN

### Konvoluční vrstva

Jádrem je **filtr (kernel)** - malá matice vah, například `5×5×3` - která „klouže" po vstupním tenzoru. V každé pozici se spočítá **skalární součin vah filtru se vstupem** a výsledek se zapíše do **mapy příznaků** (feature map, activation map).

**Receptivní pole** jednoho výstupního bodu odpovídá oblasti filtru na vstupu.

Všimni si hloubky filtru. Filtr `5×5×3` má tu trojku, protože musí pokrýt všechny tři barevné kanály naráz. **Filtr je vždycky tak hluboký jako jeho vstup** a jeho výstup je jedna dvourozměrná mapa.

**Víc filtrů znamená víc map příznaků.** Každý filtr se „učí" detekovat jinou nízkoúrovňovou vlastnost - hrany, barvy, textury. V hlubších vrstvách se z nich skládají složitější reprezentace: části objektů, celé objekty.

**Tohle je nejdůležitější věta na celé stránce: CNN si příznaky navrhne sama.** Vrať se k [příznakovým metodám](Priznakove-metody), kde se LBP a histogramy musely vymyslet ručně. Tady se první vrstva naučí něco, co detektorům hran nápadně připomíná, a nikdo jí to neřekl. Vyplyne to z dat a z toho, že se to hodí pro minimalizaci chyby.

Dvě vlastnosti, které z toho posouvání plynou a stojí za pojmenování:

**Sdílení vah.** Tentýž filtr se používá na všech pozicích, takže se počet parametrů nezávisí na velikosti obrázku. Odtud ta úspora ze 150 milionů na pár set.

**Ekvivariance vůči posunu.** Posuň objekt v obrázku a mapa příznaků se posune stejně. Detektor hrany funguje všude, protože je všude tentýž.

### Aktivace (ReLU)

Po konvoluci následuje prvek-po-prvku aktivace, nejčastěji **ReLU**: `f(x) = max(0, x)`.

**Vnáší do sítě nelinearitu** - bez ní by celá síť byla jedna lineární operace, viz [MLP](MLP-a-backpropagation#co-mlp-je) - **a současně urychluje trénování**, protože potlačuje problém mizejícího gradientu. Derivace ReLU je v kladné části přesně jedna, takže se gradient přes vrstvy neztrácí.

### Pooling

**Redukuje prostorovou velikost map (downsampling).** Nejběžnější je **max-pooling s oknem `2×2` a krokem 2**: zmenší mapu na poloviční rozlišení a ponechá nejsilnější aktivaci v každém okně.

Přínosy jsou dva:

- **úspora paměti a výpočtu** - poloviční rozlišení znamená čtvrtinu bodů,
- **robustnost vůči malým posunům** - když se hrana posune o pixel, maximum v okně `2×2` zůstane stejné.

Ten druhý bod je ta zajímavější polovina. Konvoluce je vůči posunu **ekvivariantní** (výstup se posune), pooling přidává částečnou **invarianci** (výstup se nezmění). Skládáním konvoluce a poolingu tak síť postupně přestává řešit, kde přesně objekt je, a začíná řešit, jestli tam je.

### Plně propojená vrstva (FC)

Poslední vrstvy jsou klasické „dense" vrstvy, které z vektoru vysokoúrovňových příznaků spočítají výsledný **klasifikační vektor**. Na závěr se aplikuje **softmax**, který normalizuje výstupy do pravděpodobnostního rozdělení přes třídy.

**Rozdělení práce v CNN je tedy jasné: konvoluční část dělá extrakci příznaků, plně propojená část dělá klasifikaci.** Tohle je přesně to rozdělení, které u [příznakových metod](Priznakove-metody) dělal člověk a klasifikátor. CNN dělá obojí a učí to naráz.

## Typická architektura LeNet

```
Input → Conv → ReLU → Conv → ReLU → Pool → Conv → ReLU → Pool → FC → Softmax
```

Vzorec, který se opakuje: **konvoluce, aktivace, občas pooling** - a na konci plně propojené vrstvy se softmaxem.

Sleduj, co se v tom sledu děje s rozměry. **Prostorové rozměry klesají** (pooling), zatímco **hloubka roste** (víc filtrů v hlubších vrstvách). Ze `32×32×3` se stane třeba `8×8×64`. Obrázek se mění z „velký a mělký" na „malý a hluboký" - z pixelů na příznaky.

## Trénování CNN

Stejně jako u [MLP](MLP-a-backpropagation): dopředný průchod, výpočet ztráty, zpětný průchod a aktualizace vah.

Ztrátová funkce bývá **křížová entropie**, případně střední kvadratická chyba:

```
Etotal = ½ Σ (tk − yk)²
```

Aktualizace vah gradientním sestupem:

```
w = wi − η · ∂L/∂W
```

Trénink probíhá **v mini-batchích na GPU** a obvykle zabere **desítky až stovky epoch**, kde epocha je jeden průchod celým trénovacím datasetem.

**Backpropagation ve sdílených vahách funguje tak, že se gradienty ze všech pozic sečtou.** Filtr se objevuje na stovkách míst a každé z nich přispěje svým dílem chyby do téže sady vah. Nic dalšího se v algoritmu měnit nemusí - a to je důvod, proč se CNN daly trénovat hned, jak někoho napadly.

## Kde CNN přestávají platit

**Potřebují hodně dat.** AlexNet se trénoval na 1,2 milionu obrázků. Na tisíci obrázcích se CNN od nuly nenatrénuje. Řeší se to **transfer learningem** - vezmeš síť předtrénovanou na ImageNetu, uřízneš poslední vrstvu a dotrénuješ jen ji. V praxi je to výchozí postup a **od nuly se dnes trénuje jen výjimečně**.

**Nejsou invariantní vůči rotaci a měřítku.** Posun ano, otočení ne. Otočený objekt je pro CNN jiný objekt. Řeší se to [augmentací dat](MLP-a-backpropagation#problémy-při-trénování) - do trénovací množiny se přidají otočené a zvětšené varianty.

**Nevidí prostorové vztahy dobře.** Obličej s prohozenýma očima a ústy může síť klidně klasifikovat jako obličej, protože všechny očekávané příznaky jsou přítomné. Pooling tu informaci o poloze zahodil úmyslně a tohle je cena za to.

**Nefungují na tabulková data.** Konvoluce předpokládá, že sousední hodnoty spolu souvisejí. U sloupců v tabulce to neplatí - přeházej sloupce a nic se nezmění. Tam patří [rozhodovací stromy](Priznakove-metody#klasifikační-a-regresní-strom-cart) nebo MLP.

**Nejsou to jediné dnešní řešení.** Od roku 2020 konkurují CNN **Vision Transformery**, které obrázek rozdělí na dlaždice a zpracují je pozorností. Na velkých datech je předčí, na malých ne. Pro většinu praktických úloh je předtrénovaná CNN pořád rozumná a levnější volba.

## Co se na tom nejčastěji rozbije

| Příznak | Kde je problém |
|---|---|
| Síť se neučí vůbec | nenormalizované vstupy 0-255 |
| Trénovací chyba nízká, testovací vysoká | přeučení - augmentace dat, dropout ve FC vrstvách |
| Dojde paměť GPU | příliš velký batch nebo příliš velké mapy - přidej pooling dřív |
| Model funguje na rovných fotkách, na otočených ne | chybí augmentace rotací |
| Síť předpovídá pořád tutéž třídu | příliš velké `η`, nebo silně nevyvážená data |
| Na malém datasetu je výsledek náhodný | trénuješ od nuly - použij transfer learning |
| Rozměry nesedí mezi Conv a FC | zapomenuté zploštění (flatten) map příznaků |

## Co si odnést

**Filtr se naučí jednou a použije všude.** To je celá úspora parametrů.

**Konvoluce dělá extrakci příznaků, FC vrstvy klasifikaci.** CNN se učí obojí naráz.

**Mělké vrstvy najdou hrany, hluboké objekty.** Hierarchie vznikne sama, nikdo ji nepředepisuje.

**Pooling přidává invarianci vůči posunu a šetří paměť.** Zahodí za to informaci o přesné poloze.

**Rozměry jdou z velkých a mělkých na malé a hluboké.**

**Trénování je obyčejný backpropagation**, gradienty sdílených vah se jen sečtou přes pozice.

**Bez hodně dat použij transfer learning.** Od nuly se dnes trénuje výjimečně.

## Kam dál

- **[MLP a backpropagation](MLP-a-backpropagation)** - trénovací algoritmus, který CNN používá beze změny
- **[Příznakové metody](Priznakove-metody)** - co CNN nahradila a proč se to dřív dělalo ručně
- **[Rekurentní sítě a LSTM](Rekurentni-site-a-LSTM)** - druhá specializovaná architektura, tentokrát pro sekvence
- **[Hry a herní strom](Hry-a-herni-strom)** - CNN jako náhrada ohodnocovací funkce v AlphaGo
- **[Nástroje pro UI](Nastroje-pro-UI)** - PyTorch a Keras, ve kterých se to píše