Neurális hálózatok by Altrichter, Márta -- Read -- Imperial Library of Trantor

Index

Neurális hálózatok

Előszó Bevezetés 1. A neurális hálózatok felépítése, képességei

A neurális hálózat definíciója, működése A neurális hálózat elemei, topológiája

A neuronok felépítése A neurális hálózatban használt összeköttetések A neurális hálózatok topológiája

A neurális hálózatok alapvető számítási képességei, felhasználási területei

A neurális háló, mint approximáló rendszer A neurális hálózat, mint asszociatív memória A neurális háló, mint optimalizáló rendszer

A neurális hálózatok approximációs képessége

Matematikai leképezések közelítése neurális hálóval, a probléma megfogalmazása Két nemlineáris réteget használó approximációs hálózatok Egy nemlineáris réteget használó approximációs hálózatok

2. Tanulás adatokból

Ellenőrzött tanulás (tanítóval történő tanítás) Nemellenőrzőtt tanulás A statisztikus tanuláselmélet alapjai

Az ERM konzisztenciája Strukturális kockázat minimalizálás

Tanulás és statisztikai becslések Determinisztikus és sztochasztikus szélsőérték-kereső eljárások

Gradiens alapú szélsőérték-kereső eljárások

Szélsőérték-keresés paramétereiben lineáris modellek esetén A négyzetes kritériumfüggvény tulajdonságai Szélsőérték-keresés Newton módszerrel. Szélsőérték-keresés a "legmeredekebb lejtő" (steepest descent) módszerével A konjugált gradiensek módszere Az LMS algoritmus és néhány változata Az LMS/Newton algoritmus Transzformált tartománybeli LMS eljárás Szélsőérték-keresés paramétereiben nemlineáris modellek esetén További gradiens-alapú módszerek Feltételes szélsőérték-kereső eljárások

Sztochasztikus szélsőérték-kereső eljárások

Véletlen keresés Genetikus algoritmusok A szkéma elmélet

3. Az elemi neuron

A Rosenblatt perceptron

A perceptron tanulása A perceptron tanulás konvergenciája A perceptron kapacitása

Az adaline

Az adaline tanítása

Egy processzáló elem szigmoid kimeneti nemlinearitással További elemi neuronok

4. A többrétegű perceptron (MLP)

Az MLP felépítése Az MLP tanítása, a hibavisszaterjesztéses algoritmus Az MLP konstrukciójának általános kérdései

A hálózat méretének megválasztása A tanulási tényező és a súlyok kezdeti értékeinek megválasztása

A tanulási tényező, megválasztása A súlyok kezdeti értékeinek meghatározása

A tanító pontok felhasználása, a háló minősítése

A tanító pontok felhasználása A háló minősítése

A hibavisszaterjesztéses algoritmus változatai

Momentum módszer

5. Bázisfüggvényes hálózatok

Az RBF (Radiális Bázisfüggvényes) hálózat

Középpont kiválasztó eljárások

Az OLS eljárás A K-közép eljárás A középpontok ellenőrzött tanítása

A szélességparaméter meghatározása RBF változatok A kizáró VAGY (XOR) probléma megoldása RBF hálózattal

A CMAC hálózat

A háló komplexitása A CMAC hálózat fontosabb tulajdonságai

A háló modellező képessége

A háló approximációs- és általánosító-képessége

A CMAC háló tanítása CMAC változatok

Magasabbrendű CMAC hálózatok Kredit hozzárendelés Komplexitás csökkentés többdimenziós esetben

Az MLP és a bázisfüggvényes hálózatok összehasonlítása

6. Kernel módszerek

Egy egyszerű kernel gép Kernel függvények Szupport Vektor Gépek

Lineárisan szeparálható feladat lineáris megoldása

A maximális margójú lineáris szeparálás általánosítóképessége

A lineárisan nem szeparálható feladat lineáris megoldása

A szoft margójú lineáris szeparálás általánosító képessége

Nemlineáris szeparálás Szupport vektor gépek regressziós feladatra

Az SVM működése

Az SVM neurális értelmezése Az SVM hatékonyabb megvalósításai

A QP hatékonyabb megoldása Az SVM módosítása

SSVM RSVM

SVM változatok

Az LS-SVM

Az LS-SVM osztályozó Az LS-SVM regresszió Ritka LS-SVM Súlyozott LS-SVM

Az LS-SVM hatékonyabb megoldása

A számítás gyorsítása

LS2-SVM

Túlhatározott egyenletrendszer A kiválasztási eljárás Súlyozott LS2-SVM

Ridge regresszió

Lineáris ridge regresszió Nemlineáris kernel ridge regresszió Csökkentett rangú kernel ridge regresszió

Kernel CMAC: egy LS-SVM gép véges tartójú kernel függvényekkel

Kernel CMAC súlykiegyenlítő regularizációval

A kernel gépek összefoglaló értékelése

7. Ellenőrzött tanítású statikus hálók alkalmazásai

Felismerési feladatok (képosztályozás)

Számjegyfelismerés speciális struktúrájú MLP-vel Számjegyfelismerés egyrétegű hálózattal Számjegyfelismerés MLP-vel, újabb eredmények

Szövegosztályozás

Spam szűrés SVM-mel

Ipari folyamatok modellezése

Gumigyártási folyamat modellezése RBF-fel Acélgyártási folyamat modellezése Néhány egyéb alkalmazás

8. Időfüggő (szekvenciális) hálók

Regresszorválasztás, modellstruktúra választás Dinamikus neurális modellek Előrecsatolt időfüggő hálózatok

A FIR-MLP háló

A FIR-MLP háló tanítása Temporális hibavisszaterjesztéses eljárás

Egyéb NFIR hálóstruktúrák

Visszacsatolt (rekurzív) hálózatok

Rekurzív háló időbeli kiterítése Rekurzív hálók tanítása pillanatnyi gradiens alapján

Dinamikus hálózatok kialakításának néhány további lehetősége

A parciális deriváltak számítása Neurális hálózatot tartalmazó összetett struktúrák tanítása

Dinamikus hálók alkalmazása

Identifikáció, rendszermodellezés

Struktúraválasztás dinamikus neurális hálózatoknál

Lipschitz index További lehetőségek a modell komplexitás meghatározására

Kísérlettervezés A modellezés további lépései

Szabályozás, modell alapú adaptív szabályozás Néhány tipikus alkalmazási terület

Robotika Előrejelzés

Mackey-Glass kaotikus folyamat előrejelzése Santa Fe verseny

9. Moduláris hálók

Moduláris háló kialakítása feladat dekompozíció alapján Szakértőegyüttesek

Hálók optimális lineáris kombinációja

Az egyedi hálók kiválasztása Az integráló réteg súlyainak meghatározása

Pontos és különböző szakértők együttese MOE (Mixture Of Experts) architektúra

A MOE tanítása Tanítás valószínűségi értelmezés alapján A MOE konstrukciója

Moduláris háló kialakítása a tanító mintakészlet módosításával

Boosting

Boosting szűréssel AdaBoost A boosting eljárások minősítése

A moduláris eljárások összefoglaló értékelése

10. Nemellenőrzött tanulású hálózatok

Hebb tanulás Versengő tanulás Kohonen háló, kompetitív hálózatok

A Kohonen háló tanítása Felügyelt tanulás alkalmazása Kohonen hálózatnál: tanuló vektorkvantálás (LVQ).

Adattömörítés Hebb tanuláson alapuló hálózatokkal, PCA, KLT

A KL transzformáció és optimalitása Az Oja szabály, a legnagyobb sajátértéknek megfelelő sajátvektor meghatározása

Az Oja algoritmus, mint szélsőérték-kereső eljárás

Főkomponens- és altér hálózatok

Oja altér hálózat Főkomponens hálók

A Sanger algoritmus (Generalized Hebbian Algorithm, GHA)

Az APEX háló

Lineáris többrétegű perceptron, mint adattömörítő hálózat

Nemlineáris PCA és altér hálók

Kernel PCA

A nulla várhatóérték biztosítása a jellemzőtérben Jelvisszaállítás

Nemlineáris többrétegű perceptron, mint adattömörítő hálózat

Független komponens analízis

Független komponens analízis nemgauss-ság alapján FastICA: egy kurtózis alapú fix-pont ICA algoritmus Független komponens analízis nemlineáris PCA alkalmazásával

11. Analitikus tanítású hálózatok

A Hopfield hálózat

Minták tárolása

Egy minta tárolása Több minta tárolása

Az energiafüggvény Az energiafüggvény felhasználása

A Boltzmann gépek

Problémák a Hopfield hálózat alkalmazásakor Szimulált lehűtés

Mean-field hálózatok Hopfield típusú hálózatok alkalmazása optimalizációs problémákra

Az utazó ügynök probléma Rádiófrekvenciák kiosztása neurális hálózattal A/D konverter megvalósítása Hopfield hálózattal

12. Hibrid-neurális rendszerek

Az a priori tudás felhasználása virtuális minták generálására Az a priori tudás beépítése a tanuló eljárásba

Monoton válaszú kernel regresszió Tudásalapú szupport vektor gép Súlyozott margójú szupport vektor gép

A priori tudás beépítése WMSVM-be

KBANN, a tudás alapú neurális hálózat

Apriori tudás használata a kezdeti hipotézis kialakításában: KBANN Az elméleti tudás neurális hálózatba történő konvertálása Szabály→ neuron konverzió A KBANN háló finomítása Szabályok kinyerése – finomított domén elmélet

NofM módszer

Új csomópontok dinamikus hozzáadása a KBANN hálóhoz: TopGen algoritmus A KBANN háló topológiájának megváltoztatása genetikus módszerrel: REGENT

13. Gyakorlati feladatmegoldás: adatelőkészítés, lényegkiemelés

Zajos adatok

Nem Gauss eloszlású zajok hatása Zajos adatok felhasználása az adatok megfelelő súlyozásával (EIV módszer)

Az adatok előfeldolgozása

Adatok hihetőségvizsgálata Az adatok normalizálása Diszkrét értékekkel reprezentált szimbolikus adatok kezelése Invariáns tulajdonságok elérését segítő előfeldolgozás

Kilógó adatok

Kilógó értékek modellezése klaszterezéssel, az EM algoritmus

Az EM-algoritmus

Hiányzó adatok Lényegkiemelés

A dimenziócsökkentés (lényegkiemelés) célja Problémafüggetlen, általános eljárások (PCA, ICA)

A. Összegzés, várható fejlődési irányok B. Függelék

Mátrixok és vektorok [Gol96b], [Róz91] Gauss elimináció [Gol96b] A reduced row echelon alak Feltételes szélsőérték-keresés, Lagrange multiplikátoros módszer [Fle86, Boy04] Karush-Kuhn-Tucker feltételek [Cri00], [Boy04]

C. Jelölések D. Irodalom

← Prev
Back
Next →

← Prev
Back
Next →