Prüfungsfragen
Prüfung 2006 06 28 Gruppe 1
Katalog
Fragen
- Nennen Sie die drei wichtigsten Ideen beim Design des SVM-Lernalgorithmus (3 Punkte)
- Nichtlineare Projektion der Attribut-vektoren in einen hochdimensionalen Raum, um die Trennbarkeit der Klassen durch lineare Hyperebene zu verbessern.
- Vermeidung des dadurch verursachten Overfitting-Problems (aufgrund der i.A. großen Zahl der freien Parameter einer Hyperebene im hochdimensiomanlen Raum) durch eine zusätzliche Anforderung an die gesuchte Hyperebene, welche die Zahl ihrer Freihetsgrade reduziert: Wahl der maximal margin Hyperebene.
- Vermeidung der durch Verwendung eines hochdimensionalen Raums zu erwartenden rechnerischen Probleme durch den kernel-trick, welcher die Berechnung der maximal margin Hyperebene,im hochdimensionalen Raum, auf die Lösung eines konvexen quadratischen Optimierungsproblems im Raum der ursprünglichen Attributvektoren reduziert.
- Betrachten Sie eine Folge $\mathcal{H}_1 \mathcal{H}_2, \dots$ von Hypothesenräumen mit $\mathcal{H}_i \subseteq \mathcal{H}_{i+1}$ (z.B. könnte $\mathcal{H}_i$ durch ein Neuronales Netz der Tiefe 2 mit $i$ Neuronen auf Stufe 1 defineirt sein), und für jeden Hypothesenraum $\mathcal{H}_i$ einen Lernalgorithmus $\mathcal{A}_i$ (z.B. Backprop), der eine den Trainingsdaten $L$ möglichst gut angepaßte Hypothese $\mathcal{A}_i({L}_i}) \in \mathcal{H}_i$ ausgibt.
- Welches ist, für eine feste Trainingsmenge $L$ und eine feste Testmenge $S$, der typische Verlauf von ${error}_L (\mathcal{A}_i (L))$ und ${error}_S (\mathcal{A}_i (L))$ als Funktionen von $i$? (3 Punkte)
- Wodurch ist für dieses Lernproblem der optimale Wert von $i$ charakterisiert? (3 Punkte)
Der optimale wert von $i$ befindet sich im globalen Minimum von ${error}_S (\mathcal{A}_i (L))$. (Danach setzt Overfitting ein und die Fehlerrate steigt wieder)
- Wie kann man praktisch diesen optimalen Wert von $i$ annähernd ermitteln (ohne Benutzung von zusätzlichen Trainingsbeispielen, außer denen in $\mathcal{L}$, und ohne Kenntnis von $S$ ? (3 Punkte)
TODO
- Betrachten Sie ein Klassifikationsproblem das durch ein Wahrscheinlichkeitsmaß $\mathcal{P}$ auf einer Menge $A$ x $\{0,1\}$ definiert ist.
- Was genau ist eine Hypothese für dieses Lernproblem (3 Punkte)
Wenn $A$x$\{0,1\}$ eine Liste von Paaren $(<{a}_1,[0,1]>,<{a}_2,[0,1]>,..,<{a}_i,[0,1]>)$ ist, dann ist die Hypothese $H \in \mathcal{H}$ eine Funktion $A \rightarrow [0,1]$
Prüfung 2006 06 28 Gruppe 2
Prüfung 2007 06 27 Gruppe 1
Prüfung 2007 06 27 Gruppe 2
Prüfung 2007 11 23
page revision: 16, last edited: 14 Apr 2008 08:28