Prüfungsfragen

Prüfung 2006 06 28 Gruppe 1

Katalog

[[EW_Katalog.pdf]]

Fragen

1. Nennen Sie die drei wichtigsten Ideen beim Design des SVM-Lernalgorithmus (3 Punkte)

• Nichtlineare Projektion der Attribut-vektoren in einen hochdimensionalen Raum, um die Trennbarkeit der Klassen durch lineare Hyperebene zu verbessern.
• Vermeidung des dadurch verursachten Overfitting-Problems (aufgrund der i.A. großen Zahl der freien Parameter einer Hyperebene im hochdimensiomanlen Raum) durch eine zusätzliche Anforderung an die gesuchte Hyperebene, welche die Zahl ihrer Freihetsgrade reduziert: Wahl der maximal margin Hyperebene.
• Vermeidung der durch Verwendung eines hochdimensionalen Raums zu erwartenden rechnerischen Probleme durch den kernel-trick, welcher die Berechnung der maximal margin Hyperebene,im hochdimensionalen Raum, auf die Lösung eines konvexen quadratischen Optimierungsproblems im Raum der ursprünglichen Attributvektoren reduziert.

1. Betrachten Sie eine Folge $\mathcal{H}_1 \mathcal{H}_2, \dots$ von Hypothesenräumen mit $\mathcal{H}_i \subseteq \mathcal{H}_{i+1}$ (z.B. könnte $\mathcal{H}_i$ durch ein Neuronales Netz der Tiefe 2 mit $i$ Neuronen auf Stufe 1 defineirt sein), und für jeden Hypothesenraum $\mathcal{H}_i$ einen Lernalgorithmus $\mathcal{A}_i$ (z.B. Backprop), der eine den Trainingsdaten $L$ möglichst gut angepaßte Hypothese $\mathcal{A}_i({L}_i}) \in \mathcal{H}_i$ ausgibt.

• Welches ist, für eine feste Trainingsmenge $L$ und eine feste Testmenge $S$, der typische Verlauf von ${error}_L (\mathcal{A}_i (L))$ und ${error}_S (\mathcal{A}_i (L))$ als Funktionen von $i$? (3 Punkte)

• Wodurch ist für dieses Lernproblem der optimale Wert von $i$ charakterisiert? (3 Punkte)

Der optimale wert von $i$ befindet sich im globalen Minimum von ${error}_S (\mathcal{A}_i (L))$. (Danach setzt Overfitting ein und die Fehlerrate steigt wieder)

• Wie kann man praktisch diesen optimalen Wert von $i$ annähernd ermitteln (ohne Benutzung von zusätzlichen Trainingsbeispielen, außer denen in $\mathcal{L}$, und ohne Kenntnis von $S$ ? (3 Punkte)

TODO

1. Betrachten Sie ein Klassifikationsproblem das durch ein Wahrscheinlichkeitsmaß $\mathcal{P}$ auf einer Menge $A$ x $\{0,1\}$ definiert ist.

• Was genau ist eine Hypothese für dieses Lernproblem (3 Punkte)

Wenn $A$x$\{0,1\}$ eine Liste von Paaren $(<{a}_1,[0,1]>,<{a}_2,[0,1]>,..,<{a}_i,[0,1]>)$ ist, dann ist die Hypothese $H \in \mathcal{H}$ eine Funktion $A \rightarrow [0,1]$

Prüfung 2006 06 28 Gruppe 2

Prüfung 2007 06 27 Gruppe 1

Prüfung 2007 06 27 Gruppe 2

Prüfung 2007 11 23