Prüfungsfragen

Prüfung 2006 06 28 Gruppe 1

Katalog

[[EW_Katalog.pdf]]

Fragen

  1. Nennen Sie die drei wichtigsten Ideen beim Design des SVM-Lernalgorithmus (3 Punkte)
  • Nichtlineare Projektion der Attribut-vektoren in einen hochdimensionalen Raum, um die Trennbarkeit der Klassen durch lineare Hyperebene zu verbessern.
  • Vermeidung des dadurch verursachten Overfitting-Problems (aufgrund der i.A. großen Zahl der freien Parameter einer Hyperebene im hochdimensiomanlen Raum) durch eine zusätzliche Anforderung an die gesuchte Hyperebene, welche die Zahl ihrer Freihetsgrade reduziert: Wahl der maximal margin Hyperebene.
  • Vermeidung der durch Verwendung eines hochdimensionalen Raums zu erwartenden rechnerischen Probleme durch den kernel-trick, welcher die Berechnung der maximal margin Hyperebene,im hochdimensionalen Raum, auf die Lösung eines konvexen quadratischen Optimierungsproblems im Raum der ursprünglichen Attributvektoren reduziert.
  1. Betrachten Sie eine Folge $\mathcal{H}_1 \mathcal{H}_2, \dots$ von Hypothesenräumen mit $\mathcal{H}_i \subseteq \mathcal{H}_{i+1}$ (z.B. könnte $\mathcal{H}_i$ durch ein Neuronales Netz der Tiefe 2 mit $i$ Neuronen auf Stufe 1 defineirt sein), und für jeden Hypothesenraum $\mathcal{H}_i$ einen Lernalgorithmus $\mathcal{A}_i$ (z.B. Backprop), der eine den Trainingsdaten $L$ möglichst gut angepaßte Hypothese $\mathcal{A}_i({L}_i}) \in \mathcal{H}_i$ ausgibt.
  • Welches ist, für eine feste Trainingsmenge $L$ und eine feste Testmenge $S$, der typische Verlauf von ${error}_L (\mathcal{A}_i (L))$ und ${error}_S (\mathcal{A}_i (L))$ als Funktionen von $i$? (3 Punkte)
2006_2_a.PNG
  • Wodurch ist für dieses Lernproblem der optimale Wert von $i$ charakterisiert? (3 Punkte)

Der optimale wert von $i$ befindet sich im globalen Minimum von ${error}_S (\mathcal{A}_i (L))$. (Danach setzt Overfitting ein und die Fehlerrate steigt wieder)

  • Wie kann man praktisch diesen optimalen Wert von $i$ annähernd ermitteln (ohne Benutzung von zusätzlichen Trainingsbeispielen, außer denen in $\mathcal{L}$, und ohne Kenntnis von $S$ ? (3 Punkte)

TODO

  1. Betrachten Sie ein Klassifikationsproblem das durch ein Wahrscheinlichkeitsmaß $\mathcal{P}$ auf einer Menge $A$ x $\{0,1\}$ definiert ist.
  • Was genau ist eine Hypothese für dieses Lernproblem (3 Punkte)

Wenn $A$x$\{0,1\}$ eine Liste von Paaren $(<{a}_1,[0,1]>,<{a}_2,[0,1]>,..,<{a}_i,[0,1]>)$ ist, dann ist die Hypothese $H \in \mathcal{H}$ eine Funktion $A \rightarrow [0,1]$

Prüfung 2006 06 28 Gruppe 2

Prüfung 2007 06 27 Gruppe 1

Prüfung 2007 06 27 Gruppe 2

Prüfung 2007 11 23

Unless otherwise stated, the content of this page is licensed under Creative Commons Attribution-Share Alike 2.5 License.