Objekterkennung

in diesem Versuch verwenden wir das weit verbreitete TensorFlow-Framework und programmieren in Python. Sollte Python noch nicht installiert sein, empfehlen wir die Anaconda-Distribution.

TensorFlow kann so installiert werden, dass es mit der GPU kompatibel ist, d.h. dass Quellcode auf einer Nvidia-Grafikkarte ausgeführt werden kann. Das Ausführen von TensorFlow auf einer GPU führt zu einer deutlichen Geschwindigkeitssteigerung und ist daher generell empfehlenswert. Für den Fall, dass keine Nvidia-GPU installiert ist, oder die Installation der GPU-kompatiblen TensorFlow-Version zu aufwändig ist, haben wir den Versuch so konzipiert, dass er auch unter Verwendung einer CPU gut beherrschbar ist.

Es wird der Datensatz CIFAR10 verwendet. Auf der verlinkten Website sind weitere Informationen sowie eine Grafik mit Beispielbildern aus jeder der 10 Klassen zu finden.

Dieser Versuch umfasst die folgenden Inhalte:

• Konstruktion eines Deep Learning-Modells in TensorFlow
• Implementierung eines Mehrlagigen Perzeptrons (MLP)
• Implementierung eines Faltungsnetzwerks (Convolutional Neural Network-CNN)
• Anwendung der beiden Netztypen auf die Klassifizierung von Bildern
• Optimierung der Netzwerkparameter mit Hilfe der Cross-Entropy-Kostenfunktion
• Verbesserung der Leistung der neuronalen Netze durch
• Geschickte Initialisierung der Netzwerkparameter
• Künstliche Vergrößerung des Datensatzes (Data Augmentation)
• Stabilisierung des Trainings mit Hilfe von Batch Normalization
• Regularisierung des Netzwerks mit Hilfe der Dropout-Technik

Sei x∈ℝD die Eingabe für den Klassifizierer (z.B. ein Bild, das zu einem Vektor umgeformt wurde). Ein linearer Klassifizierer nutzt dann eine Gewichtsmatrix W∈ℝC×D und einen Bias-Vektor b∈ℝ, wobei C die Anzahl der Klassen ist. Die unbearbeitete Ausgabe q∈ℝC des linearen Klassifizierer (oft logits genannt) ist dann gegeben durch
q(x)= W∙x+b und die Klassifizierungsentscheidung ist c^{^} = arg max q_c(x), c∈{1,...,C}.

Üblicherweise wird die Softmax-Funktion verwendet, um die logits z zu dem Klassifizierungsergebnis y^{^}  zu konvertieren, welche als A-posteriori-Wahrscheinlichkeiten für die verschiedenen Klassen interpretiert werden kann. Für die Klasse c∈{1,...,C} ist die Softmax-Aktivierung wie folgt gegeben (siehe Abbildung).

In einem Multilayer Perceptron sind ein oder mehrere Hidden Layer übereinander angeordnet, wobei jedes davon einen versteckten Aktivierungsvektor (siehe Abbildung) produziert, wobei i der Layerindex, und f eine nicht-lineare Aktivierungsfunktion ist (wie z.B. tanh oder ReLU). Es ist zu beachten, dass z⁽⁰⁾ lediglich die Eingabe für das Netzwerk ist, also z⁽⁰⁾:=x. Nach dem obersten Hidden Layer wird ein weiterer linearer Klassifizierer genutzt, um das finale Ergebnis des Netzwerks zu berechnen. Die Nicht-Linearitäten werden benötigt, damit das Netzwerk ausdrucksstärker wird und damit es nicht-lineare Abhängigkeiten lernen kann. Ohne die Aktivierungsfunktionen wäre das Netzwerk als Ganzes linear, da die Komposition mehrerer linearen Funktionen wiederum linear ist.

Um ein neuronales Netz optimieren zu können, müssen wir zunächst eine Kostenfunktion definieren, die von dem Berechnungsergebnis des Netzwerks y^{^} ∈ℝ^C und dem Referenzwert (Ground Truth) y abhängt. Hier gehen wir davon aus, dass der Referenzwert y im One-Hot-Format vorliegt, d.h. 
y∈ℝ^C, wobei y_c ∈ {0,1} ∀c∈{1,...,C} und ∑^C_c=1 y_c =1, was bedeutet, dass genau eine Komponente des Vektors 1 ist und alle anderen Einträge 0 sind.

Für die Klassifizierung in mehr als zwei Klassen wird üblicherweise die Cross-Entropy-Kostenfunktion im Anschluss an die Softmax-Aktivierungsfunktion verwendet. Die Cross-Entropy-Kostenfunktion ◻︎_CE ist wie folgt definiert (siehe Abbildung).

Zur Optimierung des neuronalen Netzwerks müssen wir die Gradienten der Kostenfunktion mit Hinblick auf die Netzwerkparameter berechnen. In der Praxis übernimmt TensorFlow die Aufgabe, die Ableitungen zu berechnen, weshalb hier nur die Hauptidee kurz beschrieben wird. Um die Gradienten zu erhalten, verwenden wir die Error Backpropagation, die im Grunde eine Anwendung der Kettenregel aus der Differentialrechnung ist. Gegeben sei die partielle Ableitung ∂◻︎/ ∂z⁽ⁱ⁾_j der Kostenfunktion nach der versteckten Aktivierung z⁽ⁱ⁾_j des versteckten Knoten j in Layer i. Wir wollen nun die partielle Ableitung ∂◻︎/ ∂z_k^(i-1) der Kostenfunktion nach dem versteckten Knoten k der versteckten Aktivierung z^(i-1)_k im darunterliegenden Layer i-1 berechnen. Wenn wir nun die Kettenregel anwenden, erhalten wir (weiter siehe Abbildung)

Diese Gleichung kann nun verwendet werden, um die Gradienten von Layer i zum Layer i-1 zurückzupropagieren. Um diesen Prozess zu starten, muss zunächst die Ableitung ∂◻︎/ ∂_y^i  der Kostenfunktion ◻︎ nach dem Berechnungsergebnis des Netzwerks y^{^}  bestimmt werden, was durch einfache analytische Herleitungen möglich ist (hier ausgelassen). Ähnlich wie wir zuvor die Gradienten von Layer i zu Layer i-1 zurückpropagiert haben, können wir die Gradienten in Bezug auf die versteckten Aktivierungen nutzen, um die Gradienten in Bezug auf die Netzwerkparameter zu berechnen.

Sobald wir die Gradienten  ∂◻︎/ ∂w_i  mit Bezug auf die Netzwerkparameter w_i berechnet haben, können wir die Netzwerkparameter in Richtung des negativen Gradienten unter Verwendung einer Lerngeschwindigkeit λ anpassen (siehe Abbildung): 

Um eine höhere Effizienz zu erreichen, berechnen wir den Gradient nur pro Mini-Batch (bestehend aus ein paar wenigen Bildern), anstatt auf dem gesamten Datensatz auf einmal.