Seminar aus maschinellem Lernen

Übersicht

Im Rahmen dieses Seminars diskutieren wir aktuelle Forschungsergebnisse aus verschiedenen Bereichen des maschinellen Lernens. Das Seminar behandelt dieses Jahr Kombinationen aus maschinellem Lernen und Graphentheorie. Hierbei geht es um Algorithmen die z.B. Schnitte oder Partitionen in Graphen konstruieren oder Graphen als Input, bzw. Output haben. Auch Graphen als Modell können behandelt werden.

Als Grundlage und Arbeitsmaterialien dienen verschiedene Fachpublikationen. In diesem Semester behandeln wir das Thema Deep Learning, siehe weiter unten.

Es wird er­wartet, daß Stu­den­ten die ihnen zugeteil­ten Ma­te­ri­alien in einem ca. 45-minütigen Kurz-Vor­trag (30 min Vor­trag, 15 min Diskus­sion) vorstellen.​ Der Vor­trag sollte je­doch in­haltlich über diese Ma­te­ri­alien hin­aus­ge­hen und eine selbst­ständige Au­seinan­der­set­zung mit dem gewählten Thema demon­stri­eren.

Organisatorisches

Zeit und Ort: Dienstags, 17:10-18:50 Uhr, Raum E202
Organisation: Johannes Fürnkranz, Jinseok Nam, Eneldo Loza Mencia, Christian Wirth und  Frederik Janssen, Emails an ml-sem@ke.tu-darmstadt.de.

Am Di, 22.10.2013 wird es eine Vorbesprechung zum Seminar geben in welcher die Themen kurz vorgestellt werden und die Vergabe der Themen erfolgt. Die Themenvorschläge werden in den nächsten Tagen auf dieser Seite bekannt gegeben.

Ablauf

Jede/r Student/in erhält einen oder mehrere Fachartikel zur Ausarbeitung, deren wesentliche Aspekte dann in einem Vortrag vorgestellt und im Anschluß von allen diskutiert werden sollen. Die Vorträge und/oder Folien können wahlweise auf Deutsch oder Englisch gehalten werden. Es wird erwartet, dass regelmäßig am Seminar teilgenommen wird, dafür muss man keine Ausarbeitung anfertigen.

Vorkenntnisse

Da diese Artikel dem letzten Stand der Forschung entsprechen, wird einerseits erwartet, dass entsprechende Grundkenntnisse (und Interesse!) in maschinellem Lernen und Data Mining mitgebracht werden, dass man sich aber andererseits im Zuge der Vorbereitung auch selbständig mit der Thematik weiter vertraut macht und ggf. auch weiterführende bzw. grundlegende Literatur zu Rate zieht (bitte Quellen nennen).

Vorträge

Es wird erwartet, daß Sie die Vorträge mit Folien begleiten. Falls Sie keinen Laptop haben, bitten wir darum, uns die Slides rechtzeitig zu senden, damit wir sie auf einem anderen Laptop einspielen bzw. testen können. Die Vorträge und/oder Slides können wahlweise auf Deutsch oder Englisch gehalten werden.

Die Folien können mit dem Programm Ihrer Wahl erstellt werden, sollten aber zumindest das KE-Logo irgendwo beinhalten. Das Logo in eps finden Sie hier, in pdf ist es hier verfügbar. Gerne können Sie auch Latex benutzen. Hierfür empfiehlt sich das TU Corporate Design, welches hier verfügbar ist. Es handelt sich dann um die Klasse tudbeamer. Die Farbe wäre für KE accentcolor=tud7b.

Beispiele für Vorträge finden Sie auf der Veranstaltungsseite vom letzten Jahr.

Benotung

In die Gesamtnote fließen die Ausarbeitung des Vortrags (Folien), die Präsentation, die Beantwortung von Fragen zum Vortrag, sowie die aktive Teilnahme an der Diskussion bei den Vorträgen anderer ein.

Im Vordergrund der Gesamtbenotung steht jedoch die selbständige Auseinandersetzung mit dem Problem. Für eine sehr gute (1.x) Beurteilung muß klar sein, dass Sie die fraglichen Arbeiten verstanden haben und von den vorliegenden Papers abstrahieren können. Eine exakte Wiedergabe des Inhalts der Papiere führt nur zu einer Beurteilung mit 2.x, außerordentlich schwache Leistungen in einem der genannten Punkte zu 3.x oder schlechter.

Vortragstermine

An jedem Dienstag ab 12.11. können bis zu 2 Vorträge stattfinden. Im Moment sind folgende Termine bereits vergeben:

• 26.11.2013: Pre-Training
• Peter Glöckner (Folien):
  Dumitru Erhan, Yoshua Bengio, Aaron Courville, Pierre-Antoine Manzagol, Pascal Vincent, Samy Bengio: Why Does Unsupervised Pre-training Help Deep Learning?, Journal of Machine Learning Research 11(Feb):625−660, 2010.
• Max Mindt (Folien):
  Xavier Glorot, Yoshua Bengio: Understanding the difficulty of training deep feedforward neural networks, Proceedings of International Conference on Artificial Intelligence and Statistics (AISTATS), 2010
• 3.12.2013: Learning Techniques & Regularization
• Matthias Bender (Folien):
  Ruslan Salakhutdinov, Geoffrey E. Hinton. Deep Boltzmann Machines, Journal of Machine Learning Research - Proceedings Track 5:448-455 (2009)
• Duc Minh Hoang (Folien):
  Wan et al., Regularization of Neural Networks using DropConnect, Proceedings of International Conference on Machine Learning (ICML), 2013.

• 10.12.2013: Regularization
• Quoc Hien Dang (Folien):
  Goodfellow et al., Maxout Networks, Proceedings of International Conference on Machine Learning (ICML), 2013

• 17.12.2013: Computer Vision 1
• Nguyen Duy Hung (Folien):
  Dan Cireşan, Ueli Meier, Juergen Schmidhuber: Multi-column Deep Neural Networks for Image Classification, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2012, längerer TR

• 14.01.2013: Computer Vision 2
• Andriy Nadolskyy (Folien):
  Le et al., Building High-level Features Using Large Scale Unsupervised Learning, Proceedings of International Conference on Machine Learning (ICML), 2012
• Tanya Harizanova (Folien):
  Clement Farabet, Camille Couprie, Laurent Najman and Yann LeCun. Learning Hierarchical Features for Scene Labeling, IEEE Transactions on Pattern Analysis and Machine Intelligence, in press, 2013.

• 21.01.2013: Speech Recognition
• Paul Hensch (Folien):
  Dahl et al., Context-Dependent Pre-trained Deep Neural Networks for Large Vocabulary Speech Recognition, IEEE Transactions on audio, speech, and language processing, 2012
• Nikita Khakham:
  Hinton et al, Deep Neural Networks for Acoustic Modeling in Speech Recognition, IEEE Signal Processing Magazine, 2012.
• 28.01.2013: Regularization and NLP
  
  • Melvin Laux (Folien):
    Hinton et al., Improving neural networks by preventing co-adaptation of feature detectors, CoRR abs/1207.0580 (2012)

Weitere Themen

Das Thema des Seminars in diesem Semester ist Deep Learning. Deep Learning ist eine aktuelle Forschungsrichtung, die sich damit beschäftigt, mehrstufige ("tiefe") neurale Netzwerke effizient zu trainieren. Grundkenntnisse in Neuralen Netzen und keine Scheu vor Mathematik sind hier notwendig. Eine große Auswahl von Informationen zu diesem Thema (inklusive einer Literatur-Liste) finden Sie unter deeplearning.net.

Die folgenden Arbeiten geben einen Überblick über das Thema, die Vorträge für das Seminar werden aus den danach folgenden grundlegenden Arbeiten, sowie aus den Anwendungen ausgewählt.

Allgemeiner Überblick

• Itamar Arel, Derek C. Rose, and Thomas P. Karnowski. Deep Machine Learning – A New Frontier in Artificial Intelligence Research, IEEE Computational Intelligence Magazine, pp. 13/18, November 2010.
• Yoshua Bengio, Aaron Courville, Pascal Vincent, Representation Learning: A Review and New Perspectives, IEEE Transactions on Pattern Analysis and Machine Intelligence 35(8):1798-1828, 2013.
• Yoshua Bengio, Learning Deep Architectures for AI, Foundations and Trends in Machine Learning 2(1):1-127, 2009.
• Hinton, G. E. (2007): To recognize shapes, first learn to generate images, In P. Cisek, T. Drew and J. Kalaska (Eds.), Computational Neuroscience: Theoretical Insights into Brain Function. Elsevier

Grundlegende Arbeiten

• Hinton, G. E. and Salakhutdinov, R. R. (2006): Reducing the dimensionality of data with neural networks. Science, Vol. 313. no. 5786, pp. 504 - 507, 28 July 2006., Zusatzmaterial
• Hinton, G. E., Osindero, S., & Teh, Y. (2006). A fast learning algorithm for deep belief nets. Neural Computation, 18, 1527–1554. Zusatzmaterial
• Vincent et al., Extracting and Composing Robust Features with Denoising Autoencoders, Proceedings of International Conference on Machine Learning (ICML), 2008

Parameter-Optimization

• James Bergstra, Yoshua Bengio: Random Search for Hyper-Parameter Optimization. In Journal of Machine Learning Research 13(Feb):281-305, 2012.

Anwendungen

NLP

• Socher et al., Dynamic pooling and unfolding recursive autoencoders for paraphrase detection, Proceedings of Advances in Neural Information Processing Systems (NIPS), 2011
• R. Collobert, J. Weston, L. Bottou, M. Karlen, K. Kavukcuoglu and P. Kuksa. Natural Language Processing (Almost) from Scratch. Journal of Machine Learning Research, 12:2493-2537, 2011.