Seminar aus Maschinellem Lernen - WS 07/08

In diesem Seminar werden verschiedene Konzepte und Forschungsergebnisse aus den Gebiet des Maschinellen Lernens anhand von ausgewählten neueren Publikationen aus relevanten Journalen und Konferenz-Proceedings diskutiert. In diesem Semester liegen die Schwerpunkte auf Performance Measures, Perceptrons, Multiclass, Multilabel und Feature Extraction.

News

Die Noten stehen nun fest und hängen vor dem Fachgebiet (Aushang vor Raum S202/E304) aus. Sie werden nicht im Web veröffentlicht.

Zeit und Ort

Anmeldung

Bitte wenn möglich eine kurze Email an ke@informatik.tu-darmstadt.de schicken. Bei zu vielen Teilnehmern werden Studenten mit Anmeldung bevorzugt.

Vorkenntnisse

Da diese Artikel dem letzten Stand der Forschung entsprechen, wird einerseits erwartet, dass entsprechende Grundkenntnisse und Interesse in Maschinellen Lernen mitgebracht werden, dass man sich aber andererseits im Zuge der Vorbereitung auch selbst&amul;ndig mit der Thematik weiter vertraut macht und ggf. auch weiterführende bzw. grundlegende Literatur zu Rate zieht (bitte Quellen nennen).

Ablauf

Jede/r Student/in erhält einen oder mehrere Fachartikel zur Ausarbeitung, deren wesentliche Aspekte dann in einem ca. 30-minütigen Vortrag vorgestellt und im Anschluß von allen diskutiert werden sollen. Die Vorträge und/oder Folien können wahlweise auf Deutsch oder Englisch gehalten werden. Die Folien werden dann zum Nachlesen auf dieser Seite abgelegt.

Jeder Student bekommt einen Betreuer zugewiesen. Bei Bedarf vereinbart ihr einen Termin mit ihm und bereitet das Treffen durch formulieren von Fragen mit Bezug zu konkreten Textstellen vor. Idealerweise stellt ihr die Fragen vorab per mail.

Auch wenn keine Hilfe benötigt wird, schickt bitte den Vortrag spätestens am Sonntag Abend vor dem Vortragstermin an den Betreuer.

Zusätzlich zum Vortag soll eine schrifftliche Ausarbeitung des besprochenen Themas erstellt werden, die zwei bis drei Seiten umfasst. Diese muss am 29.2.08 beim Betreuer vorliegen. Sie sollte per mail bei dem jeweiligen Betreuer abgegeben werden. Wir empfehlen jedoch sehr, sie während oder gleich nach der Vorbereitung des Vortrag zu beginnen und sie zwei Wochen nach dem Vortragstermin fertiggestellt zu haben.

Hinweise zur Vorbereitung

• Das Fachgebiet Robotik hat eine Seite mit allgemeinen Hilfestellungen rund ums Studium, unter anderem einige Links zum Thema Fachvorträge (Seminar, Konferenz).
• Die meisten Artikel enthalten schwer zu verstehende Teile; dazu folgende Hinweise:
  • Es ist normal, dass man beim Studieren eines Fachartikel nicht alles versteht. Sogar die Autoren verstehen nicht alles, was sie schreiben.
  • Was man nicht versteht, sollte man mit Bezug zu einer konkreten Textstelle als Frage formulieren.
  • Besonders aus dem Abstract wird man oft nicht schlau. Wenn man vorhat, den ganzen Artikel zu lesen, sollte man den Abtract überspringen. Viele Artikel haben eine gute Einleitung, die die präsentierte Idee einfach erklärt und das im Abstract Gesagte enthält. Meistens ist auch der Experimentalteil leicht zu lesen und wirft durch die Darstellung des Versuchsaufbaus Licht auf die Idee des Artikels.
  • Wichtig ist der Mut zur Lücke. Leider ist am Anfang nicht klar, welche der Lücken nur erkannt und benannt und welche besser geschlossen werden sollten. Das Schließen einer Lücke ist meistens interessant, allerdings kann es sein, dass man mit gleichen oder geringeren Aufwand den Vortrag anderweitig mehr verbessern kann. Diese Entscheidungen sind ein Teil der Vorbereitung. Wenn ihr unsicher seit, können euch die Betreuer dabei zur Seite stehen.
• Wer unsicher mit der Rechtschreibung ist oder zu Tipfehlern neigt, sollte die Folien korrekturlesen lassen bzw. eine maschinelle Rechtschreibprï¿œfung verwenden.

Benotung

In die Gesamtnote fließen Präsentation und Folien, die Beantwortung von Fragen zum Vortrag, die schriftliche Ausarbeitung sowie die aktive Teilnahme an der Diskussion bei den Vorträgen anderer ein.

Im Vordergrund der Gesamtbenotung steht jedoch die selbständige Auseinandersetzung mit dem Problem. Für eine sehr gute (1.x) Beurteilung muss klar sein, dass Sie die fraglichen Arbeiten verstanden haben und von den vorliegenden Papers abstrahieren können. Eine exakte Wiedergabe des Inhalts der Papiere führt nur zu einer Beurteilung mit 2.x, außerordentlich schwache Leistungen in einem der genannten Punkte zu 3.x oder schlechter.

Termine

• 7.11.07
  • Han Dong (lw)
    Rajat Raina, Alexis Battle, Honglak Lee, Benjamin Packer, and Andrew Y. Ng. Selt-taught Learning: Transfer Learning from Unlabeled Data. Proc. ICML'07, pp. 759-766, 2007.
  • Yang Yang (lw) (Slides)
    Amir Globerson and Sam T. Roweis. Nightmare at test time: robust learning by feature deletion. Proc. ICML'06, pp. 353-360, ACM, 2006.
• 21.11.07
  • Jiawei Du (nik) (Slides)
    Shaomin Wu, Peter Flach, and Cesar Ferri. An Improved Model Selection Heuristic for AUC. ECML, Lecture Notes in Computer Science, Vol. 4701, pp. 478-489, Springer, 2007.
  • Wen Zhang (fj) (Slides)
    Jesse Davis and Mark Goadrich. The Relationship Between Precision-Recall and ROC Curves. Proc. ICML'06, pp. 233-240, 2006.
• 28.11.07
  • Matthias Richter (elm) Vortrag ist ausgefallen.
    Roni Khardon and Gabriel Wachman. Noise Tolerant Variants of the Perceptron Algorithm. Journal of Machine Learning Research, Vol. 8, pp. 227-248, 2007.
  • Jean-Baptiste Behuet (elm) (Slides)
    Koby Crammer, Ofer Dekel, Joseph Keshet, Shai Shalev-Shwartz, and Yoram Singer. Online Passive-Aggressive Algorithms. Journal of Machine Learning Research Vol. 7, pp. 551-585, 2006.
• 05.12.07
  • Jörg Meyer (fj) (Slides)
    Nicolo Cesa-Bianchi, Claudio Gentile, and Luca Zaniboni. Incremental Algorithms for Hierarchical Classification. Journal of Machine Learning Research, Vol. 7, pp. 31-54, 2006.
  • Sebastian Steinmetz (elm) (Slides)
    Petroula Tsampouka, John Shawe-Taylor. Approximate Maximum Margin Algorithms with Rules Controlled by the Number of Mistakes. Proc. ICML'07, pp. 903-910, 2007
• 12.12.07
  • Vesselina Poulkova (elm) (Slides)
    Seung-Jean Kim, Alessandro Magnani, Sikandar Samar, Stephen P. Boyd and Johan Lim. Pareto optimal linear classification. Proc. ICML'06, pp. 473-480, ACM, 2006.
  • Zheng Lu (lw) Vortrag ist ausgefallen.
    Juan Dai, Shuicheng Yan, Xiaoou Tang, and James T. Kwok. Locally adaptive classification piloted by uncertainty. Proc. ICML'06, pp. 225-232, ACM, 2006.
• 19.12.07
  • Marian Wieczorek (nik) (Slides)
    Robert Tibshirani and Trevor Hastie. Margin Trees for High-dimensional Classification. Journal of Machine Learning Research, Vol. 8, pp. 637-652, Microtome Publishing, March 2007.
  • Jerome Kirchhoff (sp) (Slides)
    Iain Melvin, Eugene Ie, Jason Weston, William Stafford Noble, and Christina Leslie. Multi-class Protein Classification Using Adaptive Codes. Journal of Machine Learning Research, Vol. 8, pp. 1557-1581, Microtome Publishing, July 2007.
• 09.01.08
  • Buu Kieu Lam (sp) (Slides)
    Zhe Cao, Tao Qin, Tie-Yan Liu, Ming-Feng Tsai and Hang Li. Learning to Rank: From Pairwise Approach to Listwise Approach. Technical Report MSR-TR-2007-40, Microsoft Research Asia, 2007.
  • Thomas Achenbach (sp) (Slides)
    Shai Shalev-Shwartz and Yoram Singer. Efficient Learning of Label Ranking by Soft Projections onto Polyhedra. Journal of Machine Learning Research, Vol. 7, pp. 1567-1599, 2006.
• 16.01.08
  • Darko Popovic (nik) (Slides)
    Adriano Veloso, Wagner Meira Jr., Marcos Goncalves, and Mohammed Zaki. Multi-label Lazy Associative Classification. PKDD 2007, LNAI 4702, pp. 605-612.
• 23.01.08
  • Pei Qian Li (sp) (Slides)
    Janez Demsar. Statistical Comparisons of Classifiers over Multiple Data Sets. Journal of Machine Learning Research, Vol. 7, pp. 1-30, 2006.
  • Michael Wächter (fj) (Slides)
    Li Cheng and S. V. N. Vishwanathan. Learning to Compress Images and Videos. Proc. ICML'07, pp. 161-168, 2007.

Kontakt und Betreuung

Johannes Fürnkranz, Frederik Janssen (fj), Eneldo Loza Mencía (elm), Sang-Hyeun Park (sp), Jan-Nikolas Sulzmann (nik), Lorenz Weizsäcker (lw)