Seminar aus maschinellem Lernen - WS 09/10

Achtung: Die Noten stehen fest - der Aushang befindet sich neben Raum D 205.

Im Rahmen dieses Seminars werden wir neue Forschungsergebnisse aus dem Bereich maschinelles Lernen diskutieren. Der diesjährige Themenschwerpunkt ist Statistical Relational Learning. In diesem jungen Forschungsgebiet wird versucht, logische und statistische Lernverfahren unter einen Hut zu bringen und dadurch ein mächtiges Werkzeug zum Umgang mit strukturierten Daten aller Art zu haben. Einerseits erlauben die logischen Grundlagen die einfache Repräsentation komplexer Objekte (z.B. Molekularstrukturen), andererseits wird durch die Hinzunahme statistischer Lernverfahren der Lernprozess auf eine solide theoretische Grundlage gestellt.

Literatur

In den letzten Jahren sind zwei hervorragende Sammlungen von Arbeiten zu diesem Thema erschienen, die die Grundlage des Seminars bilden werden.

Lise Getoor and Ben Taskar, Introduction to Statistical Relational Learning, MIT Press. 2007.   Teile des Buchs können in Google Books eingesehen werden. Es gibt auch eine Home Page zu diesem Buch.
Luc De Raedt, Paolo Frasconi, Kristian Kersting, Stephen Muggleton (eds.) Probabilistic Inductive Logic Programming. Springer-Verlag, 2009.   Eine On-line Version des Buchs ist hier verfügbar (vom Netz der TUD aus).

Zeit und Ort

Ablauf

Jede/r Student/in erhält einen oder mehrere Fachartikel zur Ausarbeitung, deren wesentliche Aspekte dann in einem Vortrag vorgestellt und im Anschluß von allen diskutiert werden sollen. Die Vorträge und/oder Folien können wahlweise auf Deutsch oder Englisch gehalten werden.

Vorkenntnisse

Da diese Artikel dem letzten Stand der Forschung entsprechen, wird einerseits erwartet, dass entsprechende Grundkenntnisse (und Interesse!) in maschinellem Lernen und Data Mining mitgebracht werden, dass man sich aber andererseits im Zuge der Vorbereitung auch selbständig mit der Thematik weiter vertraut macht und ggf. auch weiterführende bzw. grundlegende Literatur zu Rate zieht (bitte Quellen nennen).

Für die diesjährige Thematik sollte man bereits Grundkenntnisse in den folgenden Bereichen haben:

• Bayes'sche Netze (z.B. aus der Vorlesung Künstliche Intelligenz)

• Induktive Logische Programmierung (z.B. aus der Kanonik Einführung in Data und Knowledge Engineering)

Benotung

In die Gesamtnote fließen die Ausarbeitung des Vortrags (Folien), die Präsentation, die Beantwortung von Fragen zum Vortrag, sowie die aktive Teilnahme an der Diskussion bei den Vorträgen anderer ein.

Im Vordergrund der Gesamtbenotung steht jedoch die selbständige Auseinandersetzung mit dem Problem. Für eine sehr gute (1.x) Beurteilung muß klar sein, dass Sie die fraglichen Arbeiten verstanden haben und von den vorliegenden Papers abstrahieren können. Eine exakte Wiedergabe des Inhalts der Papiere führt nur zu einer Beurteilung mit 2.x, außerordentlich schwache Leistungen in einem der genannten Punkte zu 3.x oder schlechter.

Themen

Markov Logic

• GT 12. Markov Logic: A Unifying Framework for Statistical Relational Learning, Pedro Domingos, Matthew Richardson,
• DF 4. Markov Logic, Pedro Domingos, Stanley Kok, Daniel Lowd, Hoifung Poon, Matthew Richardson and Parag Singla, 92-117

Stochastic Logic Programs

• GT 11. Stochastic Logic Programs: A Tutorial, Stephen Muggleton, Niels Pahlavi
• DK 9. Protein Fold Discovery Using Stochastic Logic Programs, Jianzhong Chen, Lawrence Kelley, Stephen Muggleton and Michael Sternberg, 244-262

Bayesian Logic Programs (2)

• GT 10. Bayesian Logic Programming: Theory and Tool, Kristian Kersting, Luc De Raedt
• DK 7. Basic Principles of Learning Bayesian Logic Programs, Kristian Kersting and Luc De Raedt, 189-221

Bayesian Logic

• GT 13. BLOG: Probabilistic Models with Unknown Objects, Brian Milch, Bhaskara Marthi, Stuart Russell, David Sontag, Daniel L. Ong, Andrey Kolobov

Probabilistic Relational Models

• GT 5. Probabilistic Relational Models, Lise Getoor, Nir Friedman, Daphne Koller, Avi Pfeffer, Ben Taskar

CLP

• DK 6. CLP( BN ): Constraint Logic Programming for Probabilistic Knowledge, Vítor Santos Costa, David Page and James Cussens, 156-188

Probabilistic Entity-Relationship Models

• GT 7. Probabilistic Entity-Relationship Models, PRMs, and Plate Models, David Heckerman, Chris Meek, Daphne Koller

Kernels and Logic

• DT 3. Learning with Kernels and Logical Representations, Paolo Frasconi and Andrea Passerini, 56-91

Lifted Inference

• GT 15. Lifted First-Order Probabilistic Inference, Rodrigo de Salvo Braz, Eyal Amir, Dan Roth

Relational Reinforcement Learning (2)

• GT 18. Reinforcement Learning in Relational Domains: A Policy-Language Approach, Alan Fern, SungWook Yoon, Robert Givan
• S. Dzeroski, L. De Raedt, and K. Driessens, Relational reinforcement learning, Machine Learning 43, pp. 7-52, 2001

Early Logic-Based Formalisms (2)

• GT 9. Logic-based Formalisms for Statistical Relational Learning, James Cussens
• DK 5. New Advances in Logic-Based Probabilistic Modeling by PRISM, Taisuke Sato and Yoshitaka Kameya, 118-155
• DK 8. The Independent Choice Logic and Beyond, David Poole, 222-243