Seminar aus Künstlicher Intelligenz

Achtung: Am 15.12. entfällt das Seminar. Frohes Neujahr!

Übersicht

Im Rahmen dieses Seminars diskutieren wir aktuelle Forschungsergebnisse aus verschiedenen Bereichen der künstlichen Intelligenz. In diesem Semester wird das Thema des Seminars

• Advanced Topics in Reinforcement Learning

sein, d.h. wir werden aktuelle Forschungsartikel aus diesem Gebiet lesen und diskutieren. Das Seminar wird auf dem Buch Wiering, van Otterlo - Reinforcement Learning, State-of-the-Art basieren, aber ein Kauf des Buches ist nicht Voraussetzung.

Wir werden verschiedene, aktuelle Varianten von Reinforcement Learning Algorithmen besprechen, wie z.B. Least Squares Ansätze, (Deep-) Neural Fitted Q-Learning oder Bayesian Computing. Des Weiteren werden wir Hierarchische oder Evolutionäre Ansätze betrachten. Detaillierte Themenvorschläge werden noch bekanntgegeben. Sie können auch eigene, thematisch relevante Vorschläge machen.

Es wird er­wartet, daß Stu­den­ten die ihnen zugeteil­ten Ma­te­ri­alien in einem ca. 45-minütigen Kurz-Vor­trag (30 min Vor­trag, 15 min Diskus­sion) vorstellen.​ Der Vor­trag sollte je­doch in­haltlich über diese Ma­te­ri­alien hin­aus­ge­hen und eine selbst­ständige Au­seinan­der­set­zung mit dem gewählten Thema demon­stri­eren.

Organisatorisches

Zeit und Ort: Dienstags 17.10-18.50, E202.

Am 20.10. gibt es die Vorbesprechung zum Seminar, in welcher die Vergabe der Themen erfolgt. 

Vorkenntnisse

Da diese Artikel dem Stand der Forschung entsprechen, wird  stark Empfohlen, dass Sie über entsprechende Vorkenntnisse im Bereich Reinforcement Learning verfügen. Des Weiteren sollte man sich aber auch im Zuge der Vorbereitung selbständig mit der Thematik weiter vertraut machen und ggf. auch weiterführende bzw. grundlegende Literatur zu Rate zieht (bitte Quellen nennen).

Themen

Die Liste der Themen ist vorläufig und kann sich noch Ändern. Sie bietet nur einen groben Überblick der Arbeiten die zu Verfügung stehen.

• TD & Policy Iteration
• (3.11) T. Joppen: TD & Policy Iteration [Slides]
  
• (3.11) A. Slavik: (Online) Least-Squares Policy Iteration [1,2] [Slides]
  
• (10.11) N. Möhrle: Relative Entropy Policy Search (REPS) [1] [Slides]
• Bayesian Approaches
• (10.11) I. Heftrig: Bayesian Q-Learning [1] [Slides]
• Exploration
• (17.11) J. Hopp: E³ [1] [Slides]
• (17.11) N. Dimitrov: R-Max [1] [Slides]
• (24.11) D. Fischer: Bayesian Exploration Bonus [1] [Slides]
• (24.11) F. Hopp: Texplore [1] [Slides]
  
• Deep Learning & Games
• (1.12) J. Köhler: Modified Policy Iteration in Tetris [1] [Slides]
• (8.12) S. Lüttgen: Deep Reinforcement Learning to Play Chess (Leaf-TD) [1] [Slides]
• (8.12) S. Hübecker: Temporal-Difference Search in Computer Go (Dyna-2) [1] [Slides]
• Evolutionary Approaches
• (12.1) F. Cengic: NEAT [1] [Video]
• (12.1) L. Gruber: Learning Classifier Systems (LCS/XCSF)  [1] [Slides]
• (26.1) E. Sabic: Evoluationary Function Approximation [1] [Slides]
• Transfer Learning
• (26.1) M. Smyk: With similar MDPs [1] [Slides]
• (26.1) F. Klose: Instance based transfer (TIMBREL) [1] [Slides]

Vorträge

Es wird erwartet, daß Sie die Vorträge mit Folien begleiten. Falls Sie keinen Laptop haben, bitten wir darum, uns die Slides rechtzeitig zu senden, damit wir sie auf einem anderen Laptop einspielen bzw. testen können. Die Vorträge und/oder Slides können wahlweise auf Deutsch oder Englisch gehalten werden.