Erweitertes Seminar Knowledge Engineering für Frage-Antwort-Systeme

LVA 20-00-0709 im Vor­lesungsverze­ich­nis der TU Darm­stadt, SS 13, 4 CP.

News: Nächste Woche beginnt das Seminar (Piloty-Gebäude Raum A313), weiter unten finden Sie die Formatvorlagen für die Ausarbeitungen.

Übersicht

Im Rahmen dieses Seminars wollen wir IBM's Frage-Antwort System Watson kennen lernen, das 2011 in der amerikanischen Quiz-Show "Jeopardy!" den ersten Preis belegt hat. Als Grundlage dazu dient uns einerseits ein

• Tutorial über Watson, das im März angeboten wird,

und andererseits die Artikel aus einem Spezialheft des IBM Journal of Research and Development.

IBM Journal of Research and Development 56:6, This is Watson Das Journal beschreibt die Funktionsweise des Frage-Antwort-Systems Watson von IBM, das in 2011 in der Fernsehsendung"Jeopardy!" zwei der stärksten menschlichen Kontrahenten schlagen konnte. IBM's Ansatz verwendet und kombiniert dabei Techniken aus verschiedensten Forschungsfelder, wie z.B. Computerlinguistik, Information-Retrieval, Wissensrepräsentation und Maschinelles Lernen. Ein guter Überblick über Watson wird im einleitenden Artikel geboten: D. Ferrucci: Introduction to 'This is Watson'.

Im Seminar werden wir uns mit den darauf folgenden Fachartikeln beschäftigen, die eine detaillierte Beschreibung der Funktionsweise einzelner Komponenten bieten (s.u.).

Es wird er­wartet, daß Stu­den­ten die ihnen zugeteil­ten Ma­te­ri­alien  in einem ca. 45-minütigen Kurz-Vor­trag (30 min Vor­trag, 15 min Diskus­sion) vorstellen.​ Der Vor­trag sollte je­doch in­haltlich über diese Ma­te­ri­alien hin­aus­ge­hen und eine selb­ständige Au­seinan­der­set­zung mit dem gewählten Thema demon­stri­eren.

In diesem Jahr wird außerdem im Rahmen des erweiterten Seminars (insgeamt 4CP) von jedem Studenten eine schriftliche Ausarbeitung verlangt, die anschließend von anderen Studenten begutachtet wird, ähnlich zum Ablauf eines Peer Review bei wissenschaftlichen Publikationen.

Zusätzlich wird die Teilnahme am Watson Tutorial verlangt. Dieser findet am 18.3. und 19.3. statt.

Zeitplan

Ablauf

Jede/r Student/in erhält einen oder mehrere Fachartikel zur Ausarbeitung, deren wesentliche Aspekte dann in einem Vortrag vorgestellt und im Anschluß von allen diskutiert werden sollen. Die Vorträge und/oder Folien können wahlweise auf Deutsch oder Englisch gehalten werden. Zu dem Vortrag ist zusätzlich eine Ausarbeitung anzufertigen, die von einem anderen Studenten begutachtet wird. Es erhält deshalb jede/r Student/in eine fremde Arbeit, die er begutachten soll.

Vorkenntnisse

Da diese Artikel dem letzten Stand der Forschung entsprechen, wird einerseits erwartet, dass entsprechende Grundkenntnisse (und Interesse!) in natürlichsprachigen Systemen, maschinellem Lernen und Data Mining mitgebracht werden, dass man sich aber andererseits im Zuge der Vorbereitung auch selbständig mit der Thematik weiter vertraut macht und ggf. auch weiterführende bzw. grundlegende Literatur zu Rate zieht (bitte Quellen nennen).

Themen

Wir werden die folgenden Artikel behandeln, die im IBM Journal of Research and Development, 56(3-4), May/July 2012, Special Issue "This is Watson" erschienen sind.

29.5.2013

• Timo Bähr: 
  Lally, A.; Prager, J.M.; McCord, M.C.; Boguraev, B.K.; Patwardhan, S.; Fan, J.; Fodor, P.; Chu-Carroll, J. Question analysis: How Watson reads a clue
• Svenja Stark:
  McCord, M.C.; Murdock, J.W.; Boguraev, B.K. Deep parsing in Watson

5.6.2013

• Artem Vovk:
  Chu-Carroll, J.; Fan, J.; Schlaefer, N.; Zadrozny, W. Textual resource acquisition and engineering
• Yannick Schröcker:
  Fan, J.; Kalyanpur, A.; Gondek, D.C.; Ferrucci, D.A. Automatic knowledge extraction from documents

19.6.2013

• Kristijan Madunic:
  Chu-Carroll, J.; Fan, J.; Boguraev, B.K.; Carmel, D.; Sheinwald, D.; Welty, C. Finding needles in the haystack: Search and candidate generation
• Dominik Glenz:
  Murdock, J.W.; Kalyanpur, A.; Welty, C.; Fan, J.; Ferrucci, D.A.; Gondek, D.C.; Zhang, L.; Kanayama, H. Typing candidate answers using type coercion

26.6.2013

• Simon Holthausen:
  Murdock, J.W.; Fan, J.; Lally, A.; Shima, H.; Boguraev, B.K. Textual evidence gathering and analysis
• Johannes Simon:
  Wang, C.; Kalyanpur, A.; Fan, J.; Boguraev, B.K.; Gondek, D.C. Relation extraction and scoring in DeepQA

3.7.2013

• Jan Erik Keller:
  Gondek, D.C.; Lally, A.; Kalyanpur, A.; Murdock, J.W.; Duboue, P.A.; Zhang, L.; Pan, Y.; Qiu, Z.M.; Welty, C. A framework for merging and ranking of answers in DeepQA
• Richard Stein:
  Epstein, E.A.; Schor, M.I.; Iyer, B.S.; Lally, A.; Brown, E.W.; Cwiklik, J. Making Watson fast
  
  

Weitere Themen:

• Kalyanpur, A.; Boguraev, B.K.; Patwardhan, S.; Murdock, J.W.; Lally, A.; Welty, C.; Prager, J.M.; Coppola, B.; Fokoue-Nkoutche, A.; Zhang, L.; Pan, Y.; Qiu, Z.M.Structured data and inference in DeepQA
• Prager, J.M.; Brown, E.W.; Chu-Carroll, J. Special Questions and techniques

• Chu-Carroll, J.; Brown, E.W.; Lally, A.; Murdock, J.W. Identifying implicit relationships
• Kalyanpur, A.; Patwardhan, S.; Boguraev, B.K.; Lally, A.; Chu-Carroll, J. Fact-based question decomposition in DeepQA

• Tesauro, G.; Gondek, D.C.; Lenchner, J.; Fan, J.; Prager, J.M. Simulation, learning, and optimization techniques in Watson's game strategies

• Biemann, C.; Riedl, M. From Distributional to Contextual Similarity Technical Report, TU Darmstadt, 2013.

Vorträge

Es wird erwartet, daß Sie die Vorträge mit Folien begleiten. Falls Sie keinen Laptop haben, bitten wir darum, uns die Slides rechtzeitig zu senden, damit wir sie auf einem anderen Laptop einspielen bzw. testen können. Die Vorträge und/oder Slides können wahlweise auf Deutsch oder Englisch gehalten werden.

Ausarbeitung

Begutachtung

Im Rahmen dieses Seminars werden wir ein Peer-Review verfahren umsetzen. Das heisst, dass Sie die Arbeiten von 2 Kommilitonen lesen und kritisch beurteilen sollen. Die Qualität dieser Reviews wird ebenfalls in die Gesamtnote einfließen.

Für das Peer Review füllen Sie bitte das beiliegende Review-Form aus, wobei neben der numerischen Bewertung besonderes Gewicht auf die Begründungen gelegt werden wird.

Benotung

Ihre Gesamtnote wird sich zusammensetzen aus:

• 25% Vortrag und Vortragsfolien
• 40% Ausarbeitung
• 15% Aktive Teilnahme am Seminar
• 20% Qualität der Reviews

Für alle Kriterien wesentlich ist eine selbständige Auseinandersetzung mit dem Problem. Für eine sehr gute (1.x) Beurteilung muß klar sein, dass Sie die fraglichen Arbeiten verstanden haben und von den vorliegenden Papers abstrahieren können. Eine exakte Wiedergabe des Inhalts der Papiere führt nur zu einer Beurteilung mit 2.x, bei außerordentlich schlechten Leistungen zu 3.x oder schlechter. 

Kontakt

Johannes Fürnkranz, Chris Biemann