Web Mining - SS 06
LVA 20.139.1/2 im Vorlesungsverzeichnis der TU Darmstadt, SS 06.
Forum
Das Forum befindet sich auf den alten Forumseiten der Fachschaft.Klausur
Die Ergebnisse der Klausur hängen am Brett neben Raum E 304 aus und sind außerdem über das WebReg-System einsehbar.
Alte Klausuren:
Anrechnung
Für Diplom-Studenten Informatik ist diese Vorlesung
für den
Bereich 3 (Anwendungsorientierte Informatik)
anrechenbar. Aufgrund der großen stofflichen
Überlappung mit der Vorlesung Information Retrieval bei
Th. Hofmann, erhalten Sie in Summe jedoch nur 5 SWS angerechnet, falls
Sie diese beiden Vorlesungen einbringen wollen.
Für Master-Studenten gilt Analoges für den Kanonik-Bereich
Data und Knowledge Engineering.
Overview
Das World-Wide Web verschafft jedem Internet-User Zugang zu einer stetig wachsenden Informationsfülle, die ohne entsprechende Unterstützung nicht mehr zu überschauen ist. Web Mining ist eine junge Forschungsrichtung, die versucht, das Problem mit Hilfe von Techniken des Maschinellen Lernens und Data Minings in den Griff zu bekommen. In dieser Vorlesung werden sowohl Grundlagen von Information Retrieval und Text Classification vermittelt, als auch auf die Ausnutzung der Besonderheiten von Web-Dokumenten (i.e., ihre Strukturierung und ihre Vernetzung) eingegangen.
Übungen
In den Übungen werden die Studenten praktische Implementierungen einiger der in der Vorlesung behandelten Techniken erstellen bzw. mit existierenden Systemen arbeiten. Die Teilnahme an den Übungen ist optional, es können aber Gutpunkte für die Klausur erworben werden, allerdings nur bei Bestehen der Klausur.
Allgemeine Informationen zu den Übungen finden Sie hier. Jede Gruppe muß nur einmal abgeben, aber klarerweise sollten die Gruppenmitglieder aus der Abgabe ersichtlich sein.
Topics & Slides:
Momentan verlinkt sind die Folien des Vorjahrs, die auch dieses Jahr die Basis der Vorlesung bilden werden. Gegenfalls werden die Folien jedoch im einigen Punkten angepaßt oder ergänzt werden. Die modifizierten Version werden dann die alten Versionen ersetzen (spätestens nach der jeweiligen Vorlesung).
- Introduction (V1.2, 26.4.)
- Web Mining Overview
- The Web, HTTP, HTML, DOM, XPath
- Data Mining Overview
- Structured, Semi-Structured and Unstructured Data
- Sample Web Mining Tasks
- Information Retrieval on the Web (V1.3,
11.5.)
- search engines & web crawlers
- document indexing
- the vector space model
- inverted index
- performance measures (recall & precision)
- relevance feedback
- estimating the size of the web
- Text Mining
- text classification (V1.3, 1.6.)
- document representation
- induction of classifiers (k-NN, Naive Bayes, SVMs, Rule Learners)
- Overfitting Avoidance
- Evaluation of Classifiers
- feature engineering
- stop words
- feature subset selection
- n-grams
- stemming
- phrases
- latent semantic indexing
- semi- and unsupervised
learning
- clustering (k-means, bottom-up agglomerative)
- semi-supervised learning (active learning, self-training, co-training)
- text classification (V1.3, 1.6.)
- Structure
mining (V1.0, 6.6.)
- the Web as a graph
- hyperlink-based relevance ranking (hubs and authorities, page rank)
- hypertext classification (Naive Method, HyperClass, hyperlink ensembles)
- Information Extraction &
Wrapper Induction
- conventional information extraction (AutoSlog)
- structured text (LR-Wrappers)
- semi-structured text (SoftMealy, WHISK, SRV, RAPIER)
- Recommender Systems (V1.1,
13.7.)
- memory-based collaborative filtering
- model-based collaborative filtering
Additional Slides
- Folien zum Textbuch gibt es hier.
Text Book
Ein Großteil
des Materials, das in der Vorlesung behandelt wird (und viel mehr),
wird in diesem Buch abgedeckt:
|
Additional Readings
Zusätzliche Informationen finden sich in folgenden Resourcen:
- General Overviews:
- Soumen Chakrabarti, Data Mining for Hypertext: A Tutorial Survey. ACM SIGKDD explorations 1(2):1-11, January 2000.
- Johannes Fürnkranz, Web Mining, Draft book chapter, 2004.
- Graph Properties of the Web:
- A. Broder, F. Maghoul, R. Kumar, P. Raghavan, S. Rajagopalan, R. Stata, A. Tomkins, and J. Wiener. Graph structure in the Web. Computer Networks, 33(1-6):309--320, 2000. Special Issue Proceedings 9th International World Wide Web Conference (WWW9)
- Search Engines:
- Text Mining:
- Fabrizio Sebastiani, Machine learning in automated text categorization. ACM Computing Surveys, 34(1):1-47, 2002.
- Feature Engineering
- Yiming Yang, Jan O. Pedersen: A Comparative Study on Feature Selection in Text Categorization. Proceedings of the International Conference on Machine Learning (ICML-97), pp. 412-420, 1997.
- Hypertext Categorization
- Soumen Chakrabarti, Byron E. Dom, and Piotr Indyk. Enhanced Hypertext Categorization using Hyperlinks. In Proceedings of ACM SIGMOD-98, 1998.
- Johannes Fürnkranz: Hyperlink Ensembles: A Case Study in Hypertext Classification. Information Fusion 3(4):299-312, December 2002, Special Issue on Fusion of Multiple Classifiers.
- Information Extraction:
- Line Eikvil, Information Extraction from World Wide Web - A Survey. Technical Report 945, Norwegian Computing Center, July 1999.
- Web Usage Mining:
- J. Srivastava, R. Cooley, M.Deshpande, P.Tan, Web usage mining: discovery and applications of web usage patterns from web data. ACM SIGKDD explorations 1(2):12-23, January 2000.
- Recommender Systems:
- John S. Breese and David Heckerman and Carl Kadie, Empirical Analysis of Predictive Algorithms for Collaborative Filtering, Proceedings of the 14th Conference on Uncertainty in Artificial Intelligence (UAI-98), pp. 43-52, 1998.
- Software:
- Rainbow (text classification system)