Übung 1 - Web Mining
- Überlegen Sie sich eine neuartige, originelle Web Mining Anwendung, die mit Text-Klassifikationsverfahren gelöst werden könnte. Skizzieren Sie eine mögliche Umsetzung (Sammlung der Trainingsdaten, Klassifikation der Trainingsdaten, Einsatz des gelernten Klassifikators in der Praxis). (2 Punkte)
- Schreiben Sie ein einfaches Programm, das eine sortierte Liste der in einem Text vorkommenden Worte (im weitesten Sinn alles was durch Leerzeichen begrenzt wird) mit den assoziierten Häufigkeiten (absolut und prozentual) erstellt und sortiert ausgibt. (2 Punkte)
- Vergleichen Sie die 30 am häufigsten vorkommenden Worte in zwei oder mehreren längeren Texten der gleichen Sprache (z. B. E-books, Projekt Gutenberg, etc. ). Sind diese Worte als Merkmale für Text-Klassifizierungs-Aufgaben geeignet? Warum?
- Modifizieren Sie Ihr Programm dahingehend, daß es eine Liste von Stoppwörtern erhalten kann, die ignoriert werden. Wiederholen Sie die vorherige Aufgabe, indem Sie jedoch diesmal die Stoppwörter der jeweiligen Sprache ignorieren (eine Auswahl finden Sie unter http://nltk.googlecode.com/svn/trunk/nltk_data/packages/corpora/stopwords.zip). Wie würden Sie nun die Eignung der 30 häufigsten Wörter einschätzen?
- Die Auftrittswahrscheinlichkeiten von Worten in Texten folgen einer sogenannten Zipf-Verteilung, d. h. einer Verteilung, die doppelt logarithmisch ist. Überprüfen Sie das anhand der gewählten Texte. (2 Punkte)
- Plotten Sie die Häufigkeiten (y-Achse) über den Rang (x-Achse), also die Anzahl der Vorkommnisse des häufigsten Wortes zuerst, dann die Anzahl des zweithäufigsten Wortes, etc. Betrachten Sie sowohl eine absolute als auch eine logarithmische Skalierung beider Achsen. Was können Sie beobachten?
- Bestimmen Sie die Anzahl der Worte, die mit einer gegebenen Häufigkeit vorkommen (also, wie viele Wörter gibt es, die mit Häufigkeit 1 vorkommen, wie viele mit Häufigkeit 2, etc. ). Produzieren Sie ähnliche Grafiken (Anzahl der Worte mit einer gewissen Häufigkeit über die Häufigkeit) und interpretieren Sie diese.
- Plotten Sie die Häufigkeiten (y-Achse) über den Rang (x-Achse), also die Anzahl der Vorkommnisse des häufigsten Wortes zuerst, dann die Anzahl des zweithäufigsten Wortes, etc. Betrachten Sie sowohl eine absolute als auch eine logarithmische Skalierung beider Achsen. Was können Sie beobachten?
- Modifizieren Sie das Programm, so daß es nicht Worte sondern Buchstaben und Buchstabenpaare zählt. Vergleichen Sie deren Häufigkeitsverteilung sowohl zweier in der gleichen Sprache verfassten Texte als auch zweier in verschiedenen Sprachen abgefasster Texte. (2 Punkte)
- Laden Sie sich unser kleines Firefox-Plugin (/lehre/ss14/web-mining/keaddon1.zip) herunter und machen Sie sich damit und den Entwicklungstools vertraut. Weiter unten finden Sie Hinweise zur Verwendung. Erweitern Sie die Funktion
student(text)
in der Dateilib/student.js
dahingehend, daß es drei Sprachen erkennen kann. Die Liste der bisher unterstützten Sprachen können Sie gerne inlanguages.js
nach Belieben erweitern. Verwenden Sie für die Spracherkennung eine einfache Heuristik, die z.B. auf den in der vorherigen Aufgabe vorgestellten Stoppwörtern basiert. Browsen Sie dann ein wenig im Web herum und berichten uns von Ihren Ergebnissen und Erfahrungen mit dem Plugin. Achten Sie bei der Abgabe auf eine funktionsfähige xpi-Datei. (1 Punkt)
Allgemeine Hinweise
Hinweise zum Firefox-Plugin
Das Firefox-Plugin ist ein kleines Tool, welches in der Lage ist, abhängig von der gerade angezeigten Seite ein kleines Symbol, in unserem Falle eine Fahne, in der rechten Ecke der unteren Statusleiste im Firefox anzuzeigen. Das Tool ist bereits in der Lage, den Text einer Web-Seite (technisch gesehen nur Text innerhalb eines Paragraphen, also z.B. keine Überschriften) zu extrahieren und zu verarbeiten. Die Verarbeitung findet in der Funktion student(text)
in lib/student.js
statt. Diese gibt momentan statisch eine Sprache zurück, die dann als Fahne dargestellt wird. Hierum kümmert sich auch das Firefox-Plugin selbständig.
Programmierung und Entwicklungsumgebung
Entpacken sie den Inhalt der Zip-Datei in ein Verzeichnis, das Projektverzeichnis. Laden Sie sich die neueste Firefox Add-on SDK herunter und installieren Sie sie auf ihrem Rechner. Eine Installationsanleitung befindet sich im unten angegebenen Link. Hierbei handelt es sich im Wesentlichen um eine Sammlung von Skripten und Bibliotheken, die Ihnen das Arbeiten mit Firefox Plugins erleichtert. Nach der Installation steht Ihnen der Befehlcfx
zur Verfügung. Führen Sie cfx run
innerhalb des Projektverzeichnisses aus, um Ihre Änderungen im Browser zu testen. Ihre prognostizierte Sprache wird in der Addon-Leiste angezeigt. Alternativ dazu können Sie ihre Funktion in Unittest testen, welche Sie in test-main.js
implementieren können.
Um Ihnen die Arbeit zu erleichtern, stellen wir einige Helferfunktionen bereit. Diese befinden sich in utility.js
und dienen zur Orientierung und keinesfalls als strikte Vorgabe.
Anmerkungen:
- Alternativ können Sie diese Zeile in der
install.rdf
Datei im xpi-Paket ändern. - Für die Add-on SDK 114 war es ausreichend, den Inhalt der Zip-Datei in ein Verzeichnis zu entpacken, dort eine Kommandozeile zu öffnen und
activate.bat
zu starten. Daraufhin stand der Befehlcfx
in dieser Kommandozeile zur Verfügung (Python-Installation notwendig). - Mit
self.data.load("dateiname")
sollte man Dateien laden können, die im Ordnerdata
liegen. - Achtung! Folgende Lösung hat bei uns bei neueren
Firefox-Versionen nicht mehr funktioniert. Achten Sie bitte selbst unbedingt
darauf, daß Sie eine funktionierende .xpi-Datei abgeben:
Es ist nicht unbedingt notwendig, die SDK zu installieren. Sie können auch die xpi Datei mit einem Zip-Programm entpacken, die Änderungen vornehmen und wieder neu zippen. Das Plugin selbst laden Sie, indem Sie die xpi Datei in Firefox öffnen. - Achtung! Dieser Hinweis bezieht sich auf die Verwendung einer älteren SDK zusammen mit einem älteren Firefox. Dieses Problem sollte bei Verwendung der aktuellsten Versionen nicht auftreten.
Falls Sie eine (sehr viel!) ältere Firefox-Version installiert haben, kann es Ihnen passieren, daß Sie entweder das Plugin über die xpi Datei nicht installieren können oder es in den Erweiterung als deaktiviert markiert wird. Installieren Sie bitte in diesem Fall die aktuellste Firefox Version, oder ändern Sie die Standard-Einstellung diesbezüglich im SDK. Ändern Sie hierfür im SDK-Verzeichnis in der Dateipython-lib/cuddlefish/app-extension/install.rdf
die Versionsangabe in der Zeile<em:minVersion>10.0</em:minVersion>
auf z.B.4.0
.
Tools und Links