Übung 4 - Web Mining

4. Eval­u­a­tion

1. Wen­den Sie den Naive Bayes auf die Test­dat­en an und geben Sie die Multiclass-Konfusionsmatrix an.
   In­ter­pretieren Sie die Konfusionmatrix.
2. Berech­nen Sie an­hand der Kon­fu­sion­ma­trix die Per­for­mance-Maße Ac­curacy, Pre­ci­sion und Re­call unter Ver­wen­dung von jeweils Mi­cro- und Macro-Av­er­ag­ing und stellen diese Werte tabel­lar­isch dar.
3. Wenden Sie den compress Algorithmus auf den Testdaten an und berechnen Sie ebenfalls die in der vorherigen Aufgabe aufgezählten Maße, jedoch ohne die Konfusionsmatrix anzugeben. Bewerten Sie beide Algorithmen, welche sind ihre Stärken und Schwächen, welcher ist für welche Anforderung geeigneter. Vergessen Sie dabei nicht die Laufzeit.
   Hinweis: Sollte ihr Datensatz zu groß für compress sein, reduzieren Sie zufällig die Beispiele der Testmenge. Eine Laufzeit von bis zu einer Stunde sollte jedoch noch akzeptabel sein.
4. Wählen Sie aufgrund Ihrer Erfahrungen mit Naive Bayes und compress einen der beiden Algorithmen aus und wenden Sie den in Teilaufgabe 1 oder 3 gelernten Klassifizierer auf einen anderen Datensatz ihrer Wahl an. D.h. trainieren Sie z.B. auf den 20 newsgroup Datensatz, klassifizieren aber auf den WebKB-Daten.
   Geben Sie nun zu jeder Kategorie aus dem Trainingsdatensatz eine passende Kategorie oder Kategorie-Liste aus dem Testdatensatz aus. Denken Sie sich dabei selbst ein Maß für die Übereinstimmung aus.
   Wie sinnvoll schätzen Sie eine solche Inter-Domänen-Klassifizierung ein?

Mögliche Datensätze

• (mini) 20 news­groups Datensatz: Einige der Post­ing sind in mehreren Ord­ner unter ver­schiede­nen Namen vertreten. Das be­deutet, daß es Doku­mente gle­ichen In­halts aber mit ver­schiede­nen La­bels gibt. Es be­deut­ed auch, dass die Eval­u­a­tion etwas zu pes­simistisch ist, da ein Train­ings­doku­ment beim Testen erneut auf­tauchen kann, dann aber zwin­gend mit einen an­deren Label als im Train­ing.
  Die Doku­mente en­thal­ten einen Head­er inklu­sive der Label-Information. Diesen Head­er sollte man nicht in den Fea­ture-Vek­tor ein­fließen lassen, da er Daten enthält, die man in der Prax­is nicht zu Verfügung hätte.
• We­bKB-Daten­satz
• telegraph-Datensatz: Der Datensatz enthält viele leere Datensätze. Bereinigen Sie zunächst die Dokumente. Auch indem Sie Links (Text zwischen eckigen Klammern) und nur den Text mit zur Share Überschrift verwenden. Im Kopf jedes Dokumentes stehen die hierarchischen Kategorien. Schauen Sie sich die Klassenstruktur zunächst an und wählen Sie nach Belieben aus.
• reuters-21578: Dieser Datensatz enthält etwa 100 Klassen, einige von ihnen kommen nur sehr selten vor. Ignorieren Sie Dokumente, die keinen oder mehr als einen =TOPICS=- Eintrag haben.

Hin­weise

• Alle notwendi­gen Def­i­ni­tio­nen find­en Sie im Folien­satz text clas­si­fi­ca­tion.
• Auf­gabe 1: Um die Aufteilung in Test- und Train­ings­menge ein wenig zu vere­in­fachen, können Sie die Gesamtheit der Doku­mente durch eine zufällige Auswahl aufteilen. Zwar we­ichen dann die Größen­verhält­nisse von Train­ing- zu Test­menge der einzel­nen Klassen etwas von einan­der ab, aber bei 100 oder mehr Doku­menten pro Klasse sind größere Ab­we­ichun­gen sehr un­wahrschein­lich.