Kategorisierte Textdokumentenzusammenfassung in der Kannada-Sprache durch Satzbewertung

Das Wachstum des Internets hat den Bedarf an besseren Informationsabruftechniken (IR) geweckt, die dabei helfen, relevante Informationen schneller zu erhalten. Textzusammenfassung ist eine solche Technik, die darauf abzielt, eine schnelle und prägnante Zusammenfassung des Textes zu erstellen. Kürzlich hat die Schlagwort-basierte Zusammenfassung weite Aufmerksamkeit innerhalb der Natural Language Processing Gemeinschaft erhalten. Der von uns entwickelte Algorithmus extrahiert Schlüsselwörter aus Kannada-Textdokumenten, wofür wir GSS (Galavotti, Sebastiani, Simi)13 Koeffizienten und IDF (Inverse Document Frequency) Methoden zusammen mit TF (Term Frequency) zur Extraktion der Schlüsselwörter kombinieren und diese anschließend für die Zusammenfassung verwenden. Das wichtige Ziel unserer Arbeit ist es, jedem Wort in einem Satz ein Gewicht zuzuweisen; das Gewicht eines Satzes ist die Summe der Gewichte aller Wörter. Basierend auf der Bewertung der Sätze wählen wir die besten ‚m‘ Sätze aus. Ein Dokument aus einer gegebenen Kategorie wird aus unserer speziell für diesen Zweck erstellten Datenbank ausgewählt. Die Dateien stammen von Kannada Webdunia. Kannada Webdunia ist ein Kannada-Portal, das politische Nachrichten, Filmnachrichten, Sportnachrichten, Einkaufsmöglichkeiten und Witze anbietet. Je nach der vom Benutzer vorgegebenen Satzanzahl wird eine Zusammenfassung erstellt. Abschließend vergleichen wir die maschinell generierte Zusammenfassung mit der menschlichen Zusammenfassung. Ein weiteres Ziel dieser Arbeit ist die Merkmalsextraktion durch das Entfernen von Stoppwörtern. Für die Entfernung von Stoppwörtern haben wir eine neuartige Technik vorgestellt, die strukturell ähnliche Wörter in einem Dokument findet.