Eine Übersicht über Web Scraping und dessen Anwendungen

Das Internet bietet eine breite Palette von Fakten und Datenquellen, die von Menschen erstellt wurden. Es besteht jedoch aus einer enormen Vielfalt von unterschiedlichen und schlecht organisierten Daten, die schwer zu sammeln sind und problematisch für die Nutzung in mechanischen Prozessen. In der jüngeren Vergangenheit wurden Verfahren und verschiedene Werkzeuge entwickelt, um die Datensammlung und Umwandlung in organisierte Informationen durch B2C- und B2B-Systeme zu ermöglichen. Dieses Papier wird sich auf verschiedene Aspekte des Web Scraping konzentrieren, beginnend mit einer grundlegenden Einführung und einer kurzen Diskussion über verschiedene Software und Werkzeuge für das Web Scraping. Zudem haben wir den Prozess des Web Scrapings mit einer Ausarbeitung über die verschiedenen Arten von Web Scraping-Techniken erklärt und schließlich die Vor- und Nachteile des Web Scraping sowie eine detaillierte Beschreibung der verschiedenen Bereiche, in denen es angewendet werden kann, zusammengefasst. Die Möglichkeiten, die sich aus diesen Daten ergeben, sind zahlreich und umfassen Ausgaben im Zusammenhang mit Open Government Data, Big Data, Business Intelligence, Aggregatoren und Vergleichsseiten sowie die Entwicklung neuer Anwendungen und Mashups unter ehemaligen.