Auswerten von Big-Data-Datensatzen durch moderne Informationstechnologie und Untersuchung eines Datenanalyseproblems unter Verwendung moderner Frameworks

Studienarbeit aus dem Jahr 2021 im Fachbereich Informatik - Software, Note: 1,0, Hochschule fur Technik, Wirtschaft und Kultur Leipzig (Digitale Transformation), Veranstaltung: Big Data Management, Sprache: Deutsch, Abstract: Erstellen und Auswerten von Big-Data-Datensatzen durch moderne Informationstechnologie. Im Beispiel der Studienarbeit ist mit Apache Spark und Selenium gearbeitet worden. Innerhalb der Arbeit wird der Grundsatz und die Anwendung von Big Data behandelt. Es sollen zwei Fragestellungen beantwortet werden: Ist die Richtigkeit / Qualitat der Datensatze auf zwei spezifisch ausgewahlten Tesla-Webseiten gegeben oder sollte bei der Auswahl der Webseiten der Fokus explizit nur auf einer dieser Webseiten liegen? Welche Distanz wird der Tesla zum 01.01.2025 zuruckgelegt haben?Um an die Informationen zur Beantwortung dieser Fragestellungen zu gelangen, mussen uber einen gewissen Zeitraum die benotigten Daten erfasst und gespeichert werden. Die Erfassung kann uber viele Wege erfolgen, sofern eine Programmierschnittstelle vorhanden ist (API), sollte diese genutzt werden, eine andere Moglichkeit ware das Crawlen von Webseiten, also das Auslesen von HTML Elementen einer Webseite. Um sich einen genauen Uberblick uber die Anzahl der Datensatze zu verschaffen, wird eine Hochrechnung beschrieben.