Bemerkungen

Der erste Termin des Seminars, in dem u.a. die Themen final vergeben werden, findet statt am: 22.10.2018 um 15:45 in Raum 314, Geb. 20.21.

Eine Voranmeldung im Campus-System ist wünschenswert.

Eventuell werden die Seminarvorträge in wenigen Blockveranstaltungen gehalten werden.

Beschreibung

Alle reden von „Big Data“. Tatsächlich könnte das explosionsartige Wachstum großer Datenmengen das nächste große Phänomen seit der Erfindung des Internets sein. In der heutigen Zeit kann jeder von überall auf Informationen zugreifen und diese verarbeiten. Dabei produziert jeder von uns zusätzlich eine Vielzahl digitaler Daten wie Videos, Audio, Fotos, etc. Alleine auf YouTube werden jede Minute ca. 48 Stunden Videomaterial hochgeladen. Auch als Nutzer dieser digitalen Produkte stellen wir erhebliche Anforderungen an diese Plattformen: Wir setzen die Verfügbarkeit der Daten, schnelle und effiziente Analysen sowie eine schnelle Suche in großen Datenmengen voraus.

Der Begriff Big Data wird dabei durch die sogenannten fünf „V“s geprägt. Jedes dieser „V“s drückt einen entscheidenden Aspekt großer Datenmengen aus, welche die heutige Infrastruktur an ihre Grenzen bringt:

• Volume: Das Speichern, Verteilen und Analysieren von Petabyte- oder sogar Zettabyteweise Daten
• Variety: Das Verarbeiten einer Vielzahl unstrukturierter Daten unterschiedlichster Datenformate
• Velocity: Der dramatische Anstieg der erzeugten Datenmenge
• Veracity: Das Verarbeiten unbestimmter oder unpräziser Daten, z. B. Daten sozialer Medien
• Value: Auch kleine Datenbestände können wertvoll sein und müssen z.B. archiviert werden, weil sie ggf. einmalig sind

Die Herausforderungen, welche im Umfeld von Big Data entstehen, bieten die besten Möglichkeiten für Einzelpersonen, Forschungseinrichtungen sowie Unternehmen der Technologiebranche, sich zu engagieren, Lösungen zu entwickeln und die Welt zu verändern.

Im Seminar „Big Data Tools“ werden effiziente Methoden und Werkzeuge vorgestellt und diskutiert, die für den Umgang mit großen Datenmengen notwendig sind. Zu diesen gehören voraussichtlich:

1. Moderne In-Memory Technologien für Big Data Analysen
2. CernVM-FS: Verteilung wissenschaftlicher Software auf global verteilte Rechnerressourcen
3. Analyse von Big Data Streams: Apache Flume, Hadoop und HDFS
4. MapReduce: Programmiermodell für die Datenverarbeitung in großen Clustern
5. Docker und Linux Container: Virtualisierung 2.0?
6. Dspace: Erfassung, Speicherung und Weiterverbreitung von digitalen RessourcenSelbst-verschlüsselnde FestplattenDatenspeicherintegrität
7. MongoDB: dokumentenbasierte NoSQL Datenbanken
8. Verteilte Dateisysteme für Big Data Applikationen
9. Eine Rahmenstruktur für die Big Data Analyse auf verteilten Systemen
10. Handhabung der Big Data Anforderungen mit Open Source Programmen
11. Envelope-basierte Autorisierung von Datenzugriffen in XRootD
12. Optimierte Datenstrukturen für die platzsparende Hinterlegung von großen Datenmengen

Bei Bedarf, können die Vorträge und Diskussionen auch in Englisch abgehalten werden.

Die endgültige Themenliste wird zu Beginn des Seminars vorgestellt.