Bemerkungen

Zu Beginn der Veranstaltung (d.h. nach Vorlesungsbeginn im ersten Termin) werden die Themen vergeben. Eine vorherige Themenreservierung ist nicht möglich.

Beschreibung

Alle reden von „Big Data“. Tatsächlich könnte das explosionsartige Wachstum großer Datenmengen das nächste große Phänomen seit der Erfindung des Internets sein. In der heutigen Zeit kann jeder von überall auf Informationen zugreifen und diese verarbeiten. Dabei produziert jeder von uns zusätzlich eine Vielzahl digitaler Daten wie Videos, Audio, Fotos, etc. Alleine auf YouTube werden jede Minute ca. 48 Stunden Videomaterial hochgeladen. Auch als Nutzer dieser digitalen Produkte stellen wir erhebliche Anforderungen an diese Plattformen: Wir setzen die Verfügbarkeit der Daten, schnelle und effiziente Analysen sowie eine schnelle Suche in großen Datenmengen voraus.

Der Begriff Big Data wird dabei durch die sogenannten fünf „V“s geprägt. Jedes dieser „V“s drückt einen entscheidenden Aspekt großer Datenmengen aus, welche die heutige Infrastruktur an ihre Grenzen bringt:

• Volume: Das Speichern, Verteilen und Analysieren von Petabyte- oder sogar Zettabyteweise Daten
• Variety: Das Verarbeiten einer Vielzahl unstrukturierter Daten unterschiedlichster Datenformate
• Velocity: Der dramatische Anstieg der erzeugten Datenmenge
• Veracity: Das Verarbeiten unbestimmter oder unpräziser Daten, z. B. Daten sozialer Medien
• Value: Auch kleine Datenbestände können wertvoll sein und müssen z.B. archiviert werden, weil sie ggf. einmalig sind

Die Herausforderungen, welche im Umfeld von Big Data entstehen, bieten die besten Möglichkeiten für Einzelpersonen, Forschungseinrichtungen sowie Unternehmen der Technologiebranche, sich zu engagieren, Lösungen zu entwickeln und die Welt zu verändern.

Im Seminar „Big Data Tools“ werden effiziente Methoden und Werkzeuge vorgestellt und diskutiert, die für den Umgang mit großen Datenmengen notwendig sind. Zu diesen gehören voraussichtlich:

1. Moderne In-Memory Technologien für Big Data Analysen
2. CernVM-FS: Verteilung wissenschaftlicher Software auf global verteilte Rechnerressourcen
3. Analyse von Big Data Streams: Apache Flume, Hadoop und HDFS
4. MapReduce: Programmiermodell für die Datenverarbeitung in großen Clustern
5. Docker und Linux Container: Virtualisierung 2.0?
6. Dspace: Erfassung, Speicherung und Weiterverbreitung von digitalen Ressourcen
7. Selbst-verschlüsselnde Festplatten
8. Datenspeicherintegrität
9. MongoDB: dokumentenbasierte NoSQL Datenbanken
10. Verteilte Dateisysteme für Big Data Applikationen
11. Eine Rahmenstruktur für die Big Data Analyse auf verteilten Systemen
12. Handhabung der Big Data Anforderungen mit Open Source Programmen
13. Envelope-basierte Autorisierung von Datenzugriffen in XRootD
14. Optimierte Datenstrukturen für die platzsparende Hinterlegung von großen Datenmengen

Bei Bedarf, können die Vorträge und Diskussionen auch in Englisch abgehalten werden.

Die endgültige Themenliste wird zu Beginn des Seminars vorgestellt.