Datenprojekte sind ein wesentlicher Bestandteil des technischen Ökosystems einer Organisation, aber Dateningenieure in vielen Unternehmen versuchen noch immer, Probleme zu lösen, die bereits von anderen gelöst wurden. Dieses praxisorientierte Handbuch zeigt Ihnen, wie Sie wertvolle Daten bereitstellen, indem Sie sich auf verschiedene Aspekte des Data Engineering konzentrieren, einschließlich Datenaufnahme, Datenqualität, Idempotenz und mehr.

Der Autor Bartosz Konieczny führt Sie durch den Prozess des Aufbaus zuverlässiger End-to-End-Datenengineering-Projekte, von der Datenaufnahme bis zur Datenüberwachung, mit Fokus auf Designmuster im Data Engineering, die gängige Geschäftsprobleme auf sichere und storage-optimierte Weise lösen. Jedes Muster enthält eine benutzerorientierte Beschreibung des Problems, Lösungen und Konsequenzen, die das Muster in den Kontext realer Szenarien stellen.

Während dieser Reise werden Sie Open-Source-Datentools und öffentliche Cloud-Dienste nutzen, um zu sehen, wie jedes Muster in der Praxis umgesetzt wird. Sie lernen:

• Herausforderungen, denen Dateningenieure gegenüberstehen, und ihre Auswirkungen auf Datensysteme
• Wie diese Herausforderungen mit Komponenten des Datensystems zusammenhängen
• Wofür Data Engineering-Muster gedacht sind
• Wie Sie Probleme mit Ihren aktuellen Datenkomponenten erkennen und beheben
• Technologieunabhängige Lösungen für neue und bestehende Datenprojekte
• Wie man Muster mit Apache Airflow, Apache Spark, Apache Flink und Delta Lake implementiert

Der Autor Bartosz Konieczny ist freiberuflicher Dateningenieur und seit über 15 Jahren im Coding tätig. Er hat verschiedene Positionen im Bereich Senior Hands-On bekleidet, die ihm geholfen haben, an vielen Datenengineering-Problemen bei Batch- und Stream-Processing zu arbeiten.

Seiten: 340, Maße: 17,8x17,8 cm