Beschreibung
Für unseren Kunden suchen wir einen Data Engineer (m/w/d)
Aufgaben:
* Entwicklung von ETL Strecken
* Entwicklung von Skripten zur Analyse der Daten
* Entwicklung von Funktionen, um in Dateien enthaltene Daten effizient zu extrahieren und in eine strukturierte Datenbank zu laden
* Aufbereitung und Integration von Daten
* Strukturierte und unstrukturierte Datenquellen identifizieren und integrieren
* Sicherstellung, dass Daten über QLIK/SQL zugänglich sind
* Verwaltung und Optimierung der Datenbank
* Exporte in Excel und CSV
* Datenqualitätssicherung: Implementierung von Mechanismen zur Überwachung und Sicherstellung der Datenqualität und -konsistenz
* Dashboards erstellen
Qualifikationen:
* Sehr gute Erfahrungen mit QLIK Sense
* Sehr gute Kenntnisse mit Python, Grafana, ETL, SQL, REST
* Grundkenntnisse mit: Apache Spark, PySpark, Pandas,, Airflow DAGs, Boto3 API, SNS, SQS
* Profunde Erfahrungen mit Excel und CSV
* Erfahrung in der Datenmodellierung (z.B. Star Schema)
Eckdaten:
Auslastung: 5 Tage/ Woche
Einsatzort: 100% Remote
Startdatum: ab 01.01.2025