Onze klant zoekt voor het ICT & Data-Architectuur departement, dienst Data & Analytics architectuur, een Data Engineer.
Context
Onze klant investeert in een nieuwe elektrische vloot, wat heel wat uitdagingen met zich meebrengt. Deze uitdagingen omvatten het ontsluiten van de technische data van de voertuigen, alsook de normalisatie van de data volgens de standaarden.
Voor het datateam zijn we daarom op zoek naar een enthousiaste Data Engineer die onze data correct kan binnentrekken en interpreteren. Je komt terecht in een projectteam met als naaste collega’s een Data Scientist, Data Analyst en Product Owner.
Verantwoordelijkheden
Het takenpakket van de Data & Analytics Architect/Data Engineer bestaat uit:
- Het onderhouden en uitbreiden van het Azure Data Platform:
- Opzetten van verschillende integraties met brondata (vb. API calls, IoT Hub integratie, …)
- Opzetten van ETL-pipelines in Python-codebase (gebruik van Azure Batch & Airflow voor batch-verwerking, gebruik van Azure Functions & Azure Event Hub voor realtime-verwerking)
- Refactoring/Up-to-date brengen van bestaande code
- Het verzekeren van de datakwaliteit door:
- Afstemming met de leveranciers/externe partners
- Procesmonitoring (vb. Grafana, Azure Log Analytics, …) en inhoudelijke monitoring (vb. niet-communicerende voertuigen)
- Documentatie processen/beschikbare data
- Support leveren voor bestaande dataproducten:
- Realtime dashboard in Power BI, met stream analytics input
- Historisch rapport in Streamlit
Vaardigheden
- Aantoonbare ervaring als Data Engineer
- Aantoonbare ervaring met databanken
- Aantoonbare ervaring met programmeer talen zoals Python, Java of Scala voor het ontwikkelen van datastromen en ETL-processen
- Aantoonbare ervaring in het ontwerpen en implementeren van Extract, Transform, Load (ETL) processen
- Taalvereiste: Nederlandstalig op Europees CEFR – niveau C2.
