Enterprise Data Engineer · Azure & Databricks · AI-Ready Data Platforms
About

I'm Daniel Conejo Sobrino, a Data Engineer based in Málaga, Spain. I work at Viewnext, part of IBM, assigned to Repsol as client on the ARiA data platform. My work covers building end-to-end data pipelines across the full data lifecycle, from multi-source ingestion into Azure Data Lake Storage to curated analytical layers on Azure Databricks and Synapse. My day-to-day covers Python, PySpark, Azure Data Factory, and the complete delivery cycle from development through production.
Before specialising in data engineering, I worked in software development and cloud infrastructure, building applications with .NET, TypeScript and Next.js. That background gives me a practical grounding in how data systems connect to the applications and services that consume them, and shapes how I approach platform delivery: with attention to reliability, observability, and the engineering discipline that makes data trustworthy at scale.
Outside of client work, I maintain a personal home lab where I experiment with agentic AI systems, testing how autonomous agents interact with data, what governance structures they require, and where current tooling falls short. Those experiments feed into the Research Notes on this site, which are my main channel for working through ideas at the intersection of data engineering and AI governance.
Experiencia
Viewnext · Grupo IBM
Data Engineer
2024 – Presente
Málaga, España · Full Remote
- Trabajo como Data Engineer en Viewnext, parte del Grupo IBM, asignado a tiempo completo a Repsol como cliente en la plataforma de datos ARiA.
- Implemento pipelines de datos end-to-end a lo largo de todo el ciclo de vida del dato, desde la extracción e ingestión en origen hasta capas analíticas curadas en Azure Data Lake y consumo downstream de la plataforma.
- Colaboro con Solution Architects para transformar diseños de arquitectura en implementaciones técnicas robustas y escalables, incluyendo documentación de alcance, validación de viabilidad y planificación de pruebas.
- Desarrollo y configuro procesos de ingestión batch y streaming sobre fuentes heterogéneas como Oracle, Teradata, SQL Server, APIs, Salesforce, fuentes de ficheros sFTP, Event Hubs y señales industriales de PI System.
- Construyo flujos de transformación y calidad de datos usando Python, PySpark, SQL, Azure Databricks, Azure Data Factory y componentes de plataforma para lógica de negocio, joins, agregaciones, validación de esquemas y normalización semántica.
- Doy soporte al modelado de datos en capas Raw, Processed y Analytical, incluyendo datasets curados y modelos en Synapse Dedicated Pools optimizados para consumo analítico.
- Contribuyo al ciclo SDLC en entornos de Desarrollo, Test, Acceptance y Producción, dando soporte a UAT, preparación para producción y estabilidad post-release.
- Integro procesos de datos con capacidades de observabilidad, monitorización y orquestación para seguir la salud de las ingestas, dependencias y cumplimiento de SLAs.
- Trabajo con procesos de gobernanza y seguridad incluyendo catalogación de metadatos, solicitudes de acceso, ACLs, Azure Key Vault y Service Principals.
- Participo en la entrega Agile usando ServiceNow y Azure DevOps, incluyendo gestión de backlog, pipelines CI/CD, flujos Git y KPIs de entrega.
BeoneBe
Ingeniero de Datos y Cloud
Enero 2024 – Julio 2024
Marbella, España
- Construcción de un pipeline de inteligencia documental respaldado por Azure para extracción automatizada de metadatos y verificación de autenticidad en grandes corpus de documentos
- Despliegue de servicios de procesamiento en Docker sobre Linux con terminación TLS/SSL y enrutamiento mediante proxy inverso
- Diseño de APIs REST que exponen los resultados del pipeline de datos para aplicaciones consumidoras downstream
- Establecimiento de pipelines CI/CD para pruebas automáticas y despliegue de servicios de procesamiento de datos
Education
Universidad Internacional de La Rioja (UNIR)
Higher Degree in Networked Computer Systems Administration
CPIFP Alan Turing, Parque Tecnológico de Andalucía (PTA)
Professional Certificate in Frontend Environment, Professional Certificate Microsoft Azure
ILERNA FP
Higher Degree in Web Applications Development
Notas de Investigación
Notas sobre gobernanza de IA agéntica, arquitectura de datos empresarial e ingeniería de plataformas.