Data engineer - databricks

Descripción del cargo

Buscamos un/a Data Engineer con experiencia en Databricks y Apache Spark para diseñar, desarrollar y optimizar pipelines de datos, asegurando la calidad, escalabilidad y rendimiento de soluciones analíticas en entornos cloud.
Experiencia Técnica Requerida
Databricks
Desarrollo y mantenimiento de notebooks en Databricks.
Creación y gestión de Jobs y Workflows.
Uso de Delta Lake (ACID, versionado, time travel).
Optimización de clusters (autoscaling, tipos de nodos).
Manejo de workspaces e integración con repositorios Git.
Apache Spark
PySpark avanzado.
Transformaciones complejas: joins, windows, aggregations.
Optimización de queries: partitioning, caching, broadcast joins.
Procesamiento de grandes volúmenes de datos.
Data Engineering
Construcción de pipelines ETL / ELT.
Ingesta de datos desde APIs, bases de datos y Data Lakes.
Modelado de datos (Bronze / Silver / Gold).
Implementación de data quality y validaciones.
Cloud
Experiencia con Azure Databricks o AWS Databricks.
Integración con:
Azure Data Lake / Amazon S3
Azure Data Factory o Airflow
Manejo básico de IAM y gestión de secretos.
Lenguajes
Python avanzado
SQL avanzado
Scala nivel básico–intermedio
Idiomas
Inglés nivel B1 (lectura técnica y comunicación básica)
Habilidades Blandas
Capacidad de análisis y resolución de problemas.
Buena comunicación con equipos técnicos.
Autonomía y orientación a resultados.
Interés por buenas prácticas y mejora continua.
Salario: $10.000.000 – $12.000.000 COP segun experiencia
Contrato: Término indefinido
Modalidad: 100% remoto