DataOps: que un pipeline falle y te enteres tú, no el gerente
Orquestación, tests de calidad, alertas y CI/CD sobre plataformas de datos existentes. Menos incidentes silenciosos, menos costos sorpresa en la nube, menos dependencia de una sola persona.
El problema que resuelve
La plataforma ya existe: hay pipelines, hay tableros y hay una o dos personas que saben levantarlo cuando se cae. El problema es que se cae, que nadie se entera hasta que el número equivocado ya está en una reunión, y que la corrección se hace a mano.
Sin tests, sin alertas y sin control de versiones, cada cambio en una fuente es una ruleta. Y cuando la persona que sabe está de vacaciones, la plataforma queda congelada.
Qué entregamos
- Tests automáticos de calidad y frescura que detienen la carga antes de que el dato malo llegue al tablero.
- Alertas accionables: qué se rompió, en qué tabla y a quién le importa.
- CI/CD para las transformaciones: pull request, revisión y despliegue reproducible en vez de editar en producción.
- Ambientes separados de desarrollo y producción, con accesos por rol.
- Monitoreo de costos y tiempos de ejecución en BigQuery o Fabric, con alertas de presupuesto.
- Runbooks escritos: qué hacer cuando falla cada cosa, para que no dependa de nosotros.
Stack tecnológico
- Airflow / Cloud Composer
- Dataform
- BigQuery
- GitHub Actions
- Cloud Monitoring
- Microsoft Fabric
- Python
- SQL
Casos de uso
Situaciones típicas en las que entra este servicio.
- Una plataforma heredada que funciona, pero que nadie se atreve a modificar porque no hay pruebas.
- Cargas que fallan en silencio y se descubren cuando un usuario nota que el dato quedó viejo.
- La cuenta de BigQuery subió el triple y nadie sabe qué consulta la está moviendo.
- Todo el conocimiento de despliegue está en la cabeza de una persona.
Preguntas frecuentes
- ¿Cuándo conviene invertir en DataOps?
- Cuando ya hay pipelines en producción y alguien depende de ellos para decidir. Señales concretas: un número equivocado llegó a una reunión, el pipeline se arregla a mano, una sola persona sabe desplegar, o la factura de la nube subió sin explicación. Antes de eso, con tests básicos y alertas basta.
- ¿Qué diferencia hay entre DataOps y data engineering?
- Data engineering construye el pipeline. DataOps es lo que hace que siga funcionando: pruebas, despliegues, monitoreo, control de accesos y costos. En equipos chicos lo hace la misma gente, pero es trabajo distinto y se puede contratar por separado.
- ¿Sirve si la plataforma la construyó otro proveedor?
- Sí. Buena parte de este trabajo es sobre plataformas heredadas: partimos por levantar qué hay, qué se cae y qué cuesta, y priorizamos por riesgo. No exigimos reconstruir para poder operar.
- ¿Cómo se controla el costo de BigQuery?
- Casi siempre con lo mismo: particionar y agrupar las tablas grandes, cortar los SELECT * que dispara el tablero, materializar lo que se consulta muchas veces, y poner alertas de presupuesto por proyecto. El costo se domina midiendo qué consulta escanea qué, no apagando cosas al azar.
¿Te suena conocido?
Cuéntanos qué tienes hoy y qué te está doliendo. Respondemos con un alcance acotado o te decimos derechamente que no somos los indicados.