El trabajo empieza en las fuentes
Localizo y evalúo las fuentes disponibles: APIs, archivos, sistemas internos o información pública. Antes de integrarlas hay que revisar el permiso de uso, la calidad, la frecuencia de actualización y los costes o límites de acceso. Si el encargo necesita información pública de la Región de Murcia, reviso también los portales autonómicos y municipales que la publican y sus condiciones de reutilización. Qué hay en el portal de datos abiertos regional y cómo aprovecharlo.
Mi trayectoria previa incluye trabajo con datos de movilidad, obtención de información de Google Maps e integraciones con el BOE y Dataestur. Son fuentes con las que he trabajado desde otras empresas, no clientes de WAVE56.
La cadena del dato, de la fuente al uso diario
El trabajo sigue siempre el mismo recorrido, aunque un encargo pueda quedarse en una sola etapa. Elige una para ver qué reviso, qué suele fallar y qué queda hecho.
Fuentes
- Qué reviso
- Qué dato hace falta, quién lo publica, con qué permiso de uso y cada cuánto se actualiza.
- Lo que suele fallar
- Una página pública que no permite reutilizar sus datos, o un acceso que depende de una cuenta que nadie ha pedido.
- Lo que queda hecho
- Un inventario de fuentes con su acceso, sus condiciones y sus límites.
Obtención
- Qué reviso
- Cómo se accede a cada fuente (API, archivo o sistema interno) y qué ocurre si no responde.
- Lo que suele fallar
- La API cambia el nombre de un campo o entrega solo una parte de los registros.
- Lo que queda hecho
- Un proceso de carga que guarda el origen y la fecha de obtención de cada dato.
Modelo y base de datos
- Qué reviso
- Cómo se reconoce cada registro y cómo se relacionan unos con otros.
- Lo que suele fallar
- Identificar los registros por su posición en un archivo, que cambia con cada versión nueva.
- Lo que queda hecho
- Un modelo de datos documentado, con identificadores estables.
Transformación y calidad
- Qué reviso
- Duplicados, valores ausentes y fechas o formatos que cambian de una fuente a otra.
- Lo que suele fallar
- Casos dudosos que se convierten en ceros o se descartan sin dejar rastro.
- Lo que queda hecho
- Las reglas de calidad por escrito y los registros dudosos apartados para revisarlos.
Actualización
- Qué reviso
- Cada cuánto cambia cada fuente y cuánto retraso admite el uso que le vas a dar.
- Lo que suele fallar
- Una carga que termina sin errores con los datos de la semana pasada.
- Lo que queda hecho
- La programación de las cargas, avisos cuando un dato se retrasa y la forma de repetir una carga sin duplicar filas.
Uso
- Qué reviso
- Quién va a usar los datos y para qué decisión.
- Lo que suele fallar
- Cifras que no coinciden con las que tu equipo calcula a mano.
- Lo que queda hecho
- La salida acordada (API, exportación, cuadro de mando, visualizador o aplicación) con sus pruebas y su documentación.
Cuando la fuente cambia
Un proceso de carga necesita detectar formatos inesperados, registros repetidos y periodos sin actualizar. Defino qué errores detienen la carga, cuáles se dejan pendientes de revisión y cómo volver a procesar un lote sin duplicar información. La fecha de extracción y el origen se conservan cuando son necesarios para interpretar el dato.
Qué reviso antes de integrar una fuente de datos.
Qué se entrega
El encargo puede quedarse en una integración concreta o abarcar la cadena completa: desde una pyme con la información repartida entre hojas de cálculo y herramientas hasta una empresa con equipo técnico que necesita a alguien que asuma la integración. Acordamos el modelo, las reglas de calidad, la frecuencia de actualización y la salida que necesita tu negocio, junto con las pruebas y la documentación.
Si los datos van a alimentar un análisis o un sistema de IA, antes acordamos cómo comprobar que sirven para la pregunta que quieres responder. Tener más datos no asegura que basten.
Accesos y mantenimiento
Trabajo dentro de lo que permiten las fuentes y los servicios externos, así que no prometo acceso a las restringidas ni disponibilidad permanente. Las licencias del software y los permisos de uso de los datos son cuestiones distintas y las revisamos por separado. La propuesta delimita la operación, la adaptación a los cambios de una API y el mantenimiento posterior.
Si tu equipo va a mantener la integración, puedo formarlo en directo por videoconferencia sobre ese mismo proceso: cómo revisar el permiso de uso de una fuente, qué comprobar cuando cambia su formato y cómo repetir una carga sin duplicar registros.
Preguntas frecuentes
¿El resultado puede ser un cuadro de mando?
Sí, si es lo que necesitas. Los datos pueden terminar en un cuadro de mando o un visualizador, una API, una exportación o una aplicación. En la propuesta fijamos la salida y cada cuánto se actualiza. Cómo plantear un cuadro de mando que se actualice solo.
¿Puedes sacar datos de cualquier web o API?
No de cualquiera. Antes de presupuestar compruebo si tenemos permiso de acceso y si las condiciones de la fuente permiten el uso que necesitas: que una página sea pública no significa que se pueda extraer y reutilizar sin más. Qué reviso antes de integrar una fuente de datos.
Cuéntame tu caso
Escríbeme qué ocurre ahora y qué te gustaría cambiar; no hace falta una especificación técnica. Preparar la propuesta no tiene coste.
Te respondo en dos días laborables como máximo. También puedes escribir a hola@wave56.com.