"Extreme Data" para un futuro extremo

¿Cuánto es mucho? En una Internet basada en la abundancia y la proliferación de datos, la pregunta es pertinente. Cuando el volumen, la variedad o la velocidad a la que se generan esos datos crece, llega un momento en que la analítica de datos que conocemos no nos vale.

¿Te suena?

Desde que hemos venido hablando de la analítica de datos aplicada a un ámbito -ya hace tiempo- conocido como Big Data, no hemos dejado de sumar «uves» a la publicación primigenia que daba origen a la fundamentación del concepto.

En los últimos años, la consolidación de tecnologías, herramientas y estrategias nos han permitido ser testigos de la popularización de la ingeniería de datos como disciplina y ocupación profesional en todos los sectores económicos, además de ver cómo se constituye la base sobre la que los negocios se sustentan para desarrollar una gestión cada vez más basada en la evidencia.

En paralelo, la aplicación de los conocimientos en ciencia de datos, asociados siempre a un colosal avance en los medios técnicos que los soportan y permiten su aplicación, a todos los ámbitos de nuestra particular sociedad de la información, nos ha llevado a explorar nuevos horizontes en los que se empieza a hablar de Datos “Extremos”, o Extreme Big Data (EBD).

Nos referimos a un universo Big Data en el que cualquiera de sus dimensiones (volumen, variedad, velocidad, etc.) se vuelven hasta cierto punto “inmanejables” con los medios habituales. Es un frontera poco conocida, pues habitualmente es un terreno abonado para el resurgimiento de la computación de altas prestaciones, la supercomputación o HPC (High Performance Computing) y su convergencia con el ecosistema propio del Big Data.

Hace algo más de un año que terminaba una CSA (Coordination and Support Action) financiada dentro del Horizonte 2020, el octavo Programa Marco de Investigación e Innovación de la Unión Europea, EXDCI-2 (European eXtreme Data and Computing Initiative). Esta acción dejaba como parte de sus resultados una serie de recomendaciones redactadas a modo de sesudos informes dedicados a identificar las sinergias de la HPC con una serie de líneas a lo largo de las cuales se ha venido desarrollando el futuro de las tecnologías que nos tocan más de cerca.

En esos informes encontrábamos referencias al futuro de la electrónica, la fotónica o la analítica de datos basada en HPC (HPDA, High Performance Data Analytics) dibujando un ecosistema de tecnologías que dejan ver un tejido tecnológico, una suerte de “urdimbre”, que se asemeja a un continuo de recursos para acomodar una cada vez más pesada “logística del dato” que debe estar en la base de la visión de un futuro más “inteligente”, en un escenario en el que la Inteligencia Artificial está por todas partes (AI Everywhere).

Ese escenario se apoya, necesariamente, en un “continuo digital” nacido de las sinergias entre lo que, todavía hoy, se entienden como dominios diferentes: sistemas empotrados y sensórica, analítica de datos, computación en la nube (Cloud), computación perimetral (Edge), o computación de altas prestaciones (HPC).

Uno de los motores para el desarrollo de ese continuo ha sido la Internet de las cosas (IoT), que ha visto cómo mejoran las comunicaciones en términos de latencia tras la promesa de la 5G y cómo, además, los dispositivos sensores integran cada vez más capacidad de procesamiento, equilibrando los requisitos de tiempo real -o cuasi tiempo real- de muchas aplicaciones con el despliegue -cada vez más versátil- de recursos perimetrales (Edge Computing) bajo demanda.

El desarrollo efectivo de las sinergias entre esos dominios, que nos ayudará a sustanciar este hipotético continuo digital para, por ejemplo, construir un gemelo digital de nuestro sistema planetario, que es el objetivo declarado de la iniciativa Destination Earth.

Un caso de uso especialmente relevante para ese gemelo digital es la elaboración de predicciones útiles de los eventos climatológicos extremos que, dada la realidad del cambio climático y lo avanzado de sus consecuencias, será un mal endémico de nuestro futuro. Las catástrofes naturales asociadas a esos eventos extremos acumulan cifras de récord: entre 1980 y 2020, los eventos climatológicos extremos han sido responsables del 80% de las pérdidas económicas sufridas por los países de la zona Económica Europea (EEA), totalizando algo menos de 500 billones de euros.

Para perseguir esa visión y conseguir hacer realidad casos de uso como este, nacía en el verano de 2020 la Trans Continuum Initiative (TCI) como un esfuerzo colosal impulsado por siete asociaciones, que en poco tiempo serían ocho: 5G IA (5G Infrastructure Association), AIOTI (Alliance of Internet Of Things Innovation), BDVA, (Big Data Value Association), ECSO (European Cybersecurity Organisation), EPoSS (European Technology Platform on Smart Systems Integration), ETP4HPC (European Technology Platform for High-Performance Computing), EU-Maths-In (European Service Network of Mathematics for Industry and Innovation), HiPEAC (High Performance Embedded Architecture and Compilation).

Nos dirigimos hacia un futuro incierto y “extremo”. Necesitamos ser capaces de manejar datos con unas dimensiones que superan con creces lo que conocemos hasta la fecha. Hablamos de órdenes de magnitud de diferencia en términos de volumen o velocidad de adquisición y procesamiento. Se trata de datos de todo tipo con cuyo tratamiento, en todo su ciclo de vida, debemos ser extremadamente pulcros, de acuerdo con los principios que rigen la aproximación europea a la Inteligencia Artificial y su apuesta por una economía digital basada en el dato.

e-Fumérides

¿Trabajas en este ámbito? Edosoft, como miembro activo de la AIOTI -y empresa comprometida con la Innovación y el impacto positivo centrado en los Objetivos de Desarrollo Sostenible-, ha puesto su capacidad de desarrollo en el ámbito de los Datos y la Inteligencia Artificial, así como su experiencia operativa en el diseño y la optimización de soluciones Cloud, al servicio de los objetivos compartidos para la construcción de una Europa más digital y más sostenible. Quizás podamos encontrar la forma de sumar: no lo dudes y contacta con nosotros.