NEC lanza el software gratuito “FireDucks” para acelerar el análisis de datos utilizando Python

Corporación NEC anunció hoy el lanzamiento de “FireDucks”(1), un programa de software gratuito diseñado para aceleraciones de análisis de datos de la biblioteca de análisis de datos de tablas “pandas”, que se utiliza para análisis con Python, el lenguaje de programación más utilizado en el mundo en la actualidad. Capaz de llevar a cabo la preparación de datos necesaria para el análisis de datos hasta 16 veces(2) más rápido que los productos existentes, este software FireDucks recientemente desarrollado acorta significativamente el tiempo dedicado al análisis de datos y reduce los costos informáticos.

La versión beta de FireDucks ya está disponible de forma gratuita en línea (https://fireducks-dev.github.io/).

En los últimos años, se ha vuelto más fácil que nunca recopilar cantidades masivas de datos, incluidos datos de ventas de terminales de puntos de venta (POS), comercio electrónico y datos de transacciones financieras. Para extraer resultados analíticos valiosos de dichos datos, existe una creciente necesidad de que los científicos de datos los analicen utilizando inteligencia artificial (IA) y aprendizaje automático (ML).

Sin embargo, para prepararse para el análisis de datos, primero se deben preprocesar grandes conjuntos de datos. Se dice que los científicos de datos dedican aproximadamente el 45 %(3) de su tiempo a preparar datos, y esto se ha convertido en un problema importante. Además, el aumento del volumen de datos y la evolución de la IA y el aprendizaje automático han dado lugar a una mayor complejidad computacional. Como resultado, los mayores costos computacionales (por ejemplo, costos de la nube) y el consiguiente aumento en el consumo de energía y las emisiones de CO2 también se han vuelto problemáticos.

En vista de esto, NEC se propuso desarrollar FireDucks, un programa de software diseñado para acelerar a los pandas. Para desarrollar este software, NEC aprovechó la tecnología de programación de alto rendimiento y el conocimiento de aceleración que ha cultivado en sus más de treinta años de experiencia en el desarrollo de supercomputadoras.

Al poner la versión beta del software FireDucks a disposición del público en general de forma gratuita, NEC espera mejorar la tasa de análisis de datos acelerados y reducir las horas de trabajo de los científicos de datos para analizar datos y resolver problemas ambientales mediante la conservación de energía y reducción de las emisiones de CO2.

Características

1. Rendimiento acelerado: NEC FireDucks es capaz de acelerar programas de software creados utilizando pandas hasta 16 veces y, en promedio, unas cinco veces(2). Esto reduce el tiempo total que los científicos de datos dedican a trabajar en el análisis de datos en aproximadamente un 30 %(4).
   La utilización paralela de todos los núcleos y la reducción de la computación son las razones principales de este nivel de aceleración. FireDucks utiliza todos los núcleos de una CPU multinúcleo para procesar de manera eficiente grandes conjuntos de datos en paralelo. Además, en lugar de ejecutar procesos en el mismo orden y rango especificado en el programa, los conjuntos de datos necesarios para producir los resultados se identifican de antemano a partir del proceso general, lo que significa que solo es necesario realizar el procesamiento para esos conjuntos de datos. Esto a su vez permite acelerar el procesamiento.
2. Alta compatibilidad: Otra característica de este software es su alta compatibilidad con pandas. Si bien algunas bibliotecas pueden alcanzar velocidades de análisis de datos más rápidas que los pandas, requieren múltiples pasos, incluida la reescritura del programa. NEC FireDucks, por otro lado, se puede aplicar fácilmente porque solo se debe reescribir una línea del programa para realizar análisis y codificación tal como lo haría si usara pandas.

Resultados actuales

Los siguientes resultados se obtuvieron cuando Toyota Technical Development Corporation(5) (TTDC) utilizó el software FireDucks en operaciones reales.

• Reducción del 60 % en el tiempo dedicado al análisis de datos utilizando un marco de IA interno (Spicy MINT)
• Disminución del 76% en el tiempo de funcionamiento del PC de análisis

En el siguiente sitio web se puede ver una entrevista en la que los empleados de TTDC que han utilizado FireDucks hablaron con miembros del equipo de desarrollo para brindar comentarios sobre el software recientemente desarrollado. (URL: https://www.nec.com/en/global/rd/technologies/202312/index.html)

Planes futuros

Al proporcionar la versión beta de FireDucks de forma gratuita y permitir que los científicos de datos la utilicen, NEC trabajará para mejorar su funcionalidad mientras verifica su eficacia, con el objetivo de comercializarla dentro del año fiscal 2024.

(1) Este software fue desarrollado con el apoyo de la Organización de Desarrollo de Tecnología Industrial y Nuevas Energías (NEDO) en Japón.

(2) Según los resultados de las pruebas NEC basadas en el punto de referencia TPCx-BB

(3) Estado de la ciencia de datos 2020 (https://shorturl.at/klyW1)

(4) Basado en cálculos realizados internamente por NEC

(5) Acerca de Toyota Technical Development Corporation (TTDC): enfocada en construir entornos óptimos para el desarrollo de productos a través de soluciones integrales impulsadas por información y tecnología de vanguardia.

Crédito de la imagen destacada: Freepik

Leer siguiente: nLighten adquiere Proximity Data Centers

 

La publicación NEC lanza el software gratuito “FireDucks” para acelerar el análisis de datos usando Python apareció por primera vez en Alojamiento web | Computación en la nube | Centro de datos | Noticias de dominio.