La necesidad de ejecutar múltiples tareas en paralelo ya sea para análisis en tiempo real, optimización de procesos o simulaciones complejas, ha impulsado la adopción de soluciones de cómputo concurrente y distribuido.
Sin embargo, el paralelismo no es solo una cuestión de velocidad. La mala gestión de la concurrencia puede derivar en bloqueos, inconsistencias en los datos o una sobrecarga innecesaria de recursos. Además, en arquitecturas modernas donde se combinan múltiples tecnologías y entornos distribuidos, la coordinación eficiente entre tareas concurrentes se vuelve un factor determinante para la fiabilidad del sistema.
Por tanto, el desafío no reside únicamente en mejorar los tiempos de ejecución, sino en encontrar una estrategia que equilibre rendimiento, seguridad y control, asegurando que las aplicaciones aprovechen al máximo el hardware disponible sin generar cuellos de botella ni comprometer la integridad de los datos.
El reto
El reto que enfrentamos requería no solo acelerar los tiempos de cómputo de un proceso de optimización, sino también garantizar que distintos métodos pudieran comunicarse eficientemente. Diseñamos una arquitectura donde distintas metodologías de optimización colaboraban en la búsqueda de soluciones, aprovechando lo mejor de cada enfoque. El problema no era solo de velocidad, sino de coordinación y aprovechamiento de información en tiempo real.
Desde el inicio, analizamos las distintas opciones de paralelización en Python, finalmente consideramos los dos enfoques principales: hilos (threading) y procesos (multiprocessing).
Dado que nuestro objetivo era implementar un algoritmo ensemble de optimización, necesitábamos un esquema donde distintas estrategias pudieran ejecutarse en paralelo y compartir información en tiempo real. Optamos por multiprocessing en combinación con managers de procesos, ya que el uso de hilos (threading) hubiera estado limitado por el GIL (Global Interpreter Lock) y no nos habría permitido explotar toda la capacidad de la CPU.
Solución tecnológica: diseño y paralelización
El desarrollo implicó perfiles expertos en optimización matemática y especialistas en infraestructura, asegurando que cada capa del sistema estuviera alineada con las necesidades del negocio. Se llevó a cabo en aproximadamente dos meses, incluyendo iteraciones para ajustar la comunicación entre procesos y evaluar el rendimiento.
Contábamos con antecedentes en paralelización, pero esta implementación nos llevó a un nivel más profundo de sincronización y gestión de memoria compartida entre procesos.
Impacto en el negocio
Siempre que se habla de paralelización, el foco suele estar en reducir tiempos de ejecución, pero este proyecto nos mostró que su verdadero valor va más allá. Un buen diseño de concurrencia no solo acelera cálculos, sino que permite crear estrategias antes impensables en ejecución secuencial.
La implementación de esta solución ha marcado un antes y un después en la manera en que el cliente gestiona sus procesos de optimización. No solo se ha reducido el tiempo de cómputo de manera significativa, sino que la capacidad de comunicación entre metodologías ha permitido alcanzar soluciones más robustas y eficientes.
#PassionForData
Equipo
El equipo ha estado compuesto por Optimization Scientists con el soporte de expertos en infraestructura.
Para la implementación de esta solución, nos hemos formado en las mejores prácticas de paralelización y hemos creado una cheatsheet con las principales metodologías disponibles en Python para optimizar la ejecución concurrente.
