Lecciones sobre Computación Paralela

Estas notas de clase están diseñadas para acompañar un curso imaginario, virtual, de pregrado, de uno o dos semestres sobre los fundamentos de la Computación Paralela, así como para servir como antecedentes y referencia para cursos de posgrado sobre Computación de Alto Rendimiento, algoritmos paralelos y programación en multiprocesadores con memoria compartida. Introducen conceptos teóricos y herramientas para expresar, analizar y evaluar algoritmos paralelos y, en detalle, cubren los dos marcos concretos más utilizados: OpenMP y MPI, así como la interfaz de hilos pthreads para escribir programas paralelos para computadoras paralelas con memoria compartida o distribuida, con énfasis en conceptos y principios generales. Los ejemplos de código se presentan en un estilo similar a C y muchos son código C actual y correcto. Las notas de clase deliberadamente no cubren arquitecturas de GPU y programación en GPU, pero las preocupaciones, pautas y principios generales (tiempo, trabajo, costo, eficiencia, escalabilidad, estructura de memoria y ancho de banda) serán igualmente relevantes para utilizar eficientemente diversas arquitecturas de GPU. Asimismo, las notas de clase se centran solo en algoritmos deterministas y no utilizan aleatorización. El estudiante de este material encontrará instructivo tomarse el tiempo para entender conceptos y algoritmos visualmente. Los ejercicios se pueden usar para el autoestudio y como inspiración para pequeños proyectos de implementación en OpenMP y MPI que pueden y deben acompañar cualquier curso serio sobre Computación Paralela. El estudiante se beneficiará al implementar y evaluar cuidadosamente los algoritmos sugeridos en el sistema de computación paralela que puede o debe estar disponible como parte de dicho curso de Computación Paralela. En clase, los ejercicios se pueden utilizar como base para entregas y pequeños proyectos de programación para los cuales se debe proporcionar suficiente detalle y precisión adicional por parte del instructor.