Implementación y configuración del servicio de provisión y gestión automatizada de clústeres de contenedores de OpenStack Magnum

Abstract

El presente proyecto tuvo como propósito implementar el componente de OpenStack Magnum e integrarlo en la interfaz de Horizon, se logró ampliar las capacidades de la infraestructura de OpenStack del departamento de Ingeniería Electrónica de la Universidad del Valle de Guatemala. Logrando así la integración de la funcionalidad de provisionar y gestionar de forma automatizada clústeres de contenedores utilizando Kubernetes como motor de orquestación. La iniciativa buscó añadir valor a la infraestructura de nube privada de la universidad, que estaba limitada a la provisión de máquinas virtuales, por lo que se logró adaptarla a las tendencias actuales de arquitecturas centradas en contenedores, tomando provecho de su e ciencia para la utilización de recursos y su agilidad. El proyecto se desarrolló sobre el hardware ya existente, el cual consiste en las dos computadoras de alto rendimiento (HPC), sin ninguna expansión del equipo físico. Durante el proceso de implementación se veri có el entorno de OpenStack existente y se replicó en el segundo nodo compute. Luego se encontró el proyecto Kolla-Ansible, el cual simpli có y automatizó la implementación de OpenStack utilizando contenedores Docker. Posteriormente se procedió con la instalación del componente para la orquestación de contenedores Magnum y su plugin para la interfaz de Horizon, así como la preparación de imágenes para nodos Kubernetes y la con guración de plantillas para la creación de clústeres, luego de varios clústeres de prueba fallidos, se buscó en guías no o ciales y foros de la comunidad, encontrando varias soluciones. Para evitar que la infraestructura de OpenStack se viera afectada por las pruebas, se crearon máquinas virtuales en las que se implementó un entorno de OpenStack con Magnum, en las cuales se realizaron las pruebas necesarias hasta lograr la con guración adecuada. Se desplegó exitosamente un clúster de Kubernetes utilizando Magnum y se veri có su funcionamiento mediante la implementación de una instancia del servidor web Nginx. Luego se implementaron y con guraron los componentes para el monitoreo Prometheus y Grafana, logrando recopilar métricas del clúster y visualizarlas en tableros de control. Se documentó todo el proceso de implementación, con guración y soluci ón de problemas encontrados durante el desarrollo del proyecto. Validando un despliegue de clústeres de contenedores de Magnum en OpenStack predecible y replicable, junto al monitoreo del consumo de recursos y desempeño de los clústeres mediante Prometheus y Grafana. Se recomienda a futuros trabajos integrar CAPI (Cluster API) para la gestión de clústeres de contenedores, así como explorar la implementación de otros motores de orquestación soportados por Magnum, como Docker Swarm y Apache Mesos, para ampliar las opciones disponibles para los usuarios, también se sugiere experimentar con las opciones de Autohealer, Autoscaler y el componente de balanceo de carga Octavia para mejorar la disponibilidad y escalabilidad de los clústeres de contenedores. Se exhorta a realizar toda la con guración y prueba en un entorno aislado (máquinas virtuales) para evitar afectar la infraestructura de OpenStack en las HPCs. De esta manera se expandieron las capacidades de la infraestructura de OpenStack para aprovechar mejor los recursos de las computadoras de alto rendimiento. Esto ofrece a los estudiantes y docentes del departamento de Ingeniería Electrónica la oportunidad de experimentar con tecnologías de contenedores y orquestación, para diferentes propósitos académicos y de investigación.

The purpose of this project was to implement the OpenStack Magnum component and integrate it into the Horizon interface. This successfully expanded the capabilities of the OpenStack infrastructure of the Electronic Engineering Department at the Univeridad del Valle de Guatemala. The project achieved the integration of the functionality to provision and manage container clusters automatically using Kubernetes as the orchestration engine. The initiative sought to add value to the university's private cloud infrastructure, which was previously limited to the provisioning of virtual machines. The project successfully adapted the infrastructure to current trends in container-centric architectures, leveraging their resource e ciency and agility. The project was developed on existing hardware, consisting of two high-performance computing (HPC) systems, without any physical expansion. During the implementation process, the existing OpenStack environment was veri ed and replicated on the second node. The Kolla-Ansible project was then identi ed, which simpli ed and automated the deployment of OpenStack using Docker containers. Subsequently, the Magnum container orchestration component and its Horizon interface plugin were installed, along with the preparation of Kubernetes node images and the con guration of cluster creation templates. After several failed clusters tests, uno cial guides and community forums were consulted, yielding various solutions. To prevent the OpenStack infrastructure from being a ected by the tests, virtual machines were created in which an OpenStack environment with Magnum was implemented. The necessary tests were performed on these virtual machines until the correct con guration was achieved. A Kubernetes cluster was successfully deployed using Magnum, and its functionality was veri ed by deploying an instance of the Nginx web server. The Prometheus and Grafana monitoring components were then implemented and con gured, allowing for the collection of cluster metrics and their visualization on dashboards. The entire process of implementation, con guration, and troubleshooting encountered during the project's development was documented. Validating a predictable and replicable deployment of Magnum container clusters on OpenStack, along with monitoring resource consumption and cluster performance using Prometheus and Grafana. Future work is recommended to integrate CAPI (Cluster API) for container cluster management, as well as explore the implementation of other orchestration engines supported by Magnum, such as Docker Swarm and Apache Mesos, to expand the options available to users. It is also suggested to experiment with the Autohealer, Autoscaler, and Octavia load balancing components to improve the availability and scalability of the container clusters. All con guration and testing should be performed in an isolated environment (virtual machines) to avoid impacting the OpenStack infrastructure on the HPCs. This expanded the capabilities of the OpenStack infrastructure to better leverage the resources of high-performance computing (HPCs). This o ers students and faculty in the Department of Electronic Engineering the opportunity to experiment with container and orchestration technologies for various academic and research purposes.