R+D: TOFU Mesh / Torus 6-D, interconnect de Fujitsu K.

¿ Es exagerado el título del anterior post ? Puede ser; algunos amigos de América Latina así me lo han comunicado. Por eso en este post queremos profundizar sobre la red de interconexión que utiliza Fujitsu K, el nuevo #1 en el TOP500, llamada TOFU (de Torus Fusion), de tipo custom.

1. Primero  un repaso a la nueva estadística del TOP500 en lo que a «interconnects» se refiere. Siguen predominando las redes de interconexión commodity (GB Ethenet 46% e Infiniband 41%, implementadas en un total de 438 sistemas). Las redes custom (sumando «propietary» y custom) van a continuación, con un 12% de sistemas. El resto tiene  una presencia muy marginal.

El número de procesadores medio por sistema es mucho más elevado entre el segmento custom que entre el segmento commodity. Entiendo que esto debe indicar que las redes commodity no escalan espcialmente bien. Por eso se están diseñando nuevos estándares basados Ethernet o Infiniband más potentes.

2. TOFU es una red de interconexión diseñada por los ingenieros de Fujitsu, Sres Ajima, Sumimoto y Shimizu y publicada en el paper [1] de 2009. Se basa en una topologia combinada 3-D Toro + Malla /Toro.

En los papers que aparecen abajo aparecen gráficos mostrando cómo se construye: se parte de un toro 3-D, y a cada nodo de este Toro se le asigna una Malla / Toro de 12 nodos de grado 4 cada uno.

Cómo dicen que una imagen vale por mil palabras vamos a mostrar varias fotografias del elemento malla / toro. Empezamos por una primera, que parece incluir el sistema de refrigeración por agua (water cooling) y todo…

Perdón, la que queria mostrar era ésta otra (ver debajo), dónde aparecen tres nodos o copias del nodo malla / toro:

y ésta siguiente dónde aparecen los links entre nodos. Notese que un vertice de un malla /nodo se une siempre con un vertice homólogo de su clon (esto sólo tiene sentido si se colorean los arcos del elemento malla/toro, ya que son grafos vertice transitivos).

La arquitectura de cada uno de los 12 nodos de la Malla / Toro es cómo sigue: cada nodo tiene 1 procesador, 1 controlador de red y 10 cables o links de 10 GB/s cada uno. Es decir cada nodo del toro 3-D tiene un ancho de banda de 100 GB/s.

De los 10 links 6 se utlizan para implementar las 3 dimensiones x,y, z del toro 3-D y el resto para implementar las 3 dimensiones a,b,c de la Malla /Toro. Ver por ejemplo [2] y [3].

En ésta cuarta fotografía mostramos el toro 3-D:

Los algoritmos de enrutamiento combinan recorridos por diferentes  mallas / toros y por el toro 3-D. Existe posibilidad de multiples recorridos alternativos entre cualquier par de nodos origen / destino,  lo cual es muy conveniente para la tolerancia a fallos.

El resultado es  que la red TOFU proporciona un alto rendimiento  para las comunicaciones (cada nodo puede transmitir a 100 GB/s), es escalable (x12 el Toro 3-D) y tolerante a fallos.  Además se puede programar con una aplicación y lenguaje abiertos, MPI, que implementa funciones de comunicación colectiva, y se puede utilizar para redes de telecomunicaciones (ver [4] y [5]).

3. En el paper [2] comparan diferentes tipos de interconnects.  Comparan las redes de tipo Crossbar, Fat Tree / Multi Stage y TOFU (Mesh /Torus). La mejor en términos de rendimiento es claramente la red Crossbar, pero es cara, consume mucha energía y solo escala a cientos de nodos. La siguiente mejor es la red tipo Fat Tree / Multi Stage, pero también es cara, poco eficiente y solo escala hasta miles de nodos. Mesh /Torus es peor en cuanto a rendimiento pero es más barata, más eficiente en terminos energéticos y escala a decenas de miles de nodos.

Mostramos imagenes de la red crossbar:

y varias de la red tipo Fat Tree:

Al final del paper se preguntan, ¿ que tipo de topologia escala hasta cientos de miles de nodos ? Y cómo contestación proponen la red TOFU. Y yo pregunto ¿que tipo de topologia  escalará hasta 1 billón americano de nodos ? Y afirmo que seguro que no será una topología tórica, o al menos no solo tórica. Ya hemos hablado de este tema en otros posts.

Para finalizar, el otro elemento que ha utilizado Fujitsu para mejorar su sistema además de TOFU  es el procesador SPARC64. Un paper con sus características puede verse aquí.