La cuisine de Gandi

Accueil > Opération Libellule - Un tout nouveau réseau Gandi

Opération Libellule - Un tout nouveau réseau Gandi

Tout d'abord pourquoi ce nom "Opération Libellule" ? (Dragonfly en anglais) Hmm...disons que je vais vous laisser y réfléchir un peu. D'ailleurs, les 5 premiers qui trouveront et m'enverront l'explication par email avant le 14 février sur libellule AT gandi DOT net gagnent un t-shirt Gandi. (précisez votre taille pour le t-shirt). Quelques indices sont disséminés dans ma présentation ci-dessous.


Un peu d'histoire

Le réseau actuel de Gandi a grossi de manière organique sur les 10 dernières années sur une base relativement simple et "flat". À chaque fois que nous avons ajouté un nouveau service, le réseau a été étendu pour soutenir l'innovation des produits. Une des plus notables a été l'expansion de notre réseau de l'autre côté de l'atlantique sur notre centre de données de Baltimore.

Du fait de cette base originelle assez simple justement, et du désir d'avoir un réseau de niveau 2 adjacent entre plusieurs centres de données, une des façons les plus simples d'avoir une proximité entre nos salles était d'utiliser un système de "span" (ou d’agrégation (trunk)) pour diviser les différents réseaux locaux (LAN) sur les différents sites. Bien que ce système soit assez efficace pour un réseau de taille raisonnable, il est de plus en plus difficile à maintenir et de moins en moins efficace avec un réseau grandissant. C'est peut-être sur ce point que nous nous sommes égarés les années précédentes.

En 2008, nous avons réalisé que même si de nombreux équipements (switchs, routeurs) du réseau avaient des "noms" spécifiques comme s’ils appartenaient à un modèle de réseau hiérarchique, en pratique, cela n'était pas le cas. Nous nous sommes retrouvés avec une infrastructure avec six switchs/routeurs de cœur de réseau et de nombreux équipements de distribution distribués sur quatre sites différents -- tous dans le même segment de réseau spann-é/agrégé à travers le cœur à tous les niveaux du réseau. Le résultat était un cauchemar de gestion et de diagnostic des problèmes en relation avec les calculs de spanning tree et autres comportements de routage étrange.


L'origine de l'opération Libellule

En plus de la simple architecture à revoir, les équipements, eux-mêmes, commençaient à être dépassés et ne pouvaient plus suivre les évolutions produits nécessaires. Du coup, dès 2009, nous avons commencé à moderniser et restructurer notre réseau en prenant en compte l'évolution de la société sur les 3 à 5 ans à venir, en France et à l'international.

La première étape a été de consolider la connectivité entre nos sites, qui jusqu'alors utilisaient de multiples réseaux locaux virtuels (VLAN) agrégés (trunked) sur des connexions en fibre noire. Nous avons bien entendu gardé la fibre noire, mais migré/multiplexé la connectivité point à point sur plusieurs longueurs d'onde à travers la fibre.

Le challenge était d'effectuer toutes ces modifications sans impacter en même temps tous les services Gandi. Certains de nos services (DNS, Hébergement, ..) requièrent 100% de disponibilité. Tout casser et tout réinstaller sur de nouveaux équipements était tout simplement inconcevable. Du fait de ces contraintes, le travail a pris près de 2 ans pour être finalisé.

Cela étant dit, nous devons continuer de remettre à flot et maintenir les services tout en allant de l'avant à pleine vitesse vers les nouvelles fonctionnalités passionnantes qui seront implémentées pendant cette nouvelle année. Pour parler aux marins, il fallait mettre à jour les hors-bords !

En septembre 2009, nous avons mis à jour nos switchs de cœur de réseau en passant d'une plate-forme Cisco sup32 vers une Cisco Sup720 3BXL.

Ensuite, en novembre 2009, nous avons déployé la refonte de notre vielle plateforme de distribution à base de Cisco 6500 et des anciennes cartes Supervisor-2A vers un système tout neuf en switch virtuel (VSS) à base de Cisco Virtual Switching System 1440 dans notre centre de donnée à Saint-Denis. C'est à ce moment aussi que nous avons commencé à déployer la technologie MPLS (MultiProtocol Label Switching) à travers notre réseau afin d'être capable de fournir de l'ingénierie sur le trafic et des systèmes innovants sur la façon d'interconnecter nos salles réseaux


Objectifs à l'international

Avec l'extension du réseau Gandi, non seulement en France, mais aussi à l'international, nous avions comme objectif d'adapter la structure de notre réseau pour obtenir un système à la fois évolutif et capable de prendre en charge notre trafic international (nous vendons dans 192 pays) et l'ajout de centre de données dans d'autres pays.

Tous les architectes réseau vous diront qu'un réseau évolutif est modulaire et hiérarchique. Ceci a été l'un des principes de base du design d'infrastructure réseau pendant des années et reste aujourd'hui vrai. Cisco appelle cela le "modèle de réseau en trois niveaux". Cependant, durant les dernières années, la situation est devenue un peu plus complexe avec la montée de la virtualisation et des architectures orientées services où les services sont devenus, eux-mêmes, un élément du réseau. Cela étant dit, pratiquement tous les larges réseaux évolutifs actuellement en fonctionnement utilisent un modèle d'architecture modulaire et hiérarchique.

Avec l'expansion de Gandi sur le continent nord-américain, nous devons assurer une redondance entre les centres de données. Une simple règle s'applique ici : chaque centre de données est connecté à au moins deux autres centres par divers moyens de connectivités.

Pendant cette année écoulée, nous avons construit notre centre de données à Baltimore, actuellement complètement fonctionnel pour la plate-forme d'hébergement de Gandi. Pendant les prochains mois, un certain nombre de systèmes de Gandi seront aussi disponibles à Baltimore -- principalement le DNS et le site web de Gandi.

À la fin de 2010, notre connectivité internationale passait par plus de capacité de peering à Londres, Amsterdam et Ashburn Virginia/Washington DC -- d'autres seront mis en place pendant les prochaines années..

Et ensuite ?

Nous avons augmenté le nombre d'opérations par nos ingénieurs réseau depuis le début de l'année 2011 et sur la période des prochains mois à venir, un certain nombre d'opérations de maintenance hautement intrusives seront entreprises dans le but de finaliser l'Opération Libellule avant la fin de la première moitié de 2011.

La première étape de cette phase finale a eu lieu le week-end dernier à Saint-Denis pendant lequel nous avons définitivement enlevé les réseaux locaux (LANs) spann-é et agrégés (trunked) entre la distribution/agrégation et le niveau du cœur du réseau à Saint-Denis. En résultat de cette maintenance, les incidents dans les niveaux de distributions ou d'accès du segment de réseau à Saint-Denis n'auront aucun impact sur le routage du cœur du réseau de Gandi dans ce centre de données. Nous avons ensuite à faire la même opération à Telehouse2 (Voltaire, Paris); cela est cependant un peu plus complexe.

Pendant les prochaines semaines, vous allez voir un certain nombre de maintenances planifiées pendant lesquelles nous allons entreprendre le reste des modifications nécessaires pour permettre de mener à bien ce projet planifié sur trois ans :

  • Fermeture de notre point de présence à Paris Telehouse 1 (Jeuneurs, Paris)
  • Mettre à jour un certain nombre de services critiques de Gandi afin d'utiliser de nouveaux équipements et logiciels.
  • Implémenter une solution Anycast et Content Delivery pour un certain nombre de services comme le DNS ou le site web de Gandi dans tous nos centres de données en Europe et aux USA.
  • Ré-installation et mise à jour complète des services de Gandi à Telehouse 1 (Voltaire, Paris) avec une redondance et interopérabilité inter-site.


A quoi cela va ressembler ?

La nouvelle infrastructure réseau de Gandi sera proche du schéma ci-dessous (schéma quelque peu simplifié). L'élément clé est l'architecture qui est prévue et construite dans une optique de disponibilité, modularité et surtout extensible. Tout cela reste assez élémentaire après tout ... Comme Mickey Mouse a dit un jour : "L'arithmétique, c'est être capable de compter jusqu'à vingt sans enlever ses chaussures." ;)


Dragonfly Architecture