Cher client,

Ce matin une panne EDF à toucher tout l'ouest parisien, impactant pendant 48 minutes le Data Center de Redbus InterHouse à Courbevoie. Les équipements constituant votre solution d'hébergement sont situés dans ce bâtiment et, ont été affectés par cette panne.

Les systèmes avancés de gestion de l'électricité (onduleurs,
générateurs) de Redbus aurait du prendre le relais. Nous n'avons aucun communiqué quant à savoir pourquoi l'interruption a été aussi longue.

Immédiatement après le retour de l'électricité, tous nos équipements sont remontés. Tout est à cette heure 100% en fonction.

Nous vous tiendrons informés dès que nous aurons plus d'informations.

Cordialement,

Journée noire pour l'hébergement

Redbus - Nouvel Incident !

Concernant les sites hébergés en France, (chez OVH, SIVIT, etc.), ils peuvent être down car Redbus rencontre actuellement des problèmes au niveau de son approvisionnement en électricité, c'est la seconde fois ce mois-ci déjà !

Redbus est l'un des principaux hébergeurs en Europe, et surtout l'un des plus gros, il dispose de data-centers énormes dans les grandes capitales d'Europe qui contiennent des milliers de serveurs et donc un grand nombre de sites !

Il héberge entre autre : Sivit, Hiwit, Oxyd, Amen, Ovh (clients housing), et encore bien d'autres...


1 - Redbus Interhouse Down !

Dimanche matin, aux alentours de 10h55, le data-center de Redbus situé aux abords de Paris tombait...

C'est la seconde fois en un mois qu'un tél incident ce produit...

S'en est suivit une multitudes de coupures...

2 - Les différentes coupures...
2.1 - 1 ère coupure

- 10:55:20 : début de la panne electrique
- 11:54:41 : fin de la panne, début de remontée électrique

Explications : Suite à 3 coupures EDF, le disjoncteur aurait "mal réagit" à la 3ème d'où cette première coupure.

2.2 - 2 ème coupure
- 14:32:10 : 2ème coupure éléctrique
- 15:16:28 : le courant repart...

Explications :
2 groupes électrogène sur 3 étaient alors en marche pour faire fonctionné la totalité du data-center lorsque l'un des groupes électrogène a mal fonctionné et le temps que le 3ème se mette en route, tout a été recoupés.
Les onduleurs n'ont pas pu faire leur travail sur cette seconde coupure puisqu'il n'avaient pas eus le temps de se recharger totalement suite à la première coupure...

2.3 - 3 ème coupure
- 17:01:02 : 3ème coupure electrique
- 17:05:28 : fin de la coupure.

Explications :
Le basculement, qui a le but d'alimenter les ondulaires pour les recharger à partir des groupes, a mal tourné. Coupure generale à nouveau ! Une 3ème...

3 - Quelques explications

A 15h54, sur la mailing liste d'OVH, on pouvait lire :
La situation n'est pas stable. Lors des basculements EDF<->Groupe
electrogène, les ondulaires ne fonctionnent pas. Comme actuellement
tout est sur les groupes et on doit passer en EDF, il existe un
risque de coupure à nouveau. Redbus demande de ne pas redemarrer
les installations en attendant que tout soit resolu. [OVH]Voici les explications de Redbus :
Ce matin, il y a eu 3 coupures EDF et à la 3ème le disjoncteur
principal a "mal" réagi ce qui a provoqué la 1ere coupure.

Tout fonctionnait sur les groupes electrogenes (2 sur 3 groupes).
Les ondulaires ont été dechargés. L'un des groupes a mal fonctionné
et le temps que le 3ème ne redemarre, ça a fait la 2ème coupure. [Redbus]

L'état de la situation à 16h30 :
Actuellement tout fonctionne sur 3 ondulaires. Redbus n'arrive
toujours pas à remettre le dijoncteur principal en route. Il est
fort à parier que vu que les ondulaires sont à plat et il faudra
passer en EDF, lors du passage de groupes vers EDF il y aura une
3ème coupure electrique. Une maintenance est prevue au niveau du
dijoncteur à 18H. [OVH]

4 - La situation pour les prochaines 24h...

A 18h, voilà ce que nous pouvons vous dire sur la suite des évènements :

Les ondulaires restent non connectés aux groupes et donc
restent à plat. Les 3 groupes fonctionnent en paralleles
et donc si l'un des groupes ne fonctionne plus, Redbus dit
qu'il ne devrait pas y avoir de coupure.

Le dijoncteur principal reste cassé et donc EDF n'alimente
pas Redbus. Tout fonctionne sur les groupes et sans ondulaires.

Le dijoncteur ne peut pas être reparé ce soir vu qu'il
n'y a pas d'astrinte sur ce genre d'équipement.

En conclusion: on tourne en mode ultra degradé avec un
maximum des risques en croissant les doitgs que quelque
chose ne lache dans la nuit et demain en tout cas avant
que le dijoncteur soit reparé. [OVH]

Cher client,

Redbus Interhouse, Data Center où sont situés nos équipements dont votre solution d'hébergement a connu aujourdh'ui une crise électrique majeure.

- 10h55 : Une coupure EDF touche tout l'ouest parisien dont le bâtiment de Redbus Interhouse à Courbevoie. Tout le monde est dans le noir.
- 10h15 : L'équipe Ikoula d'astreinte sur site est renforcée. Effectif à 100% pour parrer à toute éventualité
- 11h54 : L'électricité revient. Tous les équiprements d'Ikoula, dont votre service, remontent immédiatement. Tout est 100% fonctionnel.

Redbus n'a pas encore expliqué le temps anormal de coupure d'une heure.

- 14h32 : 2e coupure électrique générale
- 15h16 : L'électricité revient mais, la situation est instable

Conséquences des incidents :
- Le bâtiement fonctionne sur deux générateurs (le 3e est apparement cassé)
- Les onduleurs sont vides
- Le dijoncteur principal (EDF) est cassé, rendant la bascule sur le courant EDF impossible
- Une bascule sur le courant EDF engendrera une nouvelle coupure
- La situation est extrêment instable

Ikoula a pris la décision de ne pas rallumer ses équipements. Les machines supportent très mal les coupures électriques brutales. Le risque de dommage est élevé. Un disque dur cassé peut signifier la perte de données et des heures pour que vous puissiez le remettre opérationnel à 100%.
Nous avons pris le parti de privilégier vos données et votre temps plutôt que de remonter aussi vite que possible pour gagner quelques minutes.

Nous avons eu raison.

- 17h01 : 3e coupure générale
- 17h05 : L'électricité revient
- 18h00 : Redbus nous informe que l'intervention sur le dijoncteur principal n'aura pas lieu ce soir. La situation est cependant plus stable
- 18h30 : Nous rallumons tous nos équipements dont votre solution d'hébergement L'équipe Ikoula est toujours au complet pour vosu aider à remonter vos services à la normal si besoin.

ATTENTION :
L'intervention sur le dijoncteur aura lieu demain. Afin de préserver les machines, vos données et votre travail, nous éteindrons tous nos équipements avant celle-ci. Nous vous préviendrons avant bien entendu.
D'ici là, nous vous engageons à procéder à toutes les sauvegardes nécessaires.

Nous vous présentons nos excuses pour la gêne occasionnée et vous remercions pour votre confiance.
Nous vous tiendrons informé de l'évolution de la situation.

bonjour, je n'ai plus le monitoring serveur 17buddies ce matin, est-ce normal ?

merci

euh... toujours pas remis chez moi

http://hellcats.cyberv.net

si tu postes, c'est que c'est revenu non ? 

-----Message d'origine-----
De : Support Ikoula
Envoyé : mardi 28 mars 2006 00:21
À :
Objet : Serveur en cours de redémarrage

Cher Client,

L'energie est à nouveau disponible sur le site de Redbus
L'ensemble des serveurs est en cours de redémarrage.
Si dans les 30 prochaines minutes votre serveur ne répond pas, merci de
nous adresser par email l'ip et le mot de passe root de votre machine
ainsi que toutes informations que vous jugerez necessaire.

Vous receverez dans les prochaines 24H un rapport sur les interventions
qu'a réalisé Redbus cette nuit.

Cordialement,

Yann Farines
Support Technique