Desaster Recovery

[Mark_S]

Hallo,

wir müssen einen Plan und auch einen Test für ein Desaster Recovery, also ein Totalausfall der Maschine bei gleichzeitiger Inbetriebnahme eines Ersatzsystems, aufstellen und durchführen.

Nun gibt es hier Differenzen mit dem Kunden.

- Wir interpretieren Desaster Recovery so, dass bei einem Ausfall die neue Maschine innerhalb eines gewissen Zeitfensters in Betrieb genommen wird und auch nicht ein 100% Weiterbetrieb durchgeführt wird. Ausserdem wird ein Datenverlust einkalkuliert. Heißt im Klartext: Sollte die Produktionsmaschine ausfallen, wird die neue Maschine innerhalb von 1 Stunde startklar gemacht und es laufen bestimmte Betriebsteile wie Erfassung und Druck (teilweise). Bestimmte Dinge wie DFÜ usw. laufen dann nicht oder eingeschränkt

- Der Kunde meint, dass ein 100%-Weiterbetrieb innerhalb von wenigen Minuten möglich ist. D.H. komplettes Umklemmen der Pheripherie auf die neue Maschine. Dazu darf es keinen Datenverlust geben, d.h. eine Dauerspiegelung auf die DR-Maschine

Nun gibt es mehrere Fragen:

- Wer hat Recht?
- Ist die Lösung die der Kunde sich vorstellt überhaupt realisierbar?
- Wenn der Kunde Recht hat, kann das die iSeries überhaupt?

Wer hat mit dem Thema Erfahrung?

Vielen Dank schon mal für eure Hilfe.

Gruss
Mark

[Fuerchau]

Der Kunde hat Recht !

Es gibt viele Produkte, die genau dieses leisten.

[BenderD]

Der Kunde hat Recht !

Es gibt viele Produkte, die genau dieses leisten.

muss das nicht versprechen heißen??? Ich habe da so aus den Erfahrungen meines früheren Lebens meine Zweifel bei Software basierten Lösungen.
Ich würde da eher auf entsprechende Storage Subsyteme vertrauen, oder über indipendent ASPs gehen - aber zum Glück gehört das nicht mehr zu meinen Tätigkeitsschwerpunkten.

mfg

Dieter Bender

[Fuerchau]

Was nützt mir ein Backup-Rechner innerhalb der gleichen Brandschutzzone ?
Wenns brennt, brennen beide !

Einfacher Hardwareausfall ist durch simple Redundanz überbrückbar. Für den Totalausfall brauch ich schon Produkte (welche Hardware macht das schon über ggf. mehrere Kilometer), die sogar halten was sie versprechen.

Doch eines sollte man nicht vergessen:

Was ist eigentlich mit dem Rest des Netzes, wenn zwar die AS/400 wieder läuft (und zwar problemlos), aber alle anderen Server (DNS, Router, ...) nicht verfügbar sind ?

[BenderD]

@Baldur,

einfach gesagt: nix, wenns brennt!

Was nützt mir ein Backup-Rechner innerhalb der gleichen Brandschutzzone ?
Wenns brennt, brennen beide !

Einfacher Hardwareausfall ist durch simple Redundanz überbrückbar. Für den Totalausfall brauch ich schon Produkte (welche Hardware macht das schon über ggf. mehrere Kilometer), die sogar halten was sie versprechen.

Doch eines sollte man nicht vergessen:

Was ist eigentlich mit dem Rest des Netzes, wenn zwar die AS/400 wieder läuft (und zwar problemlos), aber alle anderen Server (DNS, Router, ...) nicht verfügbar sind ?

Reine Hardware Lösungen übrebrücken mit Glasfaser Verbindungen auf Buslevel in jedem Fall mehrere Hundert Meter und das sollte igentlich reichen. Hier ist die AS/400 auch fast auf dem Stand anderer Rechner angelangt (AIX kann man seit langem voll redundant uaf Hardware Ebene spiegeln, ohne irgendwelchen Schnickschnack und sogar Platten und CPU dann über kreuz fahren, wenn man denn will, ohnee irgendwelche System ASP Probleme...)
Das Problem mit den AS400 Backup Lösungen ist, aus meiner Sicht, dass sie zu hoch ansetzen, nämlich im Grund auf Datenbank Level, das sind eher Replikations Tools, bei denen man versucht sie auf High Availability zu trimmen. Rein technisch ist man da heute wesentlich weiter, da kann man sowas auch auf Plattencontroller Ebenen über Hochgeschwindigkeitsverbindungen auf beliebige Entfernungen.


mfg

Dieter Bender

[Mark_S]

Und schon ist der Expertenstreit entfacht.

Immer noch ist für mich die Frage nicht beantwortet, ob es leistbar ist, dass der KOMPLETTE Betrieb wenige Minuten später läuft.

Im Übrigen ist die Situation doch sehr theoretisch. Wenn die Bude brennt, haben wohl alle andere Sorgen als SOFORT die zweite Maschine in Gang zu bringen.

Gibt es denn standadisierte Konzept, die aufzeigen wie ein Disaster Recovery aussehen MUSS, oder ist das interpretierbar.

Eine zweite iSeries irgendwo hinzustellen ist wohl nicht das Problem. Was aber ist mit dem Rest der Pheripherie, wie z.B. Netwerk, FTP-Server etc.

[BenderD]

Hallo Mark,

1. Freilich ist das leistbar, wenn man denn den erforderlichen Aufwand treiben will, der da heisst volle Redundanz plus technischer und organisatorischer Aufwand.
2. Freilich ist das nicht leistbar, die Titanic war bekanntlich unsinkbar.

mfg

Dieter Bender

[jo400]

Hallo Mark,

ich würde mich nicht nur auf die Situation "die Bude brennt" beschränken; ein "normaler" Hardwareausfall kann für einen Produktionsbetrieb ebenfalls schon verherende Folgen haben.

Es gibt Lösungen, die innerhalb weniger Minuten das gesamte iSeries-System wieder am Laufen haben, die sogenannten Hochverfügbarkeitslösungen bzw. Datenreplikationslösungen. Solch ein Scenario kostet natürlich einiges (Hardware (am besten ein identisches System) , Software, Dienstleistung); der Kunde muss also bereit sein viel Geld zu investieren. Die Planung, Installation, Überwachung und der Test sind ebenfalls nicht ganz trivial und sollten von Experten begleitet werden.

Auf folgender IBM-Seite findet man sehr viele Informationen:
http://www-1.ibm.com/servers/eserver/iseries/ha/

Und eins ist natürlich auch klar: je mehr Sicherheit man haben will, desto teurer wird es; man sollte also mit dem Kunden diskutieren, welche Komponenten innerhalb welcher Zeit wieder zur Verfügung stehen müssen; mit Sicherheit gibt es für alles Lösungen.

@Dieter:
Die independet ASP sind - aufgrund der zur Zeit noch vorhandenen Entfernungsbeschränkungen und auch weil nicht alle Objekte (!) in einem iASP unterstützt werden - noch keine echte Alternative zu den Softwarelösungen. Dies sagt auch IBM ganz klar: wenn man Hochverfügbarkeit haben will, dann soll man eine Replikationslösung einsetzen. Aber meiner Meinung nach wird der iASP in den nächsten Releases weiter ausgebaut und stellt dann eine echte Alternative dar.

Schönes Wochenende

Jo

[Fuerchau]

HA-Lösungen hin und her, solange man genug Geld in die Hand nehmen kann, ist fast alles möglich.
Häufig ist es aber billiger und genauso effektiv, wenn man sich organisatorisch auf einen max. 24-Stunden-Ausfall einstellen kann.

Bei einem meiner Kunden wird mit einer sogenannten "Backup-Rechenzentrum"-Lösung gearbeitet. Bei einem Totalausfall wird die letzte Sicherung auf einem neuen Rechner aufgespielt, die Router erhalten eine Umleitungsadresse und alle können weiterarbeiten.

Dies ist wie eine Versicherung, keine 2. Hardware nötig (denn da kommt man schnell auf den Gedanken, diese für den Normalbetrieb doch mitzunutzen, mit zusätzlichen Verwaltungsaufwänden) und Kosten sind verhältnismäßig minimal.
2 x / Jahr wird der Ausfall geprobt (bzw. die Lauffähigkeit des Ersatzsystems) und ist Bestandteil des Vertrages.

Bei der Sicherung liegt nun vieles auch an der Anwendung. Fährt man ohne Journalisierung verliert man ggf. die Arbeit seit der letzten Sicherung.
Hat man Journale, können diese in vorgegebenen Zeitraster direkt gewechselt und gesichert werden.

Bei meinem früheren Brötchengeber haben wir auf diese Weise 70 Systeme "gesichert" und in 7 Jahren genau 2 Totalausfälle gehabt.
1x Hochwasserschaden (da kams nicht so sehr auf die Zeit an).
1x Diebstahl der Hardware (dachte wohl jemand das das ein PC war), hier waren wir am nächsten Tag wieder einsatzfähig.

[jo400]

Hallo Fuerchau,

klar ist dies auch eine Möglichkeit, aber wenn man - wie bei Mark - innerhalb einer Stunde wieder voll arbeiten soll geht dies nicht mehr; und der Zeitrahmen von maximal einer Stunde Ausfall ist bei Produktionsbetrieben, die von der iSeries abhängig sind, durchaus normal.

Und man muss bei einer "Backup-Rechenzentrum"-Lösung - wie du bereits angemerkt hast - bedenken, dass die Daten seit der letzten Sicherung ersteinmal weg sind; man kann diese dann versuchen durch Journale wiederherzustellen; aber dafür muss sichergestellt werden, dass 1. alle Dateien/Objekte journalisiert werden; 2. die Journalreceiver korrekt ausgelesen und verarbeitet werden (dies ist m.E. nicht ganz einfach, zumal wenn man es nicht ständig macht) und 3. fehlen dann immer noch die Daten seit der letzten Sicherung der Journalreceiver. Und letzteres kann z.B. bei einer vollautomatischen Lagerführung fatale Auswirkungen haben.

Eine HA-Lösung bietet zusätzlich noch die Möglichkeit während geplanter Ausfallzeiten (und die sollte man nicht unterschätzen) auf das Backupsystem umzuschalten, so dass der Produktionsbetrieb fast ohne Probleme weiterlaufen kann.

Aber wie gesagt, dies ist alles letzendlich eine Abwägung zwischen wieviel Ausfallzeit man verkraften kann und wieviel man bereit ist dafür auszugeben.

Jo

[bateau]

Aus meiner Erfahrung (mittlerweile ca. 4 Jahre Vision Solutions Gerümpel) rate ich ganz klar von einer Softwarelösung ab!

Wie ich schon in anderen Threads beschrieben habe kann man sich auf den Softwarekram einfach nicht verlassen, ich hatte einen Fall bei dem auf der Zielseite in einer Tabelle mehrere Tausend Datensätze fehlten und das Vision Zeugs "alles in Butter" meldete.

Die Nachteile einer Softwarelösung aus meiner Sicht:
- Abhängigkeit vom Softwarehersteller
- Für HA ungeeignet weil (wie Benders Dieter schon sagte) auf einer viel zu hohen Ebene angesiedelt, Hardwarelevel ist das einzig Wahre.
- Kostenvorteil schmilzt dahin weil die meisten Produkte einfach schweineteuer sind
- Teilweise extreme Performanceeinbussen bei I/O-lastigen Szenarien durch die erforderliche Journalisierung
- Latenzzeiten im Sekundenbereich, bei hoher Last bis in den Minutenbereich. Das sagt eigentlich schon alles, oder?

Mit V5R3 kommt jetzt die Mirroring Option auf IASP Ebene, zwar in der ersten Ausbaustufe dergestalt, dass der Ziel-IASP unmounted sein muss und dementsprechend auch nicht für Lesezwecke genutzt werden kann, aber vermutlich schon mit der nächsten Version unseres geliebten OS/400 äääh i5/OS (höhö) wird man lesend zugreifen können. Bumm aus.

mount -t iasp -o ro /dev/meinkleinergruenerbackupasp /qsys.lib/backundup

Die Latenzzeiten bewegen sich laut einem Spezi ausm Labor den wir im Haus hatten bei hoher Last und Anbindung durch 4x 1Gbit Ethernet im einstellingen Mikrosekundenbereich. Jetzt überlegt mal welche Software wir in ein paar Monaten nicht mehr einsetzen ;-)

Grüssle
Martin

[IT-Specialist]

hi Leute!

Soweit ich mich erinnere ist ein Szenario wie das angesprochene durchaus möglich. Dazu benötigt man allerdings ein Storage System, das ein solches Szenario unterstützt und ein SAN (das einfachste).

Man kann zum Beispiel ein ESS (IBM Enterprise Storage Server) Pärchen bilden, also eine im RZ und eine im Backup RZ einige Kilometer weiter. Die beiden werden dann über PPRC synchronisiert und haben somit immer den gleichen Datenbestand.
Von der Storageseite gibt es also kein Problem.
Das Netzwerk (idealerweise ein SAN) müsste auch HA verkabelt und entsprechend gezoned sein, damit der Ausfall einer ESS oder einer AS/400 möglichst keinen größeren Impact auf die Systeme außenrum hat. (Voraussetzung ist, dass keine Peripherie direkt an die Primär AS/400 angeschlossen ist)

Nun zu den AS/400s: Hier gibt es wohl eine Softwarelösung, die einen Failover (mit einigen Zicken) bedenkenlos und vor allem schnell ermöglicht. Mir ist der Name des Tools leider entfallen...
Oder könnte man die beiden Maschinchen nicht in einen Cluster zusammenfassen? Der müsste dann doch auch ein entsprechendes Fail Over Szenario vorsehen.
Fragt doch hierzu einfach ma bei nem kompetenten IBMer an. Vielleicht innem Briefing oder Design Center.


an alle: korrigiert mich bitte, wenn ich falsch liege. Bin noch nicht sooo firm in der AS/400 Geschichte.