Internet: Hinter den Kulissen von Ebay
Internet
Hinter den Kulissen von Ebay
Von Jörg auf dem Hövel
11. März 2005 Das Internet-Auktionshaus Ebay ist eine der meistbesuchten Seiten im Netz. Die Zahlen sind beeindruckend: In aller Welt stehen ständig etwa 44 Millionen Artikel zum Verkauf, etwa vier Millionen Artikel werden jeden Tag bei Ebay neu eingestellt. Zu Hochzeiten verzeichnen die Seiten am Tag 889 Millionen Aufrufe, 270 Millionen Suchanfragen und 15 Millionen Gebote. Je Sekunde werden dabei Datenmengen von bis zu 12 Gigabit versandt. Zum Vergleich: Der wichtigste Netzknoten Deutschlands, der "Backbone" der Telekom, wurde 2002 auf eine Kapazität von 10 Gigabit je Sekunde ausgebaut. Für Ebay sind die Koordination dieser Daten und die ständige Erreichbarkeit der Seiten überlebenswichtig, die technische Architektur muß dementsprechend solide sein.
Die Datenbank von Ebay ist auf drei Standorte in den Vereinigten Staaten verteilt. Zwei der vier Datencenter stehen in Santa Clara, eines steht in Sacramento, eines in Denver. In diesen Städten ist die wichtige Basis von Ebay auf Hardware von Sun und mit dem Betriebssystem Solaris implementiert. Alle Anfragen der Welt an die Datenbank landen an einem dieser vier Orte. Jedes Datencenter beherbergt rund 50 Sun-Server. Schon die Kapazität eines Ortes reicht damit aus, um Ebay am Laufen zu halten - sieht man von den leistungshungrigen Suchanfragen der Nutzer ab. Die Datenzentralen spiegeln ihre Informationen untereinander aber nicht, sondern dienen der Lastverteilung.
Weltbekannt: Das Ebay-Logo
Ein Blick auf die Kosten läßt die Dimensionen des "Projekts Ebay" erahnen: Die V880-Server von Sun kosten mit Anschaffung und Support um die 100000 Euro je Stück, die ebenfalls bei Ebay eingesetzten V480er etwa 50000 Euro. Damit aber nicht genug. Um den Nutzern das schnelle Suchen und Finden von Produkten zu ermöglichen, stellt das Unternehmen zudem rund 130 Server mit insgesamt 1100 Prozessoren anderen Firmen zur Verfügung. Dazu kommen noch einmal 280 Server für den zwischen Ebay und seinen Kunden laufenden E-Mail-Verkehr. War früher die Zuverlässigkeit der Hardware das Problem, ist die Kunst heute, das Zusammenspiel der komplexen Computerstruktur zu organisieren.
22 Stunden nicht erreichbar
Seit einigen Totalausfällen im Jahr 1999 hat Ebay die Systemarchitektur komplett überdacht. Im Juni 1999 war die Seite für zweiundzwanzig Stunden nicht erreichbar gewesen. Selbst der damals schon massive Hardware-Einsatz konnte das schnelle Wachstum der www.-Seite nicht abfedern. Das Grundproblem lag in der monolithischen Struktur: Eine Applikation beherbergte alle Funktionen von Ebay, alle Transaktionen trafen auf eine gigantische Datenbank. Fiel das System aus, begann stets eine zeitaufwendige Fehlersuche.
Weil das alte, proprietäre, schwer zu wartende und schlecht skalierbare System Ebay Probleme bereitete, suchte man die Lösung in einer lose gekoppelten, schichtweise und modular aufgebauten Struktur, die auf offenen Standards basiert. Ohne es so zu nennen, entwickelte Ebay mit der Gesamtarchitektur ein Beispiel für "Grid-Computing": Aufgaben werden an verschiedene Prozessoren verteilt, die sogar an unterschiedlichen Orten stehen können.
Die Architektur, an der Ebay bis heute arbeitet, ist folgende: Da der Ausfall eines Servers nicht die gesamte Seite zum Einsturz bringen darf, werden die Datensätze und Aufgaben auf verschiedene Maschinen verteilt. So entstand eines der größten "Storage Area Networks" der Welt: ein Netzwerk aus Festplatten, das, über Glasfaser verbunden, effizient zu steuern, enorm schnell ansprechbar und vor allem gegen Ausfälle gefeit ist, weil Daten immer redundant vorhanden sind.
Java statt Microsoft
Auch die Software wurde komplett ausgetauscht. Lief Ebay früher komplett unter Internet Information Services (IIS) von Microsoft, ist die Architektur heute größtenteils unter dem kryptischen Siegel "J2EE" aufgebaut. Das ist die "Enterprise Edition" der Java-2-Plattform, einer Spezifikation für die Ausführung der Programmiersprache Java. Sie ist speziell für Unternehmensanwendungen gedacht, die unter Java laufen, und stellt einen allgemein akzeptierten Rahmen zur Verfügung, mit dem in modularen Komponenten verteilte, mehrschichtige Anwendungen entwickelt werden können. Ein weiterer Vorteil: Die Anwendungen sind auf verschiedenen Servern lauffähig. In einer arbeitsintensiven Maßnahme wurde dafür der gesamte Code der Ebay-Website von der Programmiersprache C++ in die objektorientierte und plattformunabhängige Sprache Java umgeschrieben. Mittlerweile sind 80 Prozent der Seite in Java programmiert.
Heute dient IBMs Websphere als "Application Server", in ihm läuft der Java- Code. Die Architektur von J2EE erlaubt es, die Anwendungen in mehrere Schichten zu unterteilen: die Präsentationsschicht, die Geschäftslogik und die Datenhaltung. Insgesamt ergibt sich somit ein dreiteiliger Aufbau der IT-Architektur von Ebay: eine Oracle-Datenbank auf Sun, die mit der J2EE-Websphere-Middleware kommuniziert, welche wiederum das IIS-Frontend bedient. Die Nutzer überall auf der Welt bekommen von diesem Zusammenspiel nur die vom IIS gelieferten Websites zu sehen.
Hackers Liebling
Ebay läßt keine Informationen aus dem sensiblen Bereich des IT-Aufbaus nach außen dringen. Zu oft haben Hacker schon versucht, die Seite zu manipulieren oder den Zugriff auf sie mit "Denial of Service"-Attacken zu verhindern. Daß Ebay zwischen 2000 und 2002 immer wieder einmal für Stunden nicht zu erreichen war, lag aber nicht an Angriffen von außen, sondern an dem maroden Systemaufbau, der die immer größer werdenden Datenmengen nicht bewältigen konnte. Seit dem Umbau hat die Seite keine größeren Probleme dieser Art mehr, wohl aber andere. Nicht nur war über einfaches Javascript lange ein Paßwortklau möglich, auch haben sich die Betrugsfälle gemehrt: Nach wie vor besteht Ebay nicht auf der korrekten Identifizierung seiner Nutzer. "Identitätsdiebstähle" führen zu illegalen Auktionen. Unbekannte ersteigerten so im Namen des Bundestagsabgeordneten Uwe Göllner ein Solarium im Wert von 30.000 Euro.
Ein weiterer Schwachpunkt ist nach wie vor die technische Sicherheitsinfrastruktur. Obwohl Ebay es nicht bestätigen will, läßt sich über das Online-Angebot der Meßstation Netcraft (http://uptime.netcraft.com/) einfach eruieren, welches Web-Frontend installiert ist. Nahezu alle Länderseiten laufen weiterhin auf Microsofts IIS in der Version 6.0. Daß Ebay trotz der notorischen Unsicherheit des Web-Servers weiterhin IIS nutzt, stößt in Sicherheitskreisen auf Unverständnis. Nicht nur deshalb experimentiert man mit AMD-basierten Sun-Servern mit einer Linux-Variante.
Rekorde in Folge
Deutschland ist nach den Vereinigten Staaten der wichtigste Umschlagplatz für Ebay. Rund die Hälfte des internationalen Umsatzes von 759 Millionen Dollar wird in Deutschland erzielt. Monatlich frequentieren rund 17 Millionen unterschiedliche Besucher allein die deutsche Ebay-Seite unter www.ebay.de.
Mehr und mehr Bürger ersteigern und verkaufen hier. Es vergeht kaum ein Monat ohne neue Rekordergebnisse. Waren es 2000 noch 1,1 Millionen registrierte Nutzer, sind heute mehr als 16 Millionen Deutsche bei Ebay eingetragen. Über Ebay Deutschland wechselt alle drei Minuten ein Auto den Besitzer. Seit 2003 ist es das erfolgreichste E-Commerce-Unternehmen Europas.
Daten bleiben im Land
Bei einem Aufruf einer regionalen Ebay-Seite wird nur ein sehr kleiner Teil der Anfrage an eines der Datencenter in den Vereinigten Staaten weitergeleitet. Der Großteil der angeforderten Seite wird von einem Server in der Nähe des Nutzers bereitgestellt. Das Unternehmen Akamai betreibt in 65 Ländern mehr als 14.000 Server, Ebay hat dort reichlich Volumen gemietet. Hier liegt unter anderem der statische Inhalt der Ebay-Website. Logos, andere Bilder und der HTML-Code müssen somit nicht aus den Vereinigten Staaten in die Welt verschickt werden. Daher landen nur rund fünf Prozent des Datenvolumens einer Anfrage überhaupt in Amerika. Der große Rest kommt aus den 28 Ebay-Ländern, in denen der Konzern eine eigene Domain angemeldet hat. So lädt sich die Ebay-Website in Frankreich, Deutschland oder den Philippinen genauso schnell wie in den Vereinigten Staaten.
Die stete Erreichbarkeit der Seiten läßt Ebay von zwei Unternehmen überprüfen. Gomez ist dabei für die Performanz (das Zeitverhalten) beim Heimanwender zuständig, indem es auf die Ebay-Seiten von mehr als 50 Orten der Welt zugreift, während das Unternehmen Keynote an den großen Knotenrechnern im Internet kontrolliert, wie schnell und sicher die großen Internet-Provider in der Lage sind, Daten auszuliefern. Zusätzlich betreibt Ebay selbst ein internes System, das in mehr als 40 auf dem Globus verteilten Städten die Zugriffs-Fehlerraten überprüft und zugleich Hacker-Angriffe registriert.
Text: F.A.Z., 08.03.2005, Nr. 56 / Seite T6
Bildmaterial: , picture-alliance / dpa/dpaweb
Hinter den Kulissen von Ebay
Von Jörg auf dem Hövel
11. März 2005 Das Internet-Auktionshaus Ebay ist eine der meistbesuchten Seiten im Netz. Die Zahlen sind beeindruckend: In aller Welt stehen ständig etwa 44 Millionen Artikel zum Verkauf, etwa vier Millionen Artikel werden jeden Tag bei Ebay neu eingestellt. Zu Hochzeiten verzeichnen die Seiten am Tag 889 Millionen Aufrufe, 270 Millionen Suchanfragen und 15 Millionen Gebote. Je Sekunde werden dabei Datenmengen von bis zu 12 Gigabit versandt. Zum Vergleich: Der wichtigste Netzknoten Deutschlands, der "Backbone" der Telekom, wurde 2002 auf eine Kapazität von 10 Gigabit je Sekunde ausgebaut. Für Ebay sind die Koordination dieser Daten und die ständige Erreichbarkeit der Seiten überlebenswichtig, die technische Architektur muß dementsprechend solide sein.
Die Datenbank von Ebay ist auf drei Standorte in den Vereinigten Staaten verteilt. Zwei der vier Datencenter stehen in Santa Clara, eines steht in Sacramento, eines in Denver. In diesen Städten ist die wichtige Basis von Ebay auf Hardware von Sun und mit dem Betriebssystem Solaris implementiert. Alle Anfragen der Welt an die Datenbank landen an einem dieser vier Orte. Jedes Datencenter beherbergt rund 50 Sun-Server. Schon die Kapazität eines Ortes reicht damit aus, um Ebay am Laufen zu halten - sieht man von den leistungshungrigen Suchanfragen der Nutzer ab. Die Datenzentralen spiegeln ihre Informationen untereinander aber nicht, sondern dienen der Lastverteilung.
Weltbekannt: Das Ebay-Logo
Ein Blick auf die Kosten läßt die Dimensionen des "Projekts Ebay" erahnen: Die V880-Server von Sun kosten mit Anschaffung und Support um die 100000 Euro je Stück, die ebenfalls bei Ebay eingesetzten V480er etwa 50000 Euro. Damit aber nicht genug. Um den Nutzern das schnelle Suchen und Finden von Produkten zu ermöglichen, stellt das Unternehmen zudem rund 130 Server mit insgesamt 1100 Prozessoren anderen Firmen zur Verfügung. Dazu kommen noch einmal 280 Server für den zwischen Ebay und seinen Kunden laufenden E-Mail-Verkehr. War früher die Zuverlässigkeit der Hardware das Problem, ist die Kunst heute, das Zusammenspiel der komplexen Computerstruktur zu organisieren.
22 Stunden nicht erreichbar
Seit einigen Totalausfällen im Jahr 1999 hat Ebay die Systemarchitektur komplett überdacht. Im Juni 1999 war die Seite für zweiundzwanzig Stunden nicht erreichbar gewesen. Selbst der damals schon massive Hardware-Einsatz konnte das schnelle Wachstum der www.-Seite nicht abfedern. Das Grundproblem lag in der monolithischen Struktur: Eine Applikation beherbergte alle Funktionen von Ebay, alle Transaktionen trafen auf eine gigantische Datenbank. Fiel das System aus, begann stets eine zeitaufwendige Fehlersuche.
Weil das alte, proprietäre, schwer zu wartende und schlecht skalierbare System Ebay Probleme bereitete, suchte man die Lösung in einer lose gekoppelten, schichtweise und modular aufgebauten Struktur, die auf offenen Standards basiert. Ohne es so zu nennen, entwickelte Ebay mit der Gesamtarchitektur ein Beispiel für "Grid-Computing": Aufgaben werden an verschiedene Prozessoren verteilt, die sogar an unterschiedlichen Orten stehen können.
Die Architektur, an der Ebay bis heute arbeitet, ist folgende: Da der Ausfall eines Servers nicht die gesamte Seite zum Einsturz bringen darf, werden die Datensätze und Aufgaben auf verschiedene Maschinen verteilt. So entstand eines der größten "Storage Area Networks" der Welt: ein Netzwerk aus Festplatten, das, über Glasfaser verbunden, effizient zu steuern, enorm schnell ansprechbar und vor allem gegen Ausfälle gefeit ist, weil Daten immer redundant vorhanden sind.
Java statt Microsoft
Auch die Software wurde komplett ausgetauscht. Lief Ebay früher komplett unter Internet Information Services (IIS) von Microsoft, ist die Architektur heute größtenteils unter dem kryptischen Siegel "J2EE" aufgebaut. Das ist die "Enterprise Edition" der Java-2-Plattform, einer Spezifikation für die Ausführung der Programmiersprache Java. Sie ist speziell für Unternehmensanwendungen gedacht, die unter Java laufen, und stellt einen allgemein akzeptierten Rahmen zur Verfügung, mit dem in modularen Komponenten verteilte, mehrschichtige Anwendungen entwickelt werden können. Ein weiterer Vorteil: Die Anwendungen sind auf verschiedenen Servern lauffähig. In einer arbeitsintensiven Maßnahme wurde dafür der gesamte Code der Ebay-Website von der Programmiersprache C++ in die objektorientierte und plattformunabhängige Sprache Java umgeschrieben. Mittlerweile sind 80 Prozent der Seite in Java programmiert.
Heute dient IBMs Websphere als "Application Server", in ihm läuft der Java- Code. Die Architektur von J2EE erlaubt es, die Anwendungen in mehrere Schichten zu unterteilen: die Präsentationsschicht, die Geschäftslogik und die Datenhaltung. Insgesamt ergibt sich somit ein dreiteiliger Aufbau der IT-Architektur von Ebay: eine Oracle-Datenbank auf Sun, die mit der J2EE-Websphere-Middleware kommuniziert, welche wiederum das IIS-Frontend bedient. Die Nutzer überall auf der Welt bekommen von diesem Zusammenspiel nur die vom IIS gelieferten Websites zu sehen.
Hackers Liebling
Ebay läßt keine Informationen aus dem sensiblen Bereich des IT-Aufbaus nach außen dringen. Zu oft haben Hacker schon versucht, die Seite zu manipulieren oder den Zugriff auf sie mit "Denial of Service"-Attacken zu verhindern. Daß Ebay zwischen 2000 und 2002 immer wieder einmal für Stunden nicht zu erreichen war, lag aber nicht an Angriffen von außen, sondern an dem maroden Systemaufbau, der die immer größer werdenden Datenmengen nicht bewältigen konnte. Seit dem Umbau hat die Seite keine größeren Probleme dieser Art mehr, wohl aber andere. Nicht nur war über einfaches Javascript lange ein Paßwortklau möglich, auch haben sich die Betrugsfälle gemehrt: Nach wie vor besteht Ebay nicht auf der korrekten Identifizierung seiner Nutzer. "Identitätsdiebstähle" führen zu illegalen Auktionen. Unbekannte ersteigerten so im Namen des Bundestagsabgeordneten Uwe Göllner ein Solarium im Wert von 30.000 Euro.
Ein weiterer Schwachpunkt ist nach wie vor die technische Sicherheitsinfrastruktur. Obwohl Ebay es nicht bestätigen will, läßt sich über das Online-Angebot der Meßstation Netcraft (http://uptime.netcraft.com/) einfach eruieren, welches Web-Frontend installiert ist. Nahezu alle Länderseiten laufen weiterhin auf Microsofts IIS in der Version 6.0. Daß Ebay trotz der notorischen Unsicherheit des Web-Servers weiterhin IIS nutzt, stößt in Sicherheitskreisen auf Unverständnis. Nicht nur deshalb experimentiert man mit AMD-basierten Sun-Servern mit einer Linux-Variante.
Rekorde in Folge
Deutschland ist nach den Vereinigten Staaten der wichtigste Umschlagplatz für Ebay. Rund die Hälfte des internationalen Umsatzes von 759 Millionen Dollar wird in Deutschland erzielt. Monatlich frequentieren rund 17 Millionen unterschiedliche Besucher allein die deutsche Ebay-Seite unter www.ebay.de.
Mehr und mehr Bürger ersteigern und verkaufen hier. Es vergeht kaum ein Monat ohne neue Rekordergebnisse. Waren es 2000 noch 1,1 Millionen registrierte Nutzer, sind heute mehr als 16 Millionen Deutsche bei Ebay eingetragen. Über Ebay Deutschland wechselt alle drei Minuten ein Auto den Besitzer. Seit 2003 ist es das erfolgreichste E-Commerce-Unternehmen Europas.
Daten bleiben im Land
Bei einem Aufruf einer regionalen Ebay-Seite wird nur ein sehr kleiner Teil der Anfrage an eines der Datencenter in den Vereinigten Staaten weitergeleitet. Der Großteil der angeforderten Seite wird von einem Server in der Nähe des Nutzers bereitgestellt. Das Unternehmen Akamai betreibt in 65 Ländern mehr als 14.000 Server, Ebay hat dort reichlich Volumen gemietet. Hier liegt unter anderem der statische Inhalt der Ebay-Website. Logos, andere Bilder und der HTML-Code müssen somit nicht aus den Vereinigten Staaten in die Welt verschickt werden. Daher landen nur rund fünf Prozent des Datenvolumens einer Anfrage überhaupt in Amerika. Der große Rest kommt aus den 28 Ebay-Ländern, in denen der Konzern eine eigene Domain angemeldet hat. So lädt sich die Ebay-Website in Frankreich, Deutschland oder den Philippinen genauso schnell wie in den Vereinigten Staaten.
Die stete Erreichbarkeit der Seiten läßt Ebay von zwei Unternehmen überprüfen. Gomez ist dabei für die Performanz (das Zeitverhalten) beim Heimanwender zuständig, indem es auf die Ebay-Seiten von mehr als 50 Orten der Welt zugreift, während das Unternehmen Keynote an den großen Knotenrechnern im Internet kontrolliert, wie schnell und sicher die großen Internet-Provider in der Lage sind, Daten auszuliefern. Zusätzlich betreibt Ebay selbst ein internes System, das in mehr als 40 auf dem Globus verteilten Städten die Zugriffs-Fehlerraten überprüft und zugleich Hacker-Angriffe registriert.
Text: F.A.Z., 08.03.2005, Nr. 56 / Seite T6
Bildmaterial: , picture-alliance / dpa/dpaweb
junge - 12. Mär, 11:27
0 Kommentare - Kommentar verfassen - 0 Trackbacks
Trackback URL:
https://junge.twoday.net/stories/567181/modTrackback