Arbeitspaket V (AP-V): Ressourcen-Management für Grid-Jobs

Im Arbeitspaket V wird die Verteilung von im Grid anfallenden Rechenaufträgen (Jobs) auf die im Grid zur Verfügung stehenden Ressourcen bearbeitet. Die Aufgabe kann als eine intelligente Verallgemeinerung der Aufgaben sogenannter Batch- oder Queueing-Systeme angesehen werden, wie sie auf lokal auf Hochleistungsrechnern vorhanden sind. Dabei ist die zur Verfügung stehende Umgebung, das Grid, im Allgemeinen jedoch erheblich komplexer und heterogener als dies bei lokalen Ressourcen der Fall ist. Dadurch steigen auch die Anforderungen an die Nutzer- und Programmierschnittstellen. Ebenfalls ist in diesem Arbeitspaket das Management von Beobachtungs-Jobs integriert, die auf robotischen Teleskopen bearbeitet werden, eine Besonderheit der Astrophysik. Drei Komponenten oder Ebenen umfasst das Job-Management im Grid:

Job Definition
Beschreibung der Anforderungen eines Grid-Jobs, wie erwarteter Ressourcenverbrauch in Zeit und Speicher, wird besondere Hardware benötigt, mögliche Formen und Anforderungen der Parallelverarbeitung, Informationen zum Start eines Jobs (muss zum Beispiel ein vorangegangener Job abgewartet werden?).
Job Vermittlung (Resource Brokerage)
Die Job Definition und die sich daraus ergebenden Anforderungen müssen mit den im Grid vorhandenen Ressourcen und deren aktueller Auslastung verglichen werden. Eine Strategie muss definiert werden, um eine Anzahl von Jobs möglichst optimal auf die Ressourcen aufzuteilen.
Job Submission
Die Grid-Job Beschreibungen, welche über die Job Vermittlung an eine lokale Ressourcenverwaltung eingereicht werden, müssen in eine Sprache, ein Format übersetzt werden, das vor Ort verstanden und submittiert werden kann.

Die Anbindung an robotische Teleskope kann in ähnlicher Weise erreicht werden. Zunächst wird eine generische Beschreibungssprache für Beobachtungen benötigt. Ein Resource Broker ermittelt anhand dieser Beschreibungen und der verfügbaren Teleskope, über die im Informationsdienst Metadaten bereitgestellt werden, ein geeignetes Teleskop. Jedes Teleskop muss um eine Komponente erweitert werden, welche die generische Beobachtungsbeschreibung an die lokale Steuerungssoftware anpasst.

Organisationsstruktur

Partner: ZAH, ZIB, AEI, AIP, MPA, MPE, ZIB

Arbeitspaket-Verantwortlicher: Rainer Spurzem (ZAH)

Technische Ansprechpartner:

R. Spurzem (ZAH)
D. Elstner (AIP)
O. Wehrens (AEI)
H.M. Adorf (MPA)
W. Voges (MPE)
A. Reiser (TUM)
T. Roeblitz (ZIB)
A. Beck-Ratzka (AEI)
M. Hoegqvist (ZIB)

Arbeitsplan

Spezifikation der Anforderungen und Entwurf der Architektur
Entwicklung des Grid-Job-Managements
Entwicklung der Anbindung an robotische Teleskope
Adaption der Nutzer- und Programmierschnittstellen und Test