Röntgen-Computertomographie (CT) und Laminographie sind einzigartige Werkzeuge für die systematische Untersuchung von opaken Materialien und biologischen Proben. Über die spezifische Absorption der durchstrahlten Materialien können innere Strukturen des abgebildeten Objekts beobachtet werden. Bei herkömmlichen CT-Systemen wird das Objekt auf einem rotierenden Probentisch zwischen dem Röntgenstrahl und einem Detektor platziert, der ein zweidimensionales Intensitätsbild der einfallenden Röntgenstrahlen aufnimmt. Bei einer 360°-Drehung des Objekt zwischen Quelle und Detektor werden Röntgenbilder in typischerweise äquidistanten Drehwinkeln aufgenommen. Ein tomographischer Rekonstruktionsalgorithmus wird dann auf die Seuqenz der erfassten Röntgenbilder angewendet, um ein volumetrisches Röntgenbild des Objekts zu berechnen. Dies Bild besteht aus einer dreidimensionalen Anordnung von Volumenelementen (Voxeln). Jedem Voxel ist ein Grauwert zugeordnet, der der Röntgenstrahlenabschwächung im  repräsentierten Volumenelement entspricht. Die Laminographie ist eine spezielle Art der Röntgentomographie, die für flache Proben verwendet wird. Bei einer flachen Probe, wie z.B. einer Leiterplatte oder einem historischen Ölgemälde, steigt bei der CT die Röntgenabsorption in der Probe drastisch an, wenn die lange Kante der Probe nahezu parallel zur Richtung der Röntgenstrahlen liegt. In solchen Fällen ist es vorteilhaft, die Probe zu kippen, so dass die Objektebene nicht parallel zum einfallenden Strahl ist. Die Probe wird dann um einen gegenüber der Flächenormale des Objektes leicht gekippten Vektor gedreht.

Synchrotronanlagen bieten inzwischen eine Flussdichte des Röntgenstrahles an, die in Kombination mit schnellen Bildsensoren die Aufnahme von Tomogrammen in weniger als einer Sekunde erlauben. Kombiniert mit der Korrektur von Bewegungsartefakten hat dies neue Ansätze für 4D (Raum+Zeit) in situ, operando und sogar in vivo-Studien ermöglicht. Mit diesen Methoden lassen sich z.B. die Strukturentwicklung von Materialien,  technologische Prozesse oder biologischen Vorgänge in Zellen oder Geweben und Bewegungsabläufe von kleine Organismen beobachten.

Aufgrund der Komplexität des Versuchsaufbaus sind die Automatisierung und die Versuchsplanung eine Herausforderung. Für einen erfolgreichen automatisierten Scan müssen der Abbildungs- und Probenapparat richtig ausgerichtet und positioniert, die Probe stabilisiert und der Messaufbau während des gesamten Abbildungsprozesses kontrolliert werden. Darüber hinaus ist eine intelligente Steuerung des Bildgebungsprozesses mit einer dynamischen Anpassung der Region of Interest (ROI) besonders schwierig, da sie zusätzlich Online-Informationen über den untersuchten Prozess erfordert. Bei falscher oder zu später Berechnung der Prädiktion kann die ROI vollständig verfehlt werden. Dieses Problem tritt besonders dann auf, wenn die Position der Probe im 4D-Raum nicht a priori bekannt ist oder sich während des Scans ändert. Obwohl zweidimensionale (2D) Röntgenaufnahmen bereits oft gute Informationen für ein schnelles Online-Feedback für vielen Anwendungen enthalten, ist es wünschenswert in bestimmten Fällen Qualitätsmetriken aus der 3D- oder gar 4D-Bildrekonstruktion abzuleiten.

Darüber hinaus ist die zeitliche Abtastung und Dauer von in-vivo-Experimenten, also mit lebenden Objekten derzeit durch Strahlenschäden begrenzt. Die Strahlendosis kann reduziert werden, indem weniger Projektionen zur Rekonstruktion eines einzelnen Tomogramms verwendet werden oder indem die Belichtungszeit für jede Projektion reduziert wird. Bei traditionellen Rekonstruktionstechniken führen beide Ansätze zu Artefakten in der 3D-Darstellung. Auch die Bewegung der Objekte während des Experiments beeinflusst die Rekonstruktionsqualität. Die „Compressed sensing“-Theorie erlaubt die Rekonstruktion von Signalen aus unterabgetasteten Daten. Unvollständige Messungen können so kompensiert werden, und die Bilder lassen sich mit Hilfe eines nichtlinearen Optimierungsschemas auch bei einer geringeren Anzahl von Messungen rekonstruieren. Solche Optimierungstechniken sind jedoch sehr rechenintensiv.

In Zusammenarbeit mit dem KIT-Imaging-Cluster entwickeln wir die nächste Generation von Experiment-Kontrollsystemen, um eine schnelle Datenauswertung in die Datenerfassung einzubinden und so die Verfolgung schneller Prozesse mit hoher räumlicher und zeitlicher Auflösung zu ermöglichen. Das entwickelte Kontrollsystem wird derzeit an zwei Experimentierstationen des KIT-Imaging-Clusters eingesetzt. Während wir uns auf Synchrotron-Tomographie und Laminographie konzentrieren, können unsere Technologien leicht an verschiedene Arten von Detektoren übertragen werden. Die aktuell maximal in Echtzeit verarbeitete Datenrate beträgt etwa 8 GB/s und steht für Online-Überwachung, und Steuerung zur Verfügung. Die Software-Plattform ist Open Source und alle Software-Komponenten sind frei verfügbar unter https://github.com/ufo-kit .

Unsere UFO-Plattform (Ultra-Fast tOmography) deckt die gesamte Prozesskette vom Röntgendetektor bis zur Archivierung der Daten ab. Das System umfasst Hardware- und Softwarekomponenten und schlägt eine Entwurfsrichtlinie für die Recheninfrastruktur vor. Primäre Designziele waren ein geringer Verwaltungsaufwand, kosteneffiziente Standardkomponenten und die Möglichkeit, die Ausrüstung in der Synchrotronanlage zu verteilen. Wichtige Komponenten des Frameworks sind Vernetzung, Treiber für wissenschaftliche Kameras, Rechnerinfrastruktur und Kontrollsystem.

Der Datenfluss ist wie in Abb. 2 skizziert organisiert. Zunächst werden die Daten mit einer einzigen GPU direkt an der Kamerastation vorverarbeitet. In dieser Phase wird die mögliche Rückkopplung auf der Basis von 2D-Projektionen an die Beamline-Instrumentierung zurückgegeben. Nach der Online-Datenreduktion werden die Bilddaten dann an das verteilte UFO-Kontrollsystem zur 3D-Rekonstruktion und Datenanalyse weitergeleitet. Hier werden Informationen für eine zweite Rückkopplungsschleife auf der Grundlage der rekonstruierten 3D-Bilder extrahiert. Weiter werden die Rohdaten an den Hochgeschwindigkeits-Streaming-Speicher übertragen .

Zum Aufbau des DAQ-Netzwerks verwenden wir vier verschiedene Arten von Knoten: Kamerastation, Master-Server, Rechenknoten und Speicherknoten. Die Architektur ist in Abb. 3 skizziert. Ein Infiniband-Netzwerk verbindet die Systemkomponenten. Die Kamerastation ist Teil der Experimentierstation, während die anderen Komponenten sich außerhalb befinden und über eine optische Infiniband-Verbindung mit der Kamerastation verbunden sind.

Mehrere Softwarekomponenten wurden entwickelt, um die Anforderungen des UFO-Kontrollsystems zu erfüllen. Einen Überblick über die zur Realisierung der im UFO-Kontrollsystem verwendeten Softwarekomponenten gibt Abb. 4. Das zentrale Element des Systems ist das parallele UFO-Bildverarbeitungs-Framework. Das Steuerungssystem „Concert“ ermöglicht den Aufbau bildbasierter Regelkreise durch die Integration des UFO-Frameworks und der Beamline-Instrumentierung. Die Schnittstelle zu den Kameras wird durch die „Unified Camera Access Library“ (libuca) bereitgestellt. Neben kommerziellen Kameras sind eine Reihe von am IPE entwickelten programmierbaren Streaming-Kameras eingebunden. Um die Vorteile der hohen Datenübertragungsraten des Infiniband-Netzwerks voll auszuschöpfen, wurde die „KIT Infiniband Remote Communication-Bibliothek“ KIRO entwickelt. Sie unterstützt das native Infiniband-RDMA-Protokoll. Die Bibliothek kann Datenübertragungsraten von bis zu 4,7 GB/s und Latenzen in der Größenordnung von 20 us für den Infiniband FDR-Standard erreichen.

Die Messergebnisse werden während des Experiments zunächst mit dem FastWriter-Modul auf die Hochgeschwindigkeitspartition des UFO-Echtzeitspeichers gestreamt und später, nach Abschluss des Experimentes,  in der „Large Scale Data Facility (LSDF)“ des KIT archiviert. Um eine schnelle Vorschau auf die archivierten 3D-Datensätze zu ermöglichen, wurde die Webanwendung Web Analysis of Volumes (WAVe) entwickelt.  Viele neuere mobile Geräte sind mit leistungsfähigen GPU-Adaptern ausgestattet und können die von WAVe angebotene Visualisierung der 3D-Volumen anzeigen.

UFO-Bildverarbeitungs-Framework

Das zentrale Element des Systems ist das Bildverarbeitungs-Framework UFO. Der Bildverarbeitungs-Workflow wird durch einen strukturierten Graphen konfiguriert, wobei jeder Knoten einen Operator darstellt. Das UFO-Framework enthält per Design mehrere Parallelitätsebenen: feinkörnige massive Parallelität, Pipelining und die gleichzeitige Ausführung von Verzweigungen innerhalb des Graphen. Die Bildverarbeitungsalgorithmen in der Bibliothek sind in OpenCL implementiert und sorgfältig für aktuelle GPU-Architekturen von AMD und NVIDIA optimiert.

Der UFO-Scheduler ist so programmiert, dass er Multi-GPU- und Cluster-Setups ermöglicht. Die Basis für den Scheduler ist ein Graph der Prozessierungsschritte und die Beschreibung der verfügbaren Hardware, wie Anzahl von GPUs, CPUs und Remote-Computerknoten und wie auf sie zugegriffen werden kann. Der Scheduler versucht, die beste Lösung der Aufgaben für die verfügbare Hardware zu finden. In den meisten Fällen wird die Hardware jedoch nicht vollständig genutzt, da in der Regel weit mehr Recheneinheiten als Rechenschritte vorhanden sind. Um dieser Situation Rechnung zu tragen, erweitert der Scheduler den Aufgabengraphen, indem er die Struktur des Graphen untersucht. Jede Sequenz, die potenziell auf GPUs ausgeführt werden können, wird dupliziert und in die graphische Darstellung des Workflows eingefügt. Zur Ausführungszeit werden dann diese Sequenzen einer GPU zugeordnet, um Speichertransfers zwischen den GPUs zu vermeinden.

Dieselbe Idee wird zur Unterstützung des Clustering verwendet: Sequenzen langlaufender Berechnungen werden identifiziert, gekapselt und die Beschreibung an den Remote-Knoten gesendet. Im ursprünglichen Graphen sendet ein Datenaustauschknoten Daten an den eingebundenen Rechenknoten und empfängt die resultierenden Daten von dort, wodurch die Daten wieder in den ursprünglichen Graphen eingefügt werden.  An jedem Berechnungsknoten wird ein UFO-Dämon gestartet, der auf Anfragen vom Master-Prozess wartet. Wenn das UFO-Framework Daten zur Verarbeitung an einen Dämon übertragen möchte, sendet es eine Anforderung an den Dämon und bittet ihn, einen leeren Puffer mit ausreichender Größe für die Speicherung der zu sendenden Daten vorzubereiten. Sobald der Dämon diese Anfrage bestätigt hat, werden die tatsächlichen Daten, die sich im Puffer befinden, gesammelt und an den Dämon gesendet, der sie in dem neu erstellten, leeren Puffer ablegt. Von diesem Zeitpunkt an geht die Berechnung auf dem Dämon auf die gleiche Weise weiter wie in einer normalen, lokalen UFO-Kette. Und nachdem die Berechnungen abgeschlossen sind, geschieht dasselbe noch einmal, nur in der entgegengesetzten Richtung.

Steuerungssystem "Concert”

Das High-Level-Steuerungssystem "Concert" dient zur Steuerung der Beamline-Instrumentierung und zur Kontrolle des Experimentverlaufs. Es basiert auf dem UFO-Framework und soll bildbasierte Regelkreise durch die Integration von Echtzeit-Datenverarbeitung und Beamline-Instrumentierung ermöglichen. Die Regelkreise werden durch einfach zu schreibende Python-Skripte unter Verwendung von Komponenten, die von "Concert" und dem UFO-Framework bereitgestellt werden, implementiert. "Concert" definiert Schnittstellen für an bildgebenden Beamlines häufig verwendete Standardkomponenten, wie zum Beispiel  Hochgeschwindigkeitskameras, Rotations- und Linearmotoren, Probenwechsler, Strahlmonochromatoren usw. Um ein gemeinsames Zugriffsschema für verschiedene Hochgeschwindigkeitskameras zu realisieren, wird die "Unified Camera Abstraction Library" (libuca) verwendet. libuca arbeitet mit lokalen und entfernten Kameras und ist in der Lage, Übertragungsraten bis zu 5000 Bildern pro Sekunde zu erreichen (bei einer 8-Bit 1-Megapixel-Kamera und FDR-Infiniband-Verbindungen). Zur Kommunikation mit Standardgeräten wird ein Tango-Wrapper verwendet. Für die Arbeit mit Aerotech- und Compact RIO-basierten Motoren und einer Vielzahl anderer Geräte werden dedizierte Komponenten bereitgestellt.  "Concert" vereinfacht Standardoperationen wie die Ausrichtung der Rotationsachse, die Fokussierung der Kamera, das Auffinden und Zentrieren des Strahls erheblich. Schließlich lässt sich "Concert" auch in das Datenverwaltungssystem integrieren. Metadaten über die Prozessparameter werden automatisch von den Instrumenten abgerufen, können aber auch vom Benutzer erweitert werden und werden zusammen mit den Messdaten gespeichert.

Rekonstruktion in Echtzeit

Für die tomographische Rekonstruktion in Echtzeit bietet das UFO-Framework zwei Methoden an: Gefilterte Rückprojektion (FBP) und Direkte Fourier Inversion (DFI). Verglichen mit dem meist verwendeten FBP-Algorithmus ist DFI empfindlicher gegenüber Rauschen, aber etwas schneller. Beide Algorithmen sind für die GPU-Architektur implementiert und optimiert. Darüber hinaus bieten wir Rekonstruktionsmodi mit reduzierter Genauigkeit. Die verringerte Bildqualität ist für Echtzeitanwendungen oft akzeptabel. Sie beschleunigt die Ausführung, während die erzeugten Ergebnisse immer noch ausreichend sind, um zuverlässige Entscheidungen im Experimentierbetrieb zu treffen. Wie in Abb. 6 dargestellt, übertrifft die UFO-Implementation der Rekonstruktionsalgorithmen die Performanz des populären ASTRA-Toolkits deutlich. Die optimierten Algorithmen erreichen einen Durchsatz von 1 GB/s auf einer einzelnen GPU und bis zu 8 GB/s auf einem GPU-Server. Diese Verarbeitungsgeschwindigkeit übertrifft die Datenraten der derzeit existierenden wissenschaftlichen Kameras deutlich. Neben der Echtzeit-Rekonstruktion können die entwickelten Algorithmen auch zur Beschleunigung der ansonsten langsamen Low-Dose-Rekonstruktion eingesetzt werden, die normalerweise offline durchgeführt wird. Weitere Einzelheiten zu den entwickelten Algorithmen sind veröffentlicht in

S. Chilingaryan et al. "Balancing load of GPU subsystems to accelerate image reconstruction in parallel beam tomography", In Proc. of SBAC-PAD, Lyon 2018.

zu finden.

Projekte

• UFO - Synchrotron-Röntgentomographie
• ROOF - Dynamische Verfolgung von Strukturen in mehrphasigen Systemen
• ASTOR / NOVA - Synergetische Datenanalyse

Für Studierende

Wir bieten durchgehend Themen für studentische Arbeiten rund um die Computertomographie an. Wir erwarten von den Studenten Erfahrungen in der Bildverarbeitung und gute Python-Programmierkenntnisse. Einige Themen erfordern ein gutes Verständnis von GPU-Architekturen und Erfahrungen mit parallelen Programmiertechniken. Bitte kontaktieren Sie uns, wenn Sie Interesse an Hochleistungsrechnen und -tomographie haben. Die Palette möglicher Themen ist breit gefächert:

• Allgemeine Bildverarbeitung: Rauschunterdrückung, Artefaktkompensation, etc.
• Entwicklung von spezifischen Algorithmen für die tomographische Rekonstruktion
• Parallelisierung und Optimierung von Bildverarbeitungssoftware
• Bewegungserkennung („Optical Flow“), Bildsegmentierung und Visualisierung