Die ESF-geförderte Nachwuchsforschergruppe VICCI beschäftigte sich von 2012 bis Ende 2014 an der Fakultät Informatik der Technischen Universität Dresden mit der Entwicklung, Steuerung und Integration von cyber-physikalischen Systemen (CPS). Der Anwendungsbereich umfasst Smart Home-Umgebungen und die Unterstützung von Menschen im Ambient Assisted Living.

Heute schreibe ich über Visualisierung in heterogener, verteilter Infrastruktur. Naja, das klingt jetzt spannender als es wirklich ist. Es geht schlicht und ergreifend um Remote-Visualisierung.

Ein erster Prototype für die komprimierte Bildübertragung wurde bereits in einem Kooperationsprojekt (gemeinsame Studentenbetreuung) mit dem HZDR Dresden erfolgreich eingesetzt und auf den internationalen Konferenzen SuperComputing 2013 (Denver) und 2014 (New Orleans) präsentiert (im Rahmen des Forschungsprojekts PIConGPU des HZDR, ACM Gordon Bell Finalists SC2013). Dieser Test zeigte deutlich die Funktionstüchtigkeit des Ansatzes.

Die Übertragungsstrecke der Video-Übertragung, als zentraler Aspekt des Ansatzes, wurde durch mehrere Kompressionsverfahren verbessert. Besonders hervorzuheben ist die Bachelorarbeit von Christoph Träger in welcher die Latenzmaskierung mittels Bildinterpolation und -extrapolation auf der Seite des darstellenden Endgeräts realisiert und untersucht wurde.

ba_traeger_idee

Grundidee der client-seitigen Bildinterpolation zur Latenzmaskierung. Ausgehend von dem Original-Bild (links), soll das Ziel-Bild (mitte) angenähert werden. Durch Re-Projektion kann die Geometrie angenähert werden (rechts).

Die prototypische Softwarekomponente zur Video-Übertragung trägt den Namen RIV. Der aktuelle Stand dieser Arbeit kann von der VICCI-Webseite heruntergeladen werden.

Die Implementierung der Bildinterpolation zur Latenzmaskierung ist auf der Webseite der Bachelorarbeit von Christoph Träger verfügbar. Achtung: die Rechte am Quellcode dieser Implementierung liegen vollständig bei Christoph Träger! Der hier präsentierte Quelltext darf nur zu Lehr- und Forschungszwecken einsetzt werden. Weitere Verwendungsarten erfordern das Einverständnis des Urhebers. Die TU Dresden hat das Nutzungsrecht des Quellcodes.

Die ESF-geförderte Nachwuchsforschergruppe VICCI beschäftigte sich von 2012 bis Ende 2014 an der Fakultät Informatik der Technischen Universität Dresden mit der Entwicklung, Steuerung und Integration von cyber-physikalischen Systemen (CPS). Der Anwendungsbereich umfasst Smart Home-Umgebungen und die Unterstützung von Menschen im Ambient Assisted Living.

Mein Arbeitspaket für Visualisierung und visuelle Analyse hatte im Rahmen des Projekts drei wesentliche Aspekte untersucht und entsprechende Lösungen erarbeitet:

  • die visuelle Analyse komplexer, multi-dimensionaler, multimodaler,  dynamischer Raumzeit-Daten,
  • die Visualisierung in heterogener, mobiler und verteilter IT-Infrastruktur und
  • die Realisierung von Visualisierungssystemen und -Komponenten.

Heute schreibe ich über die visuelle Analyse komplexer Raumzeit-Daten.

teaser

Die visuelle Analyse dient der administrativen Übersicht über eines laufenden CPS aus Gründen der Sicherheit, als Hilfestellung während Entwicklung und des Betrieb des Systems. Im Besonderen sind außergewöhnliches (Fehl-)Verhalten und das Entstehen von emergenten Systemeigenschaften hierbei von Bedeutung. Da hierfür eine visuelle Exploration notwendig ist, dürfen nur minimal wenige vorherige Annahmen getroffen und einschränkende Darstellungsmetaphern genutzt werden. Beispielsweise, können bestimmte Daten, wie auf die Gelenke eines Roboterarms wirkenden Kräfte, effektiver Visualisiert werden, wenn diese im geometrischen Kontext dargestellt werden. Diese Annahme jedoch verringert die Allgemeingültigkeit der Visualisierung.

Ausgehend von einer entsprechenden Anforderungsanalyse wurde daher eine grundlegende Visualisierung erarbeitet, welche koordinierten Ansichten, zeit-kontinuierlichen Scatterplot-Matrizen, zeit-kontinuierlichen parallelen-Koordinaten-Plots und zeitliche Heatmaps nutzt um die im CPS erhobenen Daten direkt darstellt. Diese Anwendung ist in der Lage generische multidimensionale Daten in Echtzeit interaktiv darzustellen und bietet somit eine hervorragende Möglichkeit für erste visuelle Analyseschritte. Das erarbeitete System wurde in der Fachzeitschrift Computer Graphics Forum, dem führenden europäischen Visualisierungsjournal, veröffentlicht. Im Rahmen der Evaluierung wurden die Daten des CPS live dargestellt und in Diskussion mit dem Publikum diskutiert. Das CPS wurde durch die weiteren direkt vor Ort und in entfernten Laboren betriebenen Demonstratoren und Sensoren gebildet.

  • [DOI] S. Grottel, J. Heinrich, D. Weiskopf, and S. Gumhold, „Visual Analysis of Trajectories in Multi-Dimensional State Spaces,“ Computer Graphics Forum, vol. 33, iss. 6, pp. 310-321, 2014.
    [Bibtex]
    @article {Grottel2014HDTraj,
      author = {Grottel, Sebastian and Heinrich, Julian and Weiskopf, Daniel and Gumhold, Stefan},
      title = {{Visual Analysis of Trajectories in Multi-Dimensional State Spaces}},
      year = {2014},
      journal = {Computer Graphics Forum},
    volume = {33},
    number = {6},
    pages = {310--321},
      doi = {10.1111/cgf.12352}
    }

DOI: 10.1111/cgf.12352

Diese Visualisierung wurde als Plugin für das Visualisierungssystem MegaMol realisiert. Der Quellcode dieses Plugins kann frei hier heruntergeladen und entsprechend der beigelegten Lizenz verwendet werden:

hdtraj.mmplugin.ziphdtraj.mmplugin.zip Multi-Dimensional Trajectory Visualization MegaMol Plugin
[99.7 KB; MD5: 0a6eaf465318b0f256ecfdf8a8b4ad50; Mehr Info]

Um das MegaMol-System und das Plugin zu kompilieren, nutzen Sie die entsprechenden Anleitungen auf der MegaMol-Webseite.

Im Zeitraum 2007 bis 2012 war ich am Visualisierungsinstitut der Universität Stuttgart, bzw. am Institut für Visualisierung und Interaktive Systeme. Der Kernbereich meiner Arbeit war die Forschung und Entwicklung von Visualisierungen für Datensätze aus Molekulardynamiksimulationen, finanziert durch den Sonderforschungsbereich 716 der DFG. Einerseits ging es darum mit immer größeren Datensatzen umgehen zu können und andererseits ging es darum eine effiziente visuelle Analyse zu unterstützen, indem sinnvolle Darstellungen von den Originaldaten abgeleitet werden. 2007 stellte ich auf der IEEE VIS Konferenz in Sacramento hierzu meine erste Arbeit vor, dieses Paper mit dem Titel „Visual Verification and Analysis of Cluster Detection for Molecular Dynamics“ [1]. In dieser Arbeit geht es darum Algorithmen zu Detektion von Molekülcluster, z. B. Vorläufer von Tropfen in Gasen, zu untersuchen. Jeder solcher Algorithmus hat seine Schwächen und Stärken, je nach Anwendungsfall, und so spielt die visuelle Untersuchung der Ergebnisses eine wichtige Rolle. Vor allem die Stabilität der gefundenen Cluster über die Zeit, sowie ihre Interaktion sind hier ausschlaggebend.

Daher habe wir (meine Kollegen und ich) in diesem Paper zunächst unterschiedliche Definitionen aufgestellt, um wichtige Teile des Datensatzen zu identifizieren. Die vielleicht wichtigste ist die der „Flussgruppe“: eine Gruppe von Molekülen, die zusammen, zu einem Zeitpunkt einen Molekülcluster verläßt und zu einem späteren Zeitpunkt zusammen, gleichzeitig einem zweiten gemeinsamen Molekülcluster wieder beitreten. Es sind also alle Moleküle die gemeinsam, gleichzeitig den Cluster wechseln. Diese Definition erlaubt, visualisiert in unterschiedlichen Ansichten, die Stabilität eines Algorithmus zur Clustererkennung zu beurteilen und sogar unterschiedliche Algorithmen miteinander zu vergleichen. Diese Arbeit war dann auch der Grundstein für meine Dissertation zum Thema Visualisierung von Molekulardynamikdaten.

[1] [doi] S. Grottel, G. Reina, J. Vrabec, and T. Ertl, „Visual Verification and Analysis of Cluster Detection for Molecular Dynamics,“ Visualization and Computer Graphics, IEEE Transactions on, vol. 13, iss. 6, pp. 1624-1631, 2007.
[Bibtex]
@article{Grottel2007nucleation,
  author = {Grottel, Sebastian and Reina, Guido and Vrabec, Jadran and Ertl, Thomas},
  journal={Visualization and Computer Graphics, IEEE Transactions on}, 
  number = 6,
  pages = {1624--1631},
  title = {{Visual Verification and Analysis of Cluster Detection for Molecular Dynamics}},
  volume = 13,
  year = 2007,
  doi={10.1109/TVCG.2007.70614},
}