Ich hab zwar schon vorher mal darüber geschrieben, aber hier der offizielle News-Artikel von der SFB-716-Webseite.

Zur interaktiven GPU-basierte Visualisierung großer Partikeldaten

20151112_vis2015_tutorialEnde Oktober fand in Chicago die größte Konferenz zum Thema der wissenschaftlichen Visualisierung statt – die IEEE VIS 2015. Hier treffen sich jährlich Experten aus aller Welt, um neueste Forschungsergebnisse zu präsentieren und aktuelle Herausforderungen zu diskutieren. Die Konferenz gilt mit über 1.100 Teilnehmern als die größte und wichtigste internationale Plattform in diesem Bereich.

In diesem Jahr organisierten Michael Krone und Guido Reina aus der Forschergruppe von Prof. Thomas Ertl gemeinsam mit Sebastian Grottel (TU Dresden) und Martin Falk (Universität Linköping, Schweden) ein Tutorial zur interaktiven GPU-basierten Visualisierung großer Partikeldaten. Hier wurden die im SFB716 entwickelten technischen Aspekte zur Erhaltung von Qualität und Interaktivität der Partikelvisualisierung erläutert, die mittlerweile als Stand der Technik akzeptiert sind. Zusätzlich wurde auf die erforderlichen Abstraktionen, die durch ständig wachsende Datensatzgrößen unabdingbar werden, eingegangen, sowohl im Kontext von Biomolekülen und Materialoberflächen als auch in der Visualisierung ganzer Zellen.

Mit mehr als 50 Teilnehmern war das Tutorial sehr gut besucht. Die dort ausgehändigten Materialien, wie Folien, Programmcode und Beispieldatensätze können hier heruntergeladen werden.

Die ESF-geförderte Nachwuchsforschergruppe VICCI beschäftigte sich von 2012 bis Ende 2014 an der Fakultät Informatik der Technischen Universität Dresden mit der Entwicklung, Steuerung und Integration von cyber-physikalischen Systemen (CPS). Der Anwendungsbereich umfasst Smart Home-Umgebungen und die Unterstützung von Menschen im Ambient Assisted Living.

Mein Arbeitspaket für Visualisierung und visuelle Analyse hatte im Rahmen des Projekts drei wesentliche Aspekte untersucht und entsprechende Lösungen erarbeitet:

  • die visuelle Analyse komplexer, multi-dimensionaler, multimodaler,  dynamischer Raumzeit-Daten,
  • die Visualisierung in heterogener, mobiler und verteilter IT-Infrastruktur und
  • die Realisierung von Visualisierungssystemen und -Komponenten.

Heute schreibe ich über die visuelle Analyse komplexer Raumzeit-Daten.

teaser

Die visuelle Analyse dient der administrativen Übersicht über eines laufenden CPS aus Gründen der Sicherheit, als Hilfestellung während Entwicklung und des Betrieb des Systems. Im Besonderen sind außergewöhnliches (Fehl-)Verhalten und das Entstehen von emergenten Systemeigenschaften hierbei von Bedeutung. Da hierfür eine visuelle Exploration notwendig ist, dürfen nur minimal wenige vorherige Annahmen getroffen und einschränkende Darstellungsmetaphern genutzt werden. Beispielsweise, können bestimmte Daten, wie auf die Gelenke eines Roboterarms wirkenden Kräfte, effektiver Visualisiert werden, wenn diese im geometrischen Kontext dargestellt werden. Diese Annahme jedoch verringert die Allgemeingültigkeit der Visualisierung.

Ausgehend von einer entsprechenden Anforderungsanalyse wurde daher eine grundlegende Visualisierung erarbeitet, welche koordinierten Ansichten, zeit-kontinuierlichen Scatterplot-Matrizen, zeit-kontinuierlichen parallelen-Koordinaten-Plots und zeitliche Heatmaps nutzt um die im CPS erhobenen Daten direkt darstellt. Diese Anwendung ist in der Lage generische multidimensionale Daten in Echtzeit interaktiv darzustellen und bietet somit eine hervorragende Möglichkeit für erste visuelle Analyseschritte. Das erarbeitete System wurde in der Fachzeitschrift Computer Graphics Forum, dem führenden europäischen Visualisierungsjournal, veröffentlicht. Im Rahmen der Evaluierung wurden die Daten des CPS live dargestellt und in Diskussion mit dem Publikum diskutiert. Das CPS wurde durch die weiteren direkt vor Ort und in entfernten Laboren betriebenen Demonstratoren und Sensoren gebildet.

  • [DOI] S. Grottel, J. Heinrich, D. Weiskopf, and S. Gumhold, „Visual Analysis of Trajectories in Multi-Dimensional State Spaces,“ Computer Graphics Forum, vol. 33, iss. 6, pp. 310-321, 2014.
    [Bibtex]
    @article {Grottel2014HDTraj,
      author = {Grottel, Sebastian and Heinrich, Julian and Weiskopf, Daniel and Gumhold, Stefan},
      title = {{Visual Analysis of Trajectories in Multi-Dimensional State Spaces}},
      year = {2014},
      journal = {Computer Graphics Forum},
    volume = {33},
    number = {6},
    pages = {310--321},
      doi = {10.1111/cgf.12352}
    }

DOI: 10.1111/cgf.12352

Diese Visualisierung wurde als Plugin für das Visualisierungssystem MegaMol realisiert. Der Quellcode dieses Plugins kann frei hier heruntergeladen und entsprechend der beigelegten Lizenz verwendet werden:

hdtraj.mmplugin.ziphdtraj.mmplugin.zip Multi-Dimensional Trajectory Visualization MegaMol Plugin
[99.7 KB; MD5: 0a6eaf465318b0f256ecfdf8a8b4ad50; Mehr Info]

Um das MegaMol-System und das Plugin zu kompilieren, nutzen Sie die entsprechenden Anleitungen auf der MegaMol-Webseite.

Die letzte Woche war wieder sehr arbeitsreich. Ist irgendwie auch nichts neues mehr. Naja.

Zusammen mit zwei Kollegen habe ich eine Einreichung zu einer Konferenz erarbeitet. Ein schönes Paper über eine Visualisierungstechnologie. Natürlich kann ich mehr noch nicht sagen solange das Paper nicht angenommen ist. Mal schauen. Wir haben gut gearbeitet und ich bin ganz zuversichtlich. Ok. Das war ich auch bei den meisten Paper die dann abgelehnt wurden. Wie dem auch sei.

Außerdem gab es dann letzte Woche noch eine gute Nachricht. Das Paper eines Kollegen, bei dem ich beteiligt war, wurde auf der Multimedia Modelling 2015 angenommen:

  • [DOI] M. Spehr, S. Grottel, and S. Gumhold, „Wifbs: A Web-based Image Feature Benchmark System,“ in MultiMedia Modeling – 21th Anniversary International Conference, MMM 2015, Sydney, Australia, January 5-7, 2015, Proceedings, 2015, pp. 159-170.
    [Bibtex]
    @inproceedings{spehr2015mmm,
      author    = {Marcel Spehr and
                   Sebastian Grottel and
                   Stefan Gumhold},
      title     = {Wifbs: A Web-based Image Feature Benchmark System},
      booktitle = {MultiMedia Modeling - 21th Anniversary International Conference, {MMM} 2015, Sydney, Australia, January 5-7, 2015, Proceedings},
      editors   = {Xiangjian He, Suhuai Luo et al.},
      year      = {2015},
      pages     = {159--170},
      doi       = {10.1007/978-3-319-04114-8_2},
    }

Ich will mich nicht mit fremden Federn schmücken. Die Idee, die Umsetzung, das System und das Paper stammt alles zu den größten Teilen von meinem Kollegen Marcel Spehr. Tolle Leistung. Alles was ich gemacht habe war dabei zu stehen, hier und da etwas mit anzupacken oder eine Richtung vorzugeben, und dann natürlich beim eigentlichen Schreiben des Papers zu unterstützen.

System-Paper find ich toll. Es sind Arbeiten die über einfache Software in der Forschung hinausgehen. Diese Systeme, dieses hier und mein MegaMol, haben potential wirklich nützlich zu bleiben.

Heute gibt es auch nur eine kurze Notiz zum Thema MegaMol.

Es ist vollbracht! Das System Paper zu MegaMol selbst ist veröffentlicht:

  • [DOI] S. Grottel, M. Krone, C. Müller, G. Reina, and T. Ertl, „MegaMol — A Prototyping Framework for Particle-based Visualization,“ Visualization and Computer Graphics, IEEE Transactions on, vol. 21, iss. 2, pp. 201-214, 2015.
    [Bibtex]
    @article{grottel2014megamol,
        author={Grottel, S. and Krone, M. and M\"{u}ller, C. and Reina, G. and Ertl, T.},
        journal={Visualization and Computer Graphics, IEEE Transactions on},
        title={MegaMol -- A Prototyping Framework for Particle-based Visualization},
        year={2015},
        month={2},
        volume={21},
        number={2},
        pages={201--214},
        keywords={Data models;Data visualization;Graphics processing units;Libraries;Rendering (computer graphics);Visualization},
        doi={10.1109/TVCG.2014.2350479},
        ISSN={1077-2626}
    }

Doi: 10.1109/TVCG.2014.2350479

Die harte Arbeit hat sich gelohnt. MegaMol ist damit nun im IEEE Journal „Transactions on Visualization and Computer Graphics“, kurz TVCG, veröffentlich, dem Top-Journal in der Visualisierungs-Community. Ich muss zugeben, ich bin schon ziemlich stolz drauf.

Mal sehen wie es jetzt weiter geht. An sich wäre es schon möglich und gut MegaMol nun tatsächlich weiter zu bringen und zu pflegen als bisher. Ich würde das gerne machen. Aber natürlich hängt es von meiner beruflichen Zukunft ab in wie weit ich das können werde. Die Software hat so viel Potential. *hach*

Heute möchte ich über eine meiner neusten wissenschaftlichen Publikationen sprechen: Visualisierung multi-dimensionaler Trajektorien. Die Publikation ist in der Wiley Online Library elektronisch verfügbar (http://onlinelibrary.wiley.com/doi/10.1111/cgf.12352/abstract): Visual Analysis of Trajectories in Multi-Dimensional State Spaces [1].

Zunächst einmal, was ist eine multi-dimensionale Trajektorie? Wir untersuchten Zustände komplexer System, wie automatisierte Systeme oder Roboter. Jedes Element in so einem System, z.B. ein Motor oder ein Sensor, besitzt mehrere Zustandsvariablen, wie gemessene Temperator oder Rotationskraft des Motors. Diese Variablen können sogar vektoriell sein. Aber selbst wenn sie nur skalar sind, da System ist üblicherweise aus vielen solchen Elementen zusammengesetzt. Der Zustand des Gesamtsystems ist daher immer der Vektor aller Zustandsvariablen aller Elemente. Die Systeme die wir untersucht hatten haben Vektoren mit mehreren Duzend Variablen. Diese Größenordnung benennt man mit multi-dimensional, im Gegensatz zu hoch-dimensional, womit Räume mit mehreren hundert oder mehreren tausend Dimensionen gemeint sind. Der Zustand eines Systems als Ganzes kann nun als Punkt in dem multi-dimensionalen Zustandsraum interpretiert werden. Allerdings sind unsere Systeme nicht statisch, sondern werden in Echtzeit überwacht. Die Werte der Zustandsvariablen ändern sich, z.B. steigen Temperaturen und Motoren drehen sich. Der Zustandspunkt des System bewegt sich also durch den Zustandsraum. Der Pfad den er dabei nimmt ist seine Trajektorie.

md_trajectory_teaser

Unser Ansatz zur Visualisierung dieser Daten basiert auf klassischen Visualisierungmetaphern der multi-dimensionalen Datenvisualisierung: nämlich Scatterplot Matrizen und Parallele-Koordinaten-Plots. Wir nutzen zusätzliche Darstellungen, z.B. temporale Heat-Maps. Der Hauptaspekt unserer Arbeit ist jedoch die Art und Weise wie wir diese Diagramme berechnen. Normallerweise würde man die multi-dimensionalen Datenpunkte einfach in den Diagrammen als Punkte oder Linienzüge einzeichnen. Wir, jedoch, nutzen die Art der Daten aus, nämlich die zeitliche Kontinuität. Wir integrieren die Daten über die Zeit um kontinuierliche Diagramme zu erzeugen. Diese Arbeit basiert auf Vorarbeiten kontinuierlicher Scatterplots und Paralleler-Koordinaten-Plot, die räumlich integrieren. Wir haben diese Integration auf die zeitliche Dimension übertragen.

md_trajectory_compare

[1] [doi] S. Grottel, J. Heinrich, D. Weiskopf, and S. Gumhold, „Visual Analysis of Trajectories in Multi-Dimensional State Spaces,“ Computer Graphics Forum, vol. 33, iss. 6, pp. 310-321, 2014.
[Bibtex]
@article {Grottel2014HDTraj,
  author = {Grottel, Sebastian and Heinrich, Julian and Weiskopf, Daniel and Gumhold, Stefan},
  title = {{Visual Analysis of Trajectories in Multi-Dimensional State Spaces}},
  year = {2014},
  journal = {Computer Graphics Forum},
volume = {33},
number = {6},
pages = {310--321},
  doi = {10.1111/cgf.12352}
}

Im Zeitraum 2007 bis 2012 war ich am Visualisierungsinstitut der Universität Stuttgart, bzw. am Institut für Visualisierung und Interaktive Systeme. Der Kernbereich meiner Arbeit war die Forschung und Entwicklung von Visualisierungen für Datensätze aus Molekulardynamiksimulationen, finanziert durch den Sonderforschungsbereich 716 der DFG. Einerseits ging es darum mit immer größeren Datensatzen umgehen zu können und andererseits ging es darum eine effiziente visuelle Analyse zu unterstützen, indem sinnvolle Darstellungen von den Originaldaten abgeleitet werden. 2007 stellte ich auf der IEEE VIS Konferenz in Sacramento hierzu meine erste Arbeit vor, dieses Paper mit dem Titel „Visual Verification and Analysis of Cluster Detection for Molecular Dynamics“ [1]. In dieser Arbeit geht es darum Algorithmen zu Detektion von Molekülcluster, z. B. Vorläufer von Tropfen in Gasen, zu untersuchen. Jeder solcher Algorithmus hat seine Schwächen und Stärken, je nach Anwendungsfall, und so spielt die visuelle Untersuchung der Ergebnisses eine wichtige Rolle. Vor allem die Stabilität der gefundenen Cluster über die Zeit, sowie ihre Interaktion sind hier ausschlaggebend.

Daher habe wir (meine Kollegen und ich) in diesem Paper zunächst unterschiedliche Definitionen aufgestellt, um wichtige Teile des Datensatzen zu identifizieren. Die vielleicht wichtigste ist die der „Flussgruppe“: eine Gruppe von Molekülen, die zusammen, zu einem Zeitpunkt einen Molekülcluster verläßt und zu einem späteren Zeitpunkt zusammen, gleichzeitig einem zweiten gemeinsamen Molekülcluster wieder beitreten. Es sind also alle Moleküle die gemeinsam, gleichzeitig den Cluster wechseln. Diese Definition erlaubt, visualisiert in unterschiedlichen Ansichten, die Stabilität eines Algorithmus zur Clustererkennung zu beurteilen und sogar unterschiedliche Algorithmen miteinander zu vergleichen. Diese Arbeit war dann auch der Grundstein für meine Dissertation zum Thema Visualisierung von Molekulardynamikdaten.

[1] [doi] S. Grottel, G. Reina, J. Vrabec, and T. Ertl, „Visual Verification and Analysis of Cluster Detection for Molecular Dynamics,“ Visualization and Computer Graphics, IEEE Transactions on, vol. 13, iss. 6, pp. 1624-1631, 2007.
[Bibtex]
@article{Grottel2007nucleation,
  author = {Grottel, Sebastian and Reina, Guido and Vrabec, Jadran and Ertl, Thomas},
  journal={Visualization and Computer Graphics, IEEE Transactions on}, 
  number = 6,
  pages = {1624--1631},
  title = {{Visual Verification and Analysis of Cluster Detection for Molecular Dynamics}},
  volume = 13,
  year = 2007,
  doi={10.1109/TVCG.2007.70614},
}