[:de]Ich hab zwar schon vorher mal darüber geschrieben, aber hier der offizielle News-Artikel von der SFB-716-Webseite.

Zur interaktiven GPU-basierte Visualisierung großer Partikeldaten

20151112_vis2015_tutorialEnde Oktober fand in Chicago die größte Konferenz zum Thema der wissenschaftlichen Visualisierung statt – die IEEE VIS 2015. Hier treffen sich jährlich Experten aus aller Welt, um neueste Forschungsergebnisse zu präsentieren und aktuelle Herausforderungen zu diskutieren. Die Konferenz gilt mit über 1.100 Teilnehmern als die größte und wichtigste internationale Plattform in diesem Bereich.

In diesem Jahr organisierten Michael Krone und Guido Reina aus der Forschergruppe von Prof. Thomas Ertl gemeinsam mit Sebastian Grottel (TU Dresden) und Martin Falk (Universität Linköping, Schweden) ein Tutorial zur interaktiven GPU-basierten Visualisierung großer Partikeldaten. Hier wurden die im SFB716 entwickelten technischen Aspekte zur Erhaltung von Qualität und Interaktivität der Partikelvisualisierung erläutert, die mittlerweile als Stand der Technik akzeptiert sind. Zusätzlich wurde auf die erforderlichen Abstraktionen, die durch ständig wachsende Datensatzgrößen unabdingbar werden, eingegangen, sowohl im Kontext von Biomolekülen und Materialoberflächen als auch in der Visualisierung ganzer Zellen.

Mit mehr als 50 Teilnehmern war das Tutorial sehr gut besucht. Die dort ausgehändigten Materialien, wie Folien, Programmcode und Beispieldatensätze können hier heruntergeladen werden.

[:en]I have written about this before, but here is the official news reblogged from the SFB 716 website.

GPU-based interactive Visualization of Large Particle Data

20151112_vis2015_tutorialAt the end of October, the largest conference on scientific visualization – the IEEE VIS 2015 – took place in Chicago. This is an anual venue for experts from all over the world to present current research and discuss future challenges. With more than 1100 participants, the conference is considered the largest and most important international forum in this domain.

This year, Michael Krone and Guido Reina from the group of Prof. Ertl, together with Sebastian Grottel (TU Dresden) and Martin Falk (Linköping University, Sweden) organized a tutorial on interactive GPU-based Visualization of large particle data. They explained the technical aspects for ensuring high quality and interactivity of particle visualizaton, which are nowadays accepted as state of the art. Part of these techniques have been developed in the SFB716. Additionally, the presentation included details on abstractions required by continuosly growing data sets. Such abstractions were disucssed in the context of biomolecules and material surfaces as well as in the context of whole cell visualization.

The tutorial was very well received with over 50 participants. The course materials distributed there, including slides, source code and example data sets can be downloaded here.

[:]

Die ESF-geförderte Nachwuchsforschergruppe VICCI beschäftigte sich von 2012 bis Ende 2014 an der Fakultät Informatik der Technischen Universität Dresden mit der Entwicklung, Steuerung und Integration von cyber-physikalischen Systemen (CPS). Der Anwendungsbereich umfasst Smart Home-Umgebungen und die Unterstützung von Menschen im Ambient Assisted Living.

Mein Arbeitspaket für Visualisierung und visuelle Analyse hatte im Rahmen des Projekts drei wesentliche Aspekte untersucht und entsprechende Lösungen erarbeitet:

  • die visuelle Analyse komplexer, multi-dimensionaler, multimodaler,  dynamischer Raumzeit-Daten,
  • die Visualisierung in heterogener, mobiler und verteilter IT-Infrastruktur und
  • die Realisierung von Visualisierungssystemen und -Komponenten.

Heute schreibe ich über die visuelle Analyse komplexer Raumzeit-Daten.

teaser

Die visuelle Analyse dient der administrativen Übersicht über eines laufenden CPS aus Gründen der Sicherheit, als Hilfestellung während Entwicklung und des Betrieb des Systems. Im Besonderen sind außergewöhnliches (Fehl-)Verhalten und das Entstehen von emergenten Systemeigenschaften hierbei von Bedeutung. Da hierfür eine visuelle Exploration notwendig ist, dürfen nur minimal wenige vorherige Annahmen getroffen und einschränkende Darstellungsmetaphern genutzt werden. Beispielsweise, können bestimmte Daten, wie auf die Gelenke eines Roboterarms wirkenden Kräfte, effektiver Visualisiert werden, wenn diese im geometrischen Kontext dargestellt werden. Diese Annahme jedoch verringert die Allgemeingültigkeit der Visualisierung.

Ausgehend von einer entsprechenden Anforderungsanalyse wurde daher eine grundlegende Visualisierung erarbeitet, welche koordinierten Ansichten, zeit-kontinuierlichen Scatterplot-Matrizen, zeit-kontinuierlichen parallelen-Koordinaten-Plots und zeitliche Heatmaps nutzt um die im CPS erhobenen Daten direkt darstellt. Diese Anwendung ist in der Lage generische multidimensionale Daten in Echtzeit interaktiv darzustellen und bietet somit eine hervorragende Möglichkeit für erste visuelle Analyseschritte. Das erarbeitete System wurde in der Fachzeitschrift Computer Graphics Forum, dem führenden europäischen Visualisierungsjournal, veröffentlicht. Im Rahmen der Evaluierung wurden die Daten des CPS live dargestellt und in Diskussion mit dem Publikum diskutiert. Das CPS wurde durch die weiteren direkt vor Ort und in entfernten Laboren betriebenen Demonstratoren und Sensoren gebildet.

[bibtex key=Grottel2014HDTraj]
DOI: 10.1111/cgf.12352

Diese Visualisierung wurde als Plugin für das Visualisierungssystem MegaMol realisiert. Der Quellcode dieses Plugins kann frei hier heruntergeladen und entsprechend der beigelegten Lizenz verwendet werden:

hdtraj.mmplugin.ziphdtraj.mmplugin.zip Multi-Dimensional Trajectory Visualization MegaMol Plugin
[99.7 KB; MD5: 0a6eaf465318b0f256ecfdf8a8b4ad50; Mehr Info]

Um das MegaMol-System und das Plugin zu kompilieren, nutzen Sie die entsprechenden Anleitungen auf der MegaMol-Webseite.The ESF-funded junior research group VICCI dealt from 2012 until the end of 2014 with the development, control and integration of cyber physical systems (CPS) at the Faculty of Computer Science of the Dresden University of Technology. The scope includes smart home environments and supporting people in the ambient assisted living.

My work package for visualization and visual analysis has within the project investigated three essential aspects and corresponding solutions:

  • visual analysis of complex, multi-dimensional, multimodal, dynamic space-time data,
  • visualization in heterogeneous, mobile and distributed IT infrastructure, and
  • implementation of visualization systems and components.

Today I am writing about the visual analysis of complex space-time data.

teaser

Visual analysis serves as administrative overview of a current CPS, mainly for security reasons, as assistance during development, and the operation of the system. Particularly interesting are out-of-the-ordinary (erroneous) behavior and the formation of emergent system properties. For this a visual exploration with minimal previous assumptions is necessary. For example, certain data, like forces acting upon joints of a robot arm, be visualized more effectively by representations in geometrical context. This assumption however reduced the generality of visualization.

I thus developed a corresponding visualization of data collected by the CPS using coordinated views of continuous-time scatter plots, continuous-time parallel coordinate plots and temporal heatmaps. This application is capable of interactive real-time representation of generic multi-dimensional data and offers the means for a visual analysis. The developed system was published in the journal Computer Graphics Forum, the leading European Journal on Visualization. In the context of the evaluation, live data from our laboratory CPS war visualized, presented and discussed with a broad audience.

[bibtex key=Grottel2014HDTraj]

DOI: 10.1111/cgf.12352

This visualization was implemented as a plugin for the MegaMol visualization system. The source code can be downloaded freely and can be used according to the enclosed License:

hdtraj.mmplugin.ziphdtraj.mmplugin.zip Multi-Dimensional Trajectory Visualization MegaMol Plugin
[99.7 KB; MD5: 0a6eaf465318b0f256ecfdf8a8b4ad50; Mehr Info]

To compile the MegaMol system and the plugin, use the appropriate Instructions on the MegaMol website.

Die letzte Woche war wieder sehr arbeitsreich. Ist irgendwie auch nichts neues mehr. Naja.

Zusammen mit zwei Kollegen habe ich eine Einreichung zu einer Konferenz erarbeitet. Ein schönes Paper über eine Visualisierungstechnologie. Natürlich kann ich mehr noch nicht sagen solange das Paper nicht angenommen ist. Mal schauen. Wir haben gut gearbeitet und ich bin ganz zuversichtlich. Ok. Das war ich auch bei den meisten Paper die dann abgelehnt wurden. Wie dem auch sei.

Außerdem gab es dann letzte Woche noch eine gute Nachricht. Das Paper eines Kollegen, bei dem ich beteiligt war, wurde auf der Multimedia Modelling 2015 angenommen:
[bibtex key=spehr2015mmm]
Ich will mich nicht mit fremden Federn schmücken. Die Idee, die Umsetzung, das System und das Paper stammt alles zu den größten Teilen von meinem Kollegen Marcel Spehr. Tolle Leistung. Alles was ich gemacht habe war dabei zu stehen, hier und da etwas mit anzupacken oder eine Richtung vorzugeben, und dann natürlich beim eigentlichen Schreiben des Papers zu unterstützen.

System-Paper find ich toll. Es sind Arbeiten die über einfache Software in der Forschung hinausgehen. Diese Systeme, dieses hier und mein MegaMol, haben potential wirklich nützlich zu bleiben.

Last week was full of work. Somehow, I write something like this every week. Well…

Together with two colleagues I worked on a submission for a conference last week. A nice paper about a visualization technology. Of course, I cannot say more about it as long as it is not accepted for publication yet. We will see. We did a good job and I am confident. Well, I was confident with most papers that got rejected too. Whatever.

Additionally, there was good news last week. The paper of another colleague of mine, with which I was involved, was accepted for publication at the Multimedia Modelling 2015:
[bibtex key=spehr2015mmm]
I don’t want to take credit for other’s achievements. The idea, the implementation, the system and the publication, all of that was mostly the work of my colleague Marcel Spher. Great work. All I did was helping out with some details, pointing in some directions and helping with writing the paper itself.

I like system papers. It is work beyond simple software used in research. These system, the one presented here and my MegaMol, have the potential to stay useful for a long time.

[:de]Heute gibt es auch nur eine kurze Notiz zum Thema MegaMol.

Es ist vollbracht! Das System Paper zu MegaMol selbst ist veröffentlicht:

[bibtex key=grottel2014megamol]
Doi: 10.1109/TVCG.2014.2350479

Die harte Arbeit hat sich gelohnt. MegaMol ist damit nun im IEEE Journal „Transactions on Visualization and Computer Graphics“, kurz TVCG, veröffentlich, dem Top-Journal in der Visualisierungs-Community. Ich muss zugeben, ich bin schon ziemlich stolz drauf.

Mal sehen wie es jetzt weiter geht. An sich wäre es schon möglich und gut MegaMol nun tatsächlich weiter zu bringen und zu pflegen als bisher. Ich würde das gerne machen. Aber natürlich hängt es von meiner beruflichen Zukunft ab in wie weit ich das können werde. Die Software hat so viel Potential. *hach*[:en]Today, I am only writing a short note on MegaMol.

We have done it! We published the MegaMol system as systems paper:

[bibtex key=grottel2014megamol]
Doi: 10.1109/TVCG.2014.2350479

All the hard work really paid off. MegaMol has now been published in the IEEE Journal “Transactions on Visualization and Computer Graphics”, in short TVCG. That is the top journal of the visualization community. I have to admit, I am pretty proud.

And I am curious what will come next. I would like to continue working with MegaMol, and to help to evolve the software even further. But, of course, this depends on my future employment. MegaMol has such a potential. *sigh*[:]

[bibshow] Heute möchte ich über eine meiner neusten wissenschaftlichen Publikationen sprechen: Visualisierung multi-dimensionaler Trajektorien. Die Publikation ist in der Wiley Online Library elektronisch verfügbar (http://onlinelibrary.wiley.com/doi/10.1111/cgf.12352/abstract): Visual Analysis of Trajectories in Multi-Dimensional State Spaces [bibcite key=Grottel2014HDTraj].

Zunächst einmal, was ist eine multi-dimensionale Trajektorie? Wir untersuchten Zustände komplexer System, wie automatisierte Systeme oder Roboter. Jedes Element in so einem System, z.B. ein Motor oder ein Sensor, besitzt mehrere Zustandsvariablen, wie gemessene Temperator oder Rotationskraft des Motors. Diese Variablen können sogar vektoriell sein. Aber selbst wenn sie nur skalar sind, da System ist üblicherweise aus vielen solchen Elementen zusammengesetzt. Der Zustand des Gesamtsystems ist daher immer der Vektor aller Zustandsvariablen aller Elemente. Die Systeme die wir untersucht hatten haben Vektoren mit mehreren Duzend Variablen. Diese Größenordnung benennt man mit multi-dimensional, im Gegensatz zu hoch-dimensional, womit Räume mit mehreren hundert oder mehreren tausend Dimensionen gemeint sind. Der Zustand eines Systems als Ganzes kann nun als Punkt in dem multi-dimensionalen Zustandsraum interpretiert werden. Allerdings sind unsere Systeme nicht statisch, sondern werden in Echtzeit überwacht. Die Werte der Zustandsvariablen ändern sich, z.B. steigen Temperaturen und Motoren drehen sich. Der Zustandspunkt des System bewegt sich also durch den Zustandsraum. Der Pfad den er dabei nimmt ist seine Trajektorie.

md_trajectory_teaser

Unser Ansatz zur Visualisierung dieser Daten basiert auf klassischen Visualisierungmetaphern der multi-dimensionalen Datenvisualisierung: nämlich Scatterplot Matrizen und Parallele-Koordinaten-Plots. Wir nutzen zusätzliche Darstellungen, z.B. temporale Heat-Maps. Der Hauptaspekt unserer Arbeit ist jedoch die Art und Weise wie wir diese Diagramme berechnen. Normallerweise würde man die multi-dimensionalen Datenpunkte einfach in den Diagrammen als Punkte oder Linienzüge einzeichnen. Wir, jedoch, nutzen die Art der Daten aus, nämlich die zeitliche Kontinuität. Wir integrieren die Daten über die Zeit um kontinuierliche Diagramme zu erzeugen. Diese Arbeit basiert auf Vorarbeiten kontinuierlicher Scatterplots und Paralleler-Koordinaten-Plot, die räumlich integrieren. Wir haben diese Integration auf die zeitliche Dimension übertragen.

md_trajectory_compare

[bibshow] Today I want to talk about one of my newest published research papers, about visualization of multi-dimensional trajectories. It is electronically available here at the Wiley Online Library (http://onlinelibrary.wiley.com/doi/10.1111/cgf.12352/abstract): Visual Analysis of Trajectories in Multi-Dimensional State Spaces [bibcite key=Grottel2014HDTraj].

First off, what is multi-dimensional trajectory? We were investigating the state of complex systems, like automation system or robotics. Each element of such a system, e.g. a robotic motor or a sensor, holds several state variables, like sensed temperature or rotation moment applied by the motor. These variables might even be vectors. But even if they are only scalar values, the system is constituted from several dozens of such elements. Thus, the state of the whole system is always a vector containing the state variables of all components. For the systems we investigated, these vectors are of the size of severs tens or variables. This order or magnitude is referred to by the term multi-dimensional, compared to high-dimensional, which refers to data with several hundred or thousand dimensions. The whole system state can be understood as point in the multi-dimensional state space. Now, our system is not static, but is monitored in real time. Thus the values of the state variables change. Temperatures rise and motors move. This can be interpreted as the point of the system state moving through the state space. This movement path is what we call the trajectory.

md_trajectory_teaser

Our approach on visualizing this trajectory was using classical visualization metaphors on multi-dimensional data visualization, namely scatterplot matrices and parallel coordinate plots. We supplemented these plots with additional views, like a temporal heat map. The main aspect of our work was the technique we used to generate these plots. Normally, the sample points of the data will be simply drawn into the plots as points or poly-lines. We, however, took the nature of the data into account, which is the temporal continuity of the discretely sampled signal. We constructed an integration concept for continuous plots in this respect. Our work was based on previous work on continuous scatterplots and parallel coordinate plots, which used spatially continuous interpolation. We adapted this concept to continuous-time interpolation.

 md_trajectory_compare

[bibshow] Im Zeitraum 2007 bis 2012 war ich am Visualisierungsinstitut der Universität Stuttgart, bzw. am Institut für Visualisierung und Interaktive Systeme. Der Kernbereich meiner Arbeit war die Forschung und Entwicklung von Visualisierungen für Datensätze aus Molekulardynamiksimulationen, finanziert durch den Sonderforschungsbereich 716 der DFG. Einerseits ging es darum mit immer größeren Datensatzen umgehen zu können und andererseits ging es darum eine effiziente visuelle Analyse zu unterstützen, indem sinnvolle Darstellungen von den Originaldaten abgeleitet werden. 2007 stellte ich auf der IEEE VIS Konferenz in Sacramento hierzu meine erste Arbeit vor, dieses Paper mit dem Titel „Visual Verification and Analysis of Cluster Detection for Molecular Dynamics“ [bibcite key=Grottel2007nucleation]. In dieser Arbeit geht es darum Algorithmen zu Detektion von Molekülcluster, z. B. Vorläufer von Tropfen in Gasen, zu untersuchen. Jeder solcher Algorithmus hat seine Schwächen und Stärken, je nach Anwendungsfall, und so spielt die visuelle Untersuchung der Ergebnisses eine wichtige Rolle. Vor allem die Stabilität der gefundenen Cluster über die Zeit, sowie ihre Interaktion sind hier ausschlaggebend.

Daher habe wir (meine Kollegen und ich) in diesem Paper zunächst unterschiedliche Definitionen aufgestellt, um wichtige Teile des Datensatzen zu identifizieren. Die vielleicht wichtigste ist die der „Flussgruppe“: eine Gruppe von Molekülen, die zusammen, zu einem Zeitpunkt einen Molekülcluster verläßt und zu einem späteren Zeitpunkt zusammen, gleichzeitig einem zweiten gemeinsamen Molekülcluster wieder beitreten. Es sind also alle Moleküle die gemeinsam, gleichzeitig den Cluster wechseln. Diese Definition erlaubt, visualisiert in unterschiedlichen Ansichten, die Stabilität eines Algorithmus zur Clustererkennung zu beurteilen und sogar unterschiedliche Algorithmen miteinander zu vergleichen. Diese Arbeit war dann auch der Grundstein für meine Dissertation zum Thema Visualisierung von Molekulardynamikdaten.