Skip to main content
Erschienen in: Datenbank-Spektrum 3/2021

12.11.2021 | Community

The Collaborative Research Center FONDA

verfasst von: Ulf Leser, Marcus Hilbrich, Claudia Draxl, Peter Eisert, Lars Grunske, Patrick Hostert, Dagmar Kainmüller, Odej Kao, Birte Kehr, Timo Kehrer, Christoph Koch, Volker Markl, Henning Meyerhenke, Tilmann Rabl, Alexander Reinefeld, Knut Reinert, Kerstin Ritter, Björn Scheuermann, Florian Schintke, Nicole Schweikardt, Matthias Weidlich

Erschienen in: Datenbank-Spektrum | Ausgabe 3/2021

Einloggen

Aktivieren Sie unsere intelligente Suche, um passende Fachinhalte oder Patente zu finden.

search-config
loading …

Abstract

Today’s scientific data analysis very often requires complex Data Analysis Workflows (DAWs) executed over distributed computational infrastructures, e.g., clusters. Much research effort is devoted to the tuning and performance optimization of specific workflows for specific clusters. However, an arguably even more important problem for accelerating research is the reduction of development, adaptation, and maintenance times of DAWs. We describe the design and setup of the Collaborative Research Center (CRC) 1404 “FONDA -– Foundations of Workflows for Large-Scale Scientific Data Analysis”, in which roughly 50 researchers jointly investigate new technologies, algorithms, and models to increase the portability, adaptability, and dependability of DAWs executed over distributed infrastructures. We describe the motivation behind our project, explain its underlying core concepts, introduce FONDA’s internal structure, and sketch our vision for the future of workflow-based scientific data analysis. We also describe some lessons learned during the “making of” a CRC in Computer Science with strong interdisciplinary components, with the aim to foster similar endeavors.

Sie haben noch keine Lizenz? Dann Informieren Sie sich jetzt über unsere Produkte:

Springer Professional "Wirtschaft+Technik"

Online-Abonnement

Mit Springer Professional "Wirtschaft+Technik" erhalten Sie Zugriff auf:

  • über 102.000 Bücher
  • über 537 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Maschinenbau + Werkstoffe
  • Versicherung + Risiko

Jetzt Wissensvorsprung sichern!

Springer Professional "Wirtschaft"

Online-Abonnement

Mit Springer Professional "Wirtschaft" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 340 Zeitschriften

aus folgenden Fachgebieten:

  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Finance + Banking
  • Management + Führung
  • Marketing + Vertrieb
  • Versicherung + Risiko




Jetzt Wissensvorsprung sichern!

Springer Professional "Technik"

Online-Abonnement

Mit Springer Professional "Technik" erhalten Sie Zugriff auf:

  • über 67.000 Bücher
  • über 390 Zeitschriften

aus folgenden Fachgebieten:

  • Automobil + Motoren
  • Bauwesen + Immobilien
  • Business IT + Informatik
  • Elektrotechnik + Elektronik
  • Energie + Nachhaltigkeit
  • Maschinenbau + Werkstoffe




 

Jetzt Wissensvorsprung sichern!

Weitere Produktempfehlungen anzeigen
Literatur
1.
Zurück zum Zitat Dean J, Ghemawat S (2008) Mapreduce: Simplified data processing on large clusters. Commun ACM 51(1):72–77CrossRef Dean J, Ghemawat S (2008) Mapreduce: Simplified data processing on large clusters. Commun ACM 51(1):72–77CrossRef
2.
Zurück zum Zitat Deelman E, Gannon D, Shields M, Taylor I (2009) Workflows and e‑science: an overview of workflow system features and capabilities. Future Gener Comput Syst 25(5):528–540CrossRef Deelman E, Gannon D, Shields M, Taylor I (2009) Workflows and e‑science: an overview of workflow system features and capabilities. Future Gener Comput Syst 25(5):528–540CrossRef
3.
Zurück zum Zitat Deelman E, Peterka T, Altintas I, Carothers CD, Dam KK van, Moreland K, Parashar M, Ramakrishnan L, Taufer M, Vetter J (2017) The future of scientific workflows. Int J High Perform Comput Appl 32(1):159–175CrossRef Deelman E, Peterka T, Altintas I, Carothers CD, Dam KK van, Moreland K, Parashar M, Ramakrishnan L, Taufer M, Vetter J (2017) The future of scientific workflows. Int J High Perform Comput Appl 32(1):159–175CrossRef
4.
Zurück zum Zitat Goderis A, De Roure D, Goble C, Bhagat J, Cruickshank D, Fisher P, Michaelides D, Tanoh F (2008) Discovering scientific workflows: the myexperiment benchmarks. IEEE Transactions on Automation Science and Engineering. Goderis A, De Roure D, Goble C, Bhagat J, Cruickshank D, Fisher P, Michaelides D, Tanoh F (2008) Discovering scientific workflows: the myexperiment benchmarks. IEEE Transactions on Automation Science and Engineering.
6.
Zurück zum Zitat Leipzig J (2017) A review of bioinformatic pipeline frameworks. Brief Bioinform 18(3):530–536 Leipzig J (2017) A review of bioinformatic pipeline frameworks. Brief Bioinform 18(3):530–536
8.
Zurück zum Zitat Liu J, Pacitti E, Valduriez P, Mattoso M (2015) A survey of data-intensive scientific workflow management. J Grid Comput 13(4):457–493CrossRef Liu J, Pacitti E, Valduriez P, Mattoso M (2015) A survey of data-intensive scientific workflow management. J Grid Comput 13(4):457–493CrossRef
9.
Zurück zum Zitat Ren K, Kwon Y, Balazinska M, Howe B (2013) Hadoop’s adolescence: an analysis of hadoop usage in scientific workloads. PVLDB.CrossRef Ren K, Kwon Y, Balazinska M, Howe B (2013) Hadoop’s adolescence: an analysis of hadoop usage in scientific workloads. PVLDB.CrossRef
10.
Zurück zum Zitat Silva R da, Filgueira R, Pietri I, Jiang M, Sakellariou R, Deelman E (2017) A characterization of workflow management systems for extreme-scale applications. Future Gener Comput Syst 75:228–238CrossRef Silva R da, Filgueira R, Pietri I, Jiang M, Sakellariou R, Deelman E (2017) A characterization of workflow management systems for extreme-scale applications. Future Gener Comput Syst 75:228–238CrossRef
11.
Zurück zum Zitat Starlinger J, Brancotte B, Cohen-Boulakia S, Leser U (2014) Similarity search for scientific workflows. PVLDB.CrossRef Starlinger J, Brancotte B, Cohen-Boulakia S, Leser U (2014) Similarity search for scientific workflows. PVLDB.CrossRef
12.
Zurück zum Zitat Zhu Z (2017) Change detection using landsat time series: A review of frequencies, preprocessing, algorithms, and applications. Sprs J Photogramm Remote Sens 130:370–384CrossRef Zhu Z (2017) Change detection using landsat time series: A review of frequencies, preprocessing, algorithms, and applications. Sprs J Photogramm Remote Sens 130:370–384CrossRef
Metadaten
Titel
The Collaborative Research Center FONDA
verfasst von
Ulf Leser
Marcus Hilbrich
Claudia Draxl
Peter Eisert
Lars Grunske
Patrick Hostert
Dagmar Kainmüller
Odej Kao
Birte Kehr
Timo Kehrer
Christoph Koch
Volker Markl
Henning Meyerhenke
Tilmann Rabl
Alexander Reinefeld
Knut Reinert
Kerstin Ritter
Björn Scheuermann
Florian Schintke
Nicole Schweikardt
Matthias Weidlich
Publikationsdatum
12.11.2021
Verlag
Springer Berlin Heidelberg
Erschienen in
Datenbank-Spektrum / Ausgabe 3/2021
Print ISSN: 1618-2162
Elektronische ISSN: 1610-1995
DOI
https://doi.org/10.1007/s13222-021-00397-5

Weitere Artikel der Ausgabe 3/2021

Datenbank-Spektrum 3/2021 Zur Ausgabe

Community

News

Premium Partner