Mariusz Trzaska PJATK (public)
Publiczna strona poświęcona mojej działalności w PJATK

Elastyczna biblioteka do tworzenia grafów przetwarzania danych wspomagających analizę zanieczyszczeń powietrza

Mariusz MGR

Pobierz

Rozmiar pliku: 13.77 MB

Praca magisterska obroniona w PJATK.

Tytuł: Elastyczna biblioteka do tworzenia grafów przetwarzania danych wspomagających analizę zanieczyszczeń powietrza

Autor: Wojciech Bagiński

Promotor: dr inż. Mariusz Trzaska

Streszczenie:

Niniejsza praca omawia praktyczny problem, z jakim borykają się analitycy zajmujący przetwarzaniem danych związanych z modelowaniem zanieczyszczeń powietrza. W dziedzinie tej nie istnieje utrwalony standard narzędziowy, za pomocą którego można całościowo realizować analizy danych atmosferycznych. Badacze korzystają z niespójnego zbioru wielu rozdrobnionych narzędzi i skryptów w różnych językach programowania, łączonych doraźnie w większe części przy użyciu poleceń terminalowych. Niedostateczna dokumentacja, niepopularne lub przestarzałe technologie, konwencje i formaty danych powodują, że czasem uzyskanie nawet mało skomplikowanych koncepcyjnie wyników wiąże się z zaangażowaniem niewspółmiernie dużego zespołu osób o różnych kompetencjach technicznych. W pracy przedstawiono propozycję rozwiązania w postaci biblioteki w języku Julia oraz uzupełniającego pakietu dla programu Node-RED, które wspólnie umożliwiają tworzenie przejrzystych i dających się ponownie wykorzystać wizualnych skryptów do analizy danych atmosferycznych. Rozwiązanie oparte na grafowym paradygmacie przetwarzania danych łączy w sobie dużą elastyczność i zakres stosowania, a jednocześnie może być zrozumiałe także dla mniej technicznie zorientowanych osób biorących udział w procesach analiz. Autor jest przekonany, że zaproponowanie takiego rozwiązania dla danych powstających w wyniku modelowania atmosfery przyniesie korzyści w postaci łatwości tworzenia obliczeń i analiz, usprawnienia dzielenia się skryptami między członkami zespołów, oraz uzyskania przejrzystości powtarzalnych procesów.

Słowa kluczowe: przetwarzanie oparte na przepływie danych, algorytm Kahna, DAG, skierowany graf acykliczny, sortowanie topologiczne