Elastyczna biblioteka do tworzenia grafów przetwarzania danych wspomagających analizę zanieczyszczeń powietrza
Rozmiar pliku: 13.77 MB
Praca magisterska obroniona w PJATK.
Tytuł: Elastyczna biblioteka do tworzenia grafów przetwarzania danych wspomagających analizę zanieczyszczeń powietrza
Autor: Wojciech Bagiński
Promotor: dr inż. Mariusz Trzaska
Streszczenie:
Niniejsza praca omawia praktyczny problem, z jakim borykają się analitycy zajmujący przetwarzaniem danych związanych z modelowaniem zanieczyszczeń powietrza. W dziedzinie tej nie istnieje utrwalony standard narzędziowy, za pomocą którego można całościowo realizować analizy danych atmosferycznych. Badacze korzystają z niespójnego zbioru wielu rozdrobnionych narzędzi i skryptów w różnych językach programowania, łączonych doraźnie w większe części przy użyciu poleceń terminalowych. Niedostateczna dokumentacja, niepopularne lub przestarzałe technologie, konwencje i formaty danych powodują, że czasem uzyskanie nawet mało skomplikowanych koncepcyjnie wyników wiąże się z zaangażowaniem niewspółmiernie dużego zespołu osób o różnych kompetencjach technicznych. W pracy przedstawiono propozycję rozwiązania w postaci biblioteki w języku Julia oraz uzupełniającego pakietu dla programu Node-RED, które wspólnie umożliwiają tworzenie przejrzystych i dających się ponownie wykorzystać wizualnych skryptów do analizy danych atmosferycznych. Rozwiązanie oparte na grafowym paradygmacie przetwarzania danych łączy w sobie dużą elastyczność i zakres stosowania, a jednocześnie może być zrozumiałe także dla mniej technicznie zorientowanych osób biorących udział w procesach analiz. Autor jest przekonany, że zaproponowanie takiego rozwiązania dla danych powstających w wyniku modelowania atmosfery przyniesie korzyści w postaci łatwości tworzenia obliczeń i analiz, usprawnienia dzielenia się skryptami między członkami zespołów, oraz uzyskania przejrzystości powtarzalnych procesów.
Słowa kluczowe: przetwarzanie oparte na przepływie danych, algorytm Kahna, DAG, skierowany graf acykliczny, sortowanie topologiczne