Pozyskiwanie danych w ramach białego wywiadu z użyciem technik informatycznych
Rozmiar pliku: 1.93 MB
Praca magisterska obroniona w PJATK.
Tytuł: Pozyskiwanie danych w ramach białego wywiadu z użyciem technik informatycznych
Autor: Bartosz Pawlak
Promotor: dr inż. Mariusz Trzaska
Streszczenie:
Praca dotyczy istotnego problemu związanego z pozyskiwaniem danych z zasobów internetowych w ramach białego wywiadu. Dotychczasowe systemy realizujące takie zadania nie umożliwiają w swoich ramach tworzenia skomplikowanych scenariuszy. Istniejące rozwiązania web scrapingu wolno adaptują się do szybko zmieniających się wyzwań stawianych przez rozwój technologii. Stan ten powoduje konieczność stworzenia elastycznego systemu, którego elementy pozwolą na dynamiczną adaptację do zmiennego środowiska wymiany informacji przez sieć.
W związku z tym w ramach pracy wykonano prototyp systemu umożliwiającego pozyskiwanie danych ze stron internetowych. Umożliwia on tworzenie zaawansowanych scenariuszy dotyczących pozyskiwania danych za pomocą webowego interfejsu kreatora scenariuszy. Klient prototypu został zaimplementowany z wykorzystaniem technologii Angular oraz TypeScript. Stworzone scenariusze wykonują się po stronie API, które wykorzystuje bibliotekę zaprojektowaną w ramach prototypu. API oraz biblioteka zostały stworzone z wykorzystaniem technologii .NET Core oraz C#. Zadaniem prototypu jest wykonanie metod zapisanych w scenariuszu i zwrócenie ich wyniku w postaci dokumentu JSON. Zastosowane mechanizmy i abstrakcje stanowią o otwartości aplikacji na zmiany. Działanie systemu zostało przetestowane za pomocą poprawnego wykonania scenariuszy prototypowych. Aplikacja umożliwia komunikację z zasobami na poziomie żądań TCP/IP i poprzez skonteneryzowaną przeglądarkę internetową.