{"id":26081,"date":"2023-02-22T16:05:02","date_gmt":"2023-02-22T15:05:02","guid":{"rendered":"https:\/\/www.altkomsoftware.com\/?p=26081"},"modified":"2025-08-12T14:43:31","modified_gmt":"2025-08-12T12:43:31","slug":"case-study-data-lake-w-chmurze-aws","status":"publish","type":"post","link":"https:\/\/stg.altkomsoftware.com\/pl\/blog\/case-study-data-lake-w-chmurze-aws\/","title":{"rendered":"Data Lake w chmurze AWS, czyli pewny spos\u00f3b na efektywn\u0105 analiz\u0119 danych firmowych\u00a0– Case Study"},"content":{"rendered":"\n

Data Lake rozwi\u0105zuje kilka wa\u017cnych problem\u00f3w zwi\u0105zanych z przechowywaniem i przetwarzaniem du\u017cych ilo\u015bci danych. Najwa\u017cniejsze z nich to: \u0142atwiejszy dost\u0119p i efektywniejsza analiza danych (w tym za pomoc\u0105 sztucznej inteligencji i uczenia maszynowego), skalowalne \u015brodowisko, integracja danych z r\u00f3\u017cnych \u017ar\u00f3de\u0142 oraz przetwarzanie w czasie rzeczywistym. Co wa\u017cne, Data Lake pomaga r\u00f3wnie\u017c zmniejszy\u0107 firmowe koszty zwi\u0105zane z danymi, wykorzystuj\u0105c ta\u0144sze i bardziej elastyczne rozwi\u0105zania do ich przechowywania oraz przetwarzania. W poni\u017cszym Case Study poka\u017cemy spos\u00f3b budowy rozwi\u0105zania Data Lake w chmurze AWS, dla klienta posiadaj\u0105cego du\u017ce ilo\u015bci nieuporz\u0105dkowanych danych.<\/strong><\/p>\n\n\n\n

\"Case<\/figure>\n\n\n\n

Czym jest \u015brodowisko Data Lake i dlaczego warto z niego korzysta\u0107?<\/h2>\n\n\n\n

\u015arodowisko Data Lake<\/strong> to zestaw us\u0142ug do przetwarzania oraz sk\u0142adowania du\u017cych ilo\u015bci zr\u00f3\u017cnicowanych danych z r\u00f3\u017cnych \u017ar\u00f3de\u0142. W Data Lake<\/strong> mo\u017cna przetwarza\u0107 dane ustrukturyzowane (np. dane tabelaryczne relacyjnych baz danych, pliki w formacie CSV), cz\u0119\u015bciowo ustrukturyzowane (np. pliki JSON, XML) oraz nieustrukturyzowane (pliki audio, video, zdj\u0119cia). Ogromn\u0105 zalet\u0105 jest to, \u017ce tzw. jeziora danych mog\u0105 przetwarza\u0107 dowolne wielko\u015bci danych \u2013 pocz\u0105wszy od ma\u0142ych wolumen\u00f3w, a sko\u0144czywszy na petabajtach danych.  <\/p>\n\n\n\n

Data Lake<\/strong> daje r\u00f3wnie\u017c mo\u017cliwo\u015b\u0107 wyboru cz\u0119stotliwo\u015bci przetwarzania danych. Zaczynaj\u0105c od klasycznych przetwarza\u0144 batchowych w cz\u0119stotliwo\u015bci raz dziennie, a\u017c do przetwarza\u0144 strumieniowych, kt\u00f3rych dane wynikowe pojawiaj\u0105 w czasie bliskim rzeczywistego od momentu wygenerowania danych wej\u015bciowych.<\/p>\n\n\n\n

Wniosek: umiej\u0119tne wykorzystanie Data Lake w firmie pozwala podejmowa\u0107 lepsze decyzje biznesowe \u2013 oparte o rzeczywiste dane, a nie wyobra\u017cenia.<\/b><\/p>\n\n\n\n

Case Study. Sytuacja wyj\u015bciowa klienta<\/h2>\n\n\n\n

Poni\u017cej przedstawimy dzia\u0142ania, kt\u00f3re wykonali\u015bmy dla jednego z naszych klient\u00f3w. Firma zg\u0142osi\u0142a si\u0119 do nas z problemem nieefektywnego przetwarzania i wykorzystywania danych ustrukturyzowanych, pozyskiwanych z kilku baz danych (w tym z popularnych baz relacyjnych, kilku aplikacji biznesowych i social medi\u00f3w). Nieuporz\u0105dkowane dane zaburza\u0142y rzeczywisty obraz klient\u00f3w, produkt\u00f3w i proces\u00f3w biznesowych firmy, a koszty repozytorium stale ros\u0142y.  <\/p>\n\n\n\n

Klient chcia\u0142 odzyska\u0107 kontrol\u0119 nad danymi i m\u00f3c wykorzystywa\u0107 je do analizy rynku oraz klient\u00f3w. Zak\u0142ada\u0142, \u017ce w przysz\u0142o\u015bci b\u0119dzie potrzebowa\u0142 otworzy\u0107 si\u0119 r\u00f3wnie\u017c na kolejne \u017ar\u00f3d\u0142a pozyskiwania danych, dlatego potrzebowa\u0142 skalowalnego rozwi\u0105zania, nad kt\u00f3rego kosztami b\u0119dzie m\u00f3g\u0142 zapanowa\u0107. Wyb\u00f3r chmury AWS<\/a><\/strong> wydawa\u0142 si\u0119 najlepsz\u0105 opcj\u0105.<\/p>\n\n\n\n

Budowa Data Lake w chmurze AWS<\/h2>\n\n\n\n

Do budowy naszego chmurowego rozwi\u0105zania<\/a><\/strong> wykorzystali\u015bmy us\u0142ugi typu serverless,<\/em> aby w przysz\u0142o\u015bci klient nie ponosi\u0142 dodatkowych koszt\u00f3w zwi\u0105zanych z ich obs\u0142ug\u0105 i utrzymaniem. Dzi\u0119ki temu jego firma p\u0142aci wy\u0142\u0105cznie za wykorzystany czas dzia\u0142ania us\u0142ug, a w razie potrzeby te skaluj\u0105 si\u0119 automatycznie. Nie ma potrzeby przejmowania si\u0119 wielko\u015bci\u0105 przetwarzanych danych ani liczb\u0105 u\u017cytkownik\u00f3w, kt\u00f3rzy chc\u0105 jednocze\u015bnie skorzysta\u0107 ze zbior\u00f3w utworzonego \u015brodowiska. <\/p>\n\n\n\n

Wszelkie dane w ramach zbudowanego rozwi\u0105zania przechowywane s\u0105 w us\u0142udze S3. Pozwala to na separacje us\u0142ug compute<\/em> od storage<\/em>, dzi\u0119ki czemu mo\u017cna niezale\u017cnie przetwarza\u0107 dane, a po wykonaniu przetwarza\u0144 te s\u0105 ca\u0142y czas dost\u0119pne. <\/p>\n\n\n\n

Dane z system\u00f3w \u017ar\u00f3d\u0142owych, kt\u00f3re przetwarzamy w zbudowanym rozwi\u0105zaniu chmurowym<\/strong>, s\u0105 zapisane w formie plik\u00f3w w bucketach w us\u0142udze S3. Mog\u0105 by\u0107 przetransportowane za pomoc\u0105 licznych narz\u0119dzi ETL, np. Informatica Power Center lub za pomoc\u0105 us\u0142ug AWS, takich jak AWS Glue<\/strong> czy DMS (Data Migration Service). Nie chcemy jednak skupia\u0107 si\u0119 na mechanizmach ETL przy opisywaniu rozwi\u0105zania, a na przetwarzaniu danych wewn\u0105trz chmury AWS<\/a><\/strong> w ramach \u015brodowiska Data Lake.<\/strong><\/p>\n\n\n\n

Poni\u017cszy rysunek pokazuje og\u00f3ln\u0105 architektur\u0119 rozwi\u0105zania:<\/strong><\/p>\n\n\n\n

\"Infografika<\/figure>\n\n\n\n

Porz\u0105dkowanie i oczyszczanie danych<\/h2>\n\n\n\n

Sytuacja klienta przedstawia\u0142a si\u0119 w taki spos\u00f3b: dane wej\u015bciowe by\u0142y nieuporz\u0105dkowane, niezoptymalizowane do zoptymalizowanych przetwarza\u0144 oraz wymaga\u0142y modyfikacji samej zawarto\u015bci danych. <\/p>\n\n\n\n

Do tego celu wykorzystali\u015bmy us\u0142ug\u0119 AWS Glue<\/strong><\/a>, kt\u00f3ra przetworzy\u0142a dane wej\u015bciowe \u2013 wykona\u0142a niezb\u0119dne transformaty, operacje oczyszczania danych, a tak\u017ce anonimizacji oraz eliminacji nieistotnych danych. Wynik zapisane zosta\u0142y w formacie posiadaj\u0105cym trzy cechy istotne z punktu widzenia dalszego przetwarzania danych w \u015brodowisku chmurowym Data Lake:<\/strong><\/p>\n\n\n\n

1. Dane zapisane w odpowiednim formacie<\/h3>\n\n\n\n

\u015arodowisko big data bardzo dobrze operuje na trzech formatach plik\u00f3w: Parquet, Avro i Orc.<\/em> S\u0105 to binarne formaty, zorientowane kolumnowo lub wierszowo, pozwalaj\u0105ce w r\u00f3\u017cnym stopniu na zmian\u0119 struktury plik\u00f3w oraz stopnia kompresji.  <\/p>\n\n\n\n

Podczas projektowania \u015brodowiska Data Lake<\/strong> nale\u017cy podj\u0105\u0107 decyzje o wyborze typu pliku. Nasze oparli\u015bmy o typ Parquet, gdy\u017c jest to plik zorganizowany kolumnowo i bardzo dobrze wsp\u00f3\u0142pracuje z silnikiem przetwarzania danych Spark, kt\u00f3ry jest wykorzystywany przez AWS Glue.<\/strong> Plik binarny zorganizowany kolumno oznacza, \u017ce ka\u017cda kolumna ma swoj\u0105 osobn\u0105 struktur\u0119, a odczyt warto\u015bci z konkretnej kolumny nie wymaga przeczytania ca\u0142ych wierszy czy blok\u00f3w pliku. Dodatkowo sam plik nie wymaga indeksowania. Istotne jest jednak, aby dane zapisywane do dalszego przetwarzania by\u0142y podzielone na mniejsze pliki, dzi\u0119ki temu b\u0119dzie mo\u017cna zr\u00f3wnolegli\u0107 przetwarzania.<\/p>\n\n\n\n

2. Dane skompresowane<\/h3>\n\n\n\n

Dane na S3 mo\u017cna z powodzeniem zapisa\u0107 w wersji skompresowanej, np. Gzip dla plik\u00f3w p\u0142askich CSV. Pliki \u015brodowiska big data posiadaj\u0105 dedykowane algorytmy kompresji i wyb\u00f3r le\u017cy po stronie projektanta. Warto jedynie pami\u0119ta\u0107, \u017ce skuteczniejsze algorytmy kompresji mog\u0105 zu\u017cywa\u0107 wi\u0119cej mocy przetwarzania do wykonania kompresji oraz dekompresji. Akurat w naszym przypadku u\u017cyty zosta\u0142 algorytm \u201csnappy\u201d<\/em>.<\/p>\n\n\n\n

3. Dane partycjonowane wed\u0142ug klucza<\/h3>\n\n\n\n

Wykorzystali\u015bmy struktur\u0119 katalog\u00f3w i podkatalog\u00f3w us\u0142ugi S3, aby w docelowym rozwi\u0105zaniu chmurowym<\/strong> uzyska\u0107 form\u0119 partycjonowania danych.  <\/p>\n\n\n\n

Po wykonaniu przetwarza\u0144 w AWS Glue <\/strong>otrzymali\u015bmy po\u017c\u0105dane struktury danych w S3. Dane te nale\u017ca\u0142o nast\u0119pnie skatalogowa\u0107, aby m\u00f3c je udost\u0119pni\u0107 w wygodny dla u\u017cytkownik\u00f3w spos\u00f3b. W tym celu wykorzystali\u015bmy us\u0142ug\u0119 AWS Glue Catalog<\/a><\/strong>. Stworzyli\u015bmy Glue Crawler, kt\u00f3ry skanuje pliki na S3 i buduje metadane (nazwy tabel, kolumn, typy danych, list\u0119 partycji), zapisuj\u0105c te informacje w Glue Catalogu. Dzi\u0119ki tym us\u0142ugom nie jest wymagana praktycznie \u017cadna r\u0119czna ingerencja operatora do wykonania opisu danych, kt\u00f3ra normalnie by\u0142aby bardzo czasoch\u0142onna. Je\u017celi w trakcie dzia\u0142ania naszego \u015brodowiska Data Lake <\/strong>dojdzie nowa tabela, automatycznie zmienia si\u0119 istniej\u0105ca struktura tabeli. Wystarczy uruchomi\u0107 utworzony Crawler, aby od\u015bwie\u017cy\u0107 struktur\u0119 w Glue Catalogu.<\/p>\n\n\n\n

Dane gotowe do udost\u0119pnienia u\u017cytkownikom<\/h2>\n\n\n\n

W tym momencie nasze dane by\u0142y ju\u017c gotowe do udost\u0119pnienia u\u017cytkownikom. Jako us\u0142ug\u0119 dost\u0119pow\u0105 wybrali\u015bmy AWS Athena<\/a>. Jest to us\u0142uga, kt\u00f3ra potrafi czyta\u0107 dane bezpo\u015brednio z plik\u00f3w S3 z wykorzystaniem informacji zawartych w AWS Glue Catalog<\/strong>. W Athena natywnym j\u0119zykiem do pracy nad danymi jest j\u0119zyk SQL. Us\u0142uga ta jest typu serverless, a wi\u0119c po raz kolejny nasz klient ponosi wy\u0142\u0105cznie koszt wykonanych zapyta\u0144, liczonych jako liczba przeskanowanych bajt\u00f3w danych w plikach.<\/p>\n\n\n\n

Aby dodatkowo obni\u017cy\u0107 koszt \u015brodowiska, skorzystali\u015bmy z w\u0142a\u015bciwo\u015bci organizacji plik\u00f3w na S3, czyli:<\/p>\n\n\n\n