Czy dane mogą rozwiązywać problemy biznesowe?
Detektyw danych w akcji: rozmowa z Darkiem o codziennej pracy z ETL
Czy kiedykolwiek zastanawiałeś/-zastanawiałaś się, jak dane wpływają na Twój biznes? Jakie historie kryją się w liczbach i tabelach? W tym wywiadzie rozmawiamy z Darkiem, doświadczonym ekspertem ETL, który niczym detektyw odkrywa sekrety danych i wykorzystuje je do rozwiązywania problemów biznesowych. Odkrywamy tajniki jego pracy, wyzwania, z jakimi się spotyka i jego wizję przyszłości ETL.
Po co te dane?
Dariusz zajmuje się tworzeniem zautomatyzowanych procesów migracyjnych i migracji danych. Jak sam mówi, jego praca polega na analizie danych, ich przygotowaniu i stworzeniu automatu, który przeniesie je z jednego systemu do drugiego. Jednak tutaj ta istotna rola się nie kończy. Praca ETL Developera to przede wszystkim wnikliwa analiza, rzetelne poszukiwanie informacji i dostosowywanie rozwiązań do specyficznych potrzeb biznesu. Zamiast tropić przestępców, on analizuje dane, szukając w nich luk i nieścisłości. To kluczowy etap w procesie migracji danych, który pozwala na zapewnienie ich jakości i bezpieczeństwa.
Darku, jak wygląda Twoja codzienna praca? Czym się zajmujesz?
Zajmuję się tworzeniem zautomatyzowanych procesów migracyjnych i migracji danych. Ale same te procesy to tylko jakby tutaj jest wisienka na torcie, ponieważ głównie na co dzień można nazwać mnie detektywem… Bo praca z ETL polega głównie na analizie danych,na przygotowaniu tych danych a dopiero potem na samym stworzeniu tutaj automatu, który te dane przeniesie czy to z jednego systemu do drugiego czy po prostu z jakiegoś zewnętrznego źródła. Czy to będzie plik, czy cokolwiek innego.
W takim razie biorąc pod uwagę Twoje ogromne doświadczenie,czy uważasz, że dane rzeczywiście mogą rozwiązywać problemy biznesowe?
Mogą zdecydowanie ułatwić ich rozwiązywanie, bo pokazują nam obraz jaki mamy w firmie. Czy to są dane produkcyjne, które wskazują na to, jak jesteśmy efektywni,ile wyprodukowaliśmy. Czy to są na przykład dane finansowe, które pozwalają nam kontrolować finanse finanse tutaj w firmie.
Czy to są jakiekolwiek inne dane, które za pomocą raportów możemy tutaj przekazać użytkownikowi końcowemu. No to jak najbardziej dane mogą pomóc w rozwiązywaniu tych problemów i jakby pokazać to co tak naprawdę mamy w systemie. No danych się tutaj nie oszuka. Coś tam może być nie tak w systemie, no to na danych od razu to wyjdzie.
Czyli tak poniekąd trochę odpowiedziałeś na kolejne moje pytanie, ale może mógłbyś przytoczyć jakieś konkretne przykłady tego, co udaje Ci się uzyskać dzięki pracy z danymi?
Dobre pytanie! Jeśli mówimy o tym co jest to dla mnie to na pewno cierpliwość! Nie wiem, czy o to dokładnie pytałaś, ale trzeba być na pewno cierpliwym. A co daje praca z danymi? No na pewno satysfakcję też, bo niejednokrotnie jest to dość nierówna walka. Dane nie są czasem dobrej jakości, więc uzyskanie takich czystych, przejrzystych danych na pewno sporo czasu zajmuje i wymaga sporej ilości pracy. Jak już uda nam się stworzenie takiego automatu, który działa w 100 procentach poprawnie, jest odporny na wszelkiego rodzaju, tutaj aspekty ludzkie (tutaj z tym najwięcej wiąże się błędów niestety), no to jak najbardziej daje to dużą satysfakcję!
A w takim razie jak często spotykasz się z problemami stricte związanymi z jakością danych? Jakiej rangi generalnie są to problemy?
Tutaj jeśli chodzi o problemy z jakością no to jest moja codzienność niestety. No i to są różnorakie problemy: od po prostu braku tych danych, gdzie na przykład w źródle danych po prostu nie mamy pewnych informacji, musimy skądś je pozyskać, czy to na przykład w potocznym słownictwie pociągnąć kogoś za język, gdzie i skąd mam to wziąć i czy na przykład poprosić o uzupełnienie tych danych. Czy to na przykład zły format danych – no bo tutaj format musi być odpowiedni, żeby te dane można było zmigrować bądź w jakikolwiek inny sposób przetworzyć. Tutaj no jest to bardzo często, że ta jakość pozostawia wiele do życzenia.
A co Cię najbardziej boli w pracy z danymi? Z czym się mierzysz?
Na pewno ten brak danych, który się pojawia tutaj w związku z tą jakością, gdzie rzeczywiście trzeba tych danych szukać. Dostaję zadanie, żeby zmigrować konkretne dane do konkretnego źródła, a okazuje się w procesie, że tych danych brakuje.Trzeba szukać, szukać, dopytywać, spotykać się z ludźmi. To nie jest takie proste jakby mogło się wydawać, że biorę jedno źródło, czy tam kilka źródeł, wyciągam z nich dane, przerzucam do drugiego systemu… no tak kolorowo to nie wygląda. Więc ten brak danych najwięcej problemów mi stwarza.
Jako taki detektyw danych, pewnie śledzisz jakieś trendy. Czy możesz się podzielić swoimi przemyśleniami na temat przyszłości ETL i jak to będzie ewoluować w najbliższych latach?
Myślę, że jak wszystko, co jest związane z IT będzie to jakoś związane ze sztuczną inteligencją. Chociaż to jest jeden z niewielu działów, który moim zdaniem nie zostanie w 100 procentach przez sztuczną inteligencją zastąpiony. Ze względu chociażby na to szukanie i tą jakość danych. Sztuczna inteligencja weźmie z jednego źródła przerzuci bezpośrednio do drugiego. Może jakoś tam je obrobi po drodze. No ale czy te dane będą zgodne w 100 procentach? No nie sądzę. Tutaj jest jest niezbędny czynnik ludzki, więc myślę, że jak najbardziej pojawi się tutaj w jakiś sposób sztuczna inteligencja, ale no mam nadzieję że nie wyprze tego jak w niektórych przypadkach może to tutaj rokować.
Dane pokazują prawdę o firmie
Dane to nie tylko liczby. To skarbnica wiedzy o firmie, jej produktywności, finansach i klientach. Dobrze przeanalizowane dane mogą pomóc w rozwiązywaniu problemów, ujawniając nieefektywności, błędy i obszary do optymalizacji. Innymi słowy – dane stają się narzędziem do ujawniania realnego obrazu firmy. Dariusz podkreśla, że “danych się nie oszuka”, co czyni je niezwykle cennym źródłem informacji dla biznesu. Na podstawie danych można wpłynąć na wydajność produkcji, kontrolować finanse i podejmować świadome decyzje. A to zaledwie mały wycinek tego, co można uzyskać. Jednak praca z danymi to nie tylko sukcesy. Najczęstszym problemem jest ich niska jakość: a często również i zupełny brak danych, zły format, błędy i niespójności. To wymaga dodatkowego wysiłku i zaangażowania, aby doprowadzić dane do odpowiedniego stanu. Tylko wtedy cały proces jest efektywny i przynosi realne korzyści dla organziacji.
Jeśli chcesz dowiedzieć się więcej o pracy z danymi, zapraszamy do śledzenia profilu Dariusza na Linkedin, gdzie na bieżąco dzieli się swoją wiedzą:
