Eksport danych z panelu klienta — formaty, duże pliki i bezpieczeństwo

Prędzej czy później każdy klient aplikacji B2B chce wyciągnąć z niej swoje dane: do raportu dla zarządu, do księgowości, do analizy w arkuszu albo do innego systemu. Eksport wydaje się prostą funkcją — przycisk i plik. W praktyce przy większych zbiorach blokuje serwer, przy polskich znakach psuje się w arkuszu, a bez przemyślanych uprawnień staje się najprostszą drogą wycieku danych. Warto zaprojektować go świadomie od początku.

Autor: zespół Convert Studio — software house z Kielc i Krakowa, projektujemy aplikacje webowe, sklepy i wdrożenia AI dla firm.

Do czego klienci eksportują dane

Projekt eksportu warto zacząć od pytania, co klient zrobi z plikiem. Różne cele wymagają różnych formatów i zakresów danych.

Wybór formatów

Nie trzeba oferować wszystkich formatów. Zwykle wystarczą dwa lub trzy, dobrane do najczęstszych celów.

• Plik arkusza kalkulacyjnego — najlepszy wybór dla ludzi. Zachowuje typy danych, więc liczby są liczbami, a daty datami, i nie ma problemów z kodowaniem znaków.
• CSV — uniwersalny, prosty i dobrze obsługiwany przez inne systemy. Wymaga jednak uwagi: kodowania UTF-8 ze znacznikiem, żeby arkusz poprawnie wyświetlił polskie znaki, oraz przemyślanego separatora, bo w polskich ustawieniach przecinek jest separatorem dziesiętnym.
• JSON — dla integracji i przenoszenia danych z zachowaniem struktury zagnieżdżonej.
• PDF — gdy wynik ma być dokumentem do przekazania, a nie danymi do dalszej obróbki.

Co dokładnie eksportować

Najbardziej intuicyjna zasada brzmi: eksport odpowiada temu, co użytkownik widzi na ekranie. Jeśli ustawił filtry, sortowanie i zakres dat, plik powinien je uwzględniać. Użytkownik, który po przefiltrowaniu listy do stu rekordów dostaje plik z dziesięcioma tysiącami, traci zaufanie do funkcji.

• Filtry i sortowanie z widoku przenoszone do eksportu.
• Wybór kolumn — możliwość pominięcia niepotrzebnych, z zapamiętaniem ustawień.
• Czytelne nagłówki w języku interfejsu, a nie nazwy pól z bazy danych.
• Wartości słownikowe jako tekst — „Opłacone" zamiast kodu statusu.
• Informacja w pliku lub nazwie o dacie wygenerowania i zastosowanych filtrach.
• Opcja pełnego eksportu dla administratora, obejmująca wszystkie dane konta.

Duże zbiory — eksport w tle

Eksport generowany w trakcie żądania działa dobrze do pewnej wielkości. Powyżej niej użytkownik czeka, przeglądarka przerywa połączenie, a serwer zużywa pamięć i procesor kosztem innych użytkowników. Rozwiązaniem jest eksport asynchroniczny.

Dobrą praktyką jest automatyczny wybór trybu: małe eksporty generowane od razu, większe kierowane do kolejki. Warto też ograniczyć liczbę równoległych eksportów na konto, żeby jeden klient nie zablokował przetwarzania innym. O obserwowaniu obciążenia takich procesów piszemy w materiale o monitoringu aplikacji.

Uprawnienia i bezpieczeństwo

Eksport to funkcja, która pozwala jednym kliknięciem wynieść z aplikacji dużą ilość danych. Dlatego wymaga szczególnej uwagi w zakresie uprawnień.

• Osobne uprawnienie do eksportu — możliwość przeglądania danych nie musi oznaczać możliwości ich pobrania.
• Eksport respektuje uprawnienia wierszy — użytkownik widzący tylko swoich klientów eksportuje tylko ich.
• Link do pliku niemożliwy do odgadnięcia, wymagający zalogowania i ważny przez krótki czas.
• Dziennik eksportów — kto, kiedy, jakie dane i ile rekordów. Administrator klienta powinien mieć do niego wgląd.
• Alert przy nietypowej skali — na przykład pełny eksport bazy klientów przez konto, które zwykle tego nie robi.
• Pliki przechowywane poza publicznym katalogiem serwera i usuwane po terminie.

Dane osobowe w eksporcie

Plik wyeksportowany z aplikacji opuszcza jej zabezpieczenia. Trafia na dysk laptopa, do poczty, na pendrive. Z perspektywy ochrony danych to moment, w którym kontrola nad nimi słabnie.

• Minimalizacja — domyślny zestaw kolumn bez danych, które zwykle nie są potrzebne.
• Informacja dla użytkownika przy eksporcie zawierającym dane osobowe.
• Możliwość wyłączenia eksportu określonych pól przez administratora klienta.
• Obsługa prawa do przenoszenia danych — eksport wszystkich danych konkretnej osoby w powszechnie używanym formacie.

Eksport cykliczny i automatyczny

Wielu klientów wykonuje ten sam eksport regularnie, na przykład co miesiąc dla biura rachunkowego. Zamiast klikać za każdym razem, mogą zaplanować go raz.

• Zapisane konfiguracje eksportu — filtry, kolumny i format pod nazwą.
• Harmonogram — codziennie, co tydzień, na koniec miesiąca.
• Dostarczenie do panelu z powiadomieniem, a dla integracji — do wskazanego miejsca.
• Przejście na API — gdy eksport cykliczny zasila inny system, stabilne API jest zwykle lepszym rozwiązaniem niż pliki.

Gdy klienci zaczynają automatyzować eksporty, to sygnał, że potrzebują integracji. Jak projektować API odporne na zmiany, opisujemy w tekście o wersjonowaniu API, a o powiadamianiu innych systemów o zmianach — w materiale o webhookach.

Typowe problemy zgłaszane przez klientów

Większość zgłoszeń dotyczących eksportu powtarza się w każdej aplikacji. Warto sprawdzić je z góry, zanim zrobią to klienci.

Przygotowanie zestawu testowego z polskimi znakami, kwotami z groszami, datami, numerami z zerami na początku i wartościami zawierającymi separator pozwala wykryć te problemy w kilka minut. Taki test warto uruchamiać automatycznie przy każdej zmianie kodu eksportu.

Wpływ na bazę danych

Duży eksport to jedno z najcięższych zapytań, jakie wykonuje aplikacja. Uruchomiony w godzinach szczytu potrafi spowolnić pracę wszystkich użytkowników. Pomaga pobieranie danych partiami z użyciem indeksów, korzystanie z repliki bazy przeznaczonej do odczytu, jeśli jest dostępna, oraz kierowanie największych eksportów cyklicznych na godziny nocne.

Od czego zacząć

W nowej aplikacji wystarczy na start eksport listy do formatu arkusza z uwzględnieniem filtrów, czytelnymi nagłówkami i osobnym uprawnieniem. Eksport w tle warto dodać, gdy pierwsi klienci zbliżą się do wielkości danych, przy której generowanie trwa dłużej niż kilka sekund. Eksport cykliczny i API pojawiają się zwykle później, gdy klienci sami zaczną o nie pytać. Taka kolejność pozwala uniknąć budowania rozbudowanych funkcji, z których nikt nie korzysta, a jednocześnie nie zostawia klientów bez podstawowej możliwości zabrania swoich danych. Niezależnie od etapu od początku warto prowadzić dziennik eksportów, bo jego dodanie po fakcie nie odtworzy historii.

Podsumowanie

Eksport danych to jedna z tych funkcji, które klienci uważają za oczywiste, a zespoły programistów często traktują pobieżnie. Dobrze zaprojektowany uwzględnia cel pliku przy wyborze formatu, eksportuje dokładnie to, co widać po filtrach, dla dużych zbiorów działa w tle, respektuje uprawnienia i zostawia ślad w dzienniku.

Jeśli w Twojej aplikacji eksport już istnieje, sprawdź trzy rzeczy: czy plik CSV poprawnie otwiera się w arkuszu z polskimi znakami, co się dzieje przy eksporcie największego konta i czy da się ustalić, kto w ostatnim miesiącu pobierał dane klientów. Odpowiedzi szybko pokażą, co wymaga poprawy. Więcej o budowie paneli dla klientów przeczytasz na stronie aplikacje webowe, a o pierwszych dniach klienta w aplikacji — w tekście o wdrożeniu użytkownika B2B.