Zacznijmy od ciemności
Wyobraź sobie, że wchodzisz do zupełnie ciemnego pomieszczenia. Nie widzisz własnej dłoni przed twarzą. Po chwili otacza Cię dźwięk – klaksony, szum przejeżdżających samochodów, echo kroków na chodniku. Twój mózg jest pewny: stoisz przy ruchliwej ulicy. A przecież ani na krok nie ruszyłeś się z miejsca.
To nie eksperyment myślowy – to doświadczenie z „ciemnych wystaw”, które osoby niewidome przygotowują dla osób widzących. Odwracają w nich role. Przez kilkanaście minut to my, przyzwyczajeni do polegania na wzroku, jesteśmy zdani wyłącznie na słuch, dotyk i zapach. I to właśnie tam, w tej ciemności, wielu z nas po raz pierwszy naprawdę rozumie, jak potężnym i jak dominującym zmysłem jest wzrok. Kiedy go zabraknie, świat trzeba poznawać inaczej.
A teraz zadaj sobie pytanie: jak w takim świecie „obejrzeć” obraz? Jak poznać Babie lato Chełmońskiego, skoro całe jego piękno zamknięte jest w barwie, świetle i perspektywie – rzeczach z definicji niedostępnych dla dotyku?
Problem: obraz to bodziec wyłącznie wzrokowy
Malarstwo jest chyba najbardziej „wzrokocentryczną” formą sztuki. Rzeźbę można dotknąć. Muzyki można posłuchać. Ale obraz? Obraz jest płaski. Cała jego głębia, cały pierwszy i drugi plan, cała przestrzeń – to iluzja, którą nasz mózg rekonstruuje z płótna pokrytego farbą. Dla osoby niewidomej ta iluzja po prostu nie istnieje.
Odpowiedzią świata muzeów i tyflopedagogiki są tyflografiki – wypukłe, dotykowe reprezentacje obrazów, które można poznawać palcami. To wspaniałe narzędzie. Problem w tym, że dotychczas powstawały one niemal wyłącznie ręcznie: artysta lub specjalista musiał zinterpretować dzieło, zdecydować, co jest bliżej, a co dalej, i mozolnie odwzorować tę przestrzeń w reliefie. Efekty bywają piękne, ale proces jest powolny i bardzo kosztowny. W praktyce oznacza to, że tylko garstka najsłynniejszych dzieł doczekała się swojej dotykowej wersji. Ogromna większość sztuki pozostaje dla osób niewidomych zamknięta.
I tu pojawia się pytanie, które napędza cały projekt DepthForge: a gdyby tę pracę mogła wspomóc technologia? Gdyby maszyna potrafiła spojrzeć na obraz i sama zaproponować, gdzie jest głębia, a gdzie pierwszy plan?
Kiedy sztuczna inteligencja uczy się widzieć głębię
Okazuje się, że potrafi. W ostatnich latach modele sztucznej inteligencji nauczyły się czegoś, co brzmi jak magia: patrząc na zwykłe, płaskie zdjęcie, potrafią oszacować, jak daleko od obserwatora znajduje się każdy punkt sceny. To zadanie nazywa się estymacją głębi obrazu (depth estimation), a jego efektem jest tzw. mapa głębi – obraz, na którym jasność każdego piksela mówi nie o kolorze, lecz o odległości.
W projekcie DepthForge sięgnęliśmy po sprawdzone modele w tej dziedzinie, przede wszystkim DPT (Dense Prediction Transformer) oraz MiDaS. To właśnie DPT robi tu największe wrażenie – potrafi „zrozumieć” scenę na tyle dobrze, że oddziela postać od tła, wychwytuje plany i buduje wiarygodną mapę przestrzeni tam, gdzie wcześniej była tylko płaska reprodukcja.
Żeby to wszystko działało szybko, sensownie i na zwykłym komputerze – bez potrzeby posiadania serwerowni z kartami graficznymi – postawiliśmy na Intel OpenVINO. To technologia Intela, która pozwala uruchamiać modele AI wydajnie na zwykłym procesorze. Dzięki niej cały proces generowania mapy głębi staje się dostępny dla przeciętnego użytkownika, a nie tylko dla laboratoriów badawczych. To ważny szczegół, bo naszym celem nie było zbudowanie kolejnej efektownej demonstracji, lecz narzędzia, które ktoś realnie może wziąć i zastosować.
GIMP, czyli niski próg wejścia
Najlepsza technologia jest bezużyteczna, jeśli do jej obsługi trzeba być programistą. Dlatego świadomie oparliśmy część procesu o GIMP darmowy, powszechnie znany program do obróbki grafiki. Zamiast zmuszać użytkowników do pisania kodu w terminalu, można pracować w narzędziu, które wielu osobom jest już znane, i wykorzystać je jako zaawansowany „warsztat” do przygotowania obrazu i jego mapy głębi.
To był dla nas kluczowy wybór projektowy: półautomatyzacja zamiast pełnej automatyzacji. Model AI robi najcięższą pracę – proponuje głębię. Człowiek zachowuje kontrolę, może poprawić, wzmocnić kontrast, dopracować szczegóły. W ten sposób łączymy szybkość maszyny z wrażliwością człowieka, a jednocześnie obniżamy próg wejścia na tyle, by z narzędzia mogli korzystać nie tylko inżynierowie, ale też muzealnicy, tyflopedagodzy czy pasjonaci.
Od płaskiej mapy do bryły, którą można wydrukować
Mapa głębi to dopiero połowa drogi. Żeby obraz dało się dotknąć, trzeba go zamienić w fizyczny, trójwymiarowy przedmiot – model gotowy do druku 3D. Za tę część procesu odpowiada Jakub Oleksy z Politechniki Śląskiej, i to jego pracy zawdzięczamy przejście od cyfrowej mapy do realnej bryły.
W oparciu o mapy głębi wygenerowane we wcześniejszym etapie prac przez CDEST, Jakub stworzył metodę konwersji obrazów dwuwymiarowych na trójwymiarowe bryły gotowe do druku. Wykorzystując technikę mapowania ciepła, każdy piksel obrazu zostaje zinterpretowany jako punkt w przestrzeni, w którym barwa mapy przypisana jest do współrzędnej wysokościowej (Z). Połączenie tych danych z naturalnym położeniem w płaszczyźnie (X, Y) pozwala precyzyjnie umiejscowić każdy element obrazu w układzie trójwymiarowym a to właśnie jest kluczowe dla odróżnienia głębi od pierwszego planu.
Proces domyka aplikacja, która automatyzuje obliczenia matematyczne. Wykorzystując triangulację macierzy obrazu, program przetwarza dane na siatkę trójkątów tworzących powierzchnię obiektu. Co ważne, daje przy tym pełną kontrolę nad parametrami wydruku: zagęszczenie siatki pozwala zbalansować dokładność odwzorowania z wydajnością obliczeniową; wygładzanie (konwolucja) redukuje cyfrowe artefakty, zamieniając ostre przejścia pikseli w płynne, organiczne krzywizny; a wysokość podstawy pozwala określić grubość warstwy bazowej, zapewniając stabilność modelu.
Dzięki tak przygotowanej geometrii bryła jest w pełni kompatybilna z popularnymi technologiami przyrostowymi – FDM, FFF, SLA czy DLP. Jak podkreśla Jakub, inżynier związany z biomedycyną, w kontekście tej metody szczególnie warte rekomendacji są technologie wykorzystujące polimery światłoutwardzalne. Zapewniają one najwyższą precyzję detali oraz bezpieczeństwo wydruku w kontakcie ze skórą – co przy przedmiocie, który ma być dotykany, jest nie do przecenienia. Drukarki tego typu o dużych polach roboczych bywają kosztowe, ale jakość, jaką oferują, jest nieporównywalna.
To jest też kierunek na przyszłość. W kolejnych etapach planowane jest rozszerzenie aplikacji o moduł automatycznego generowania opisów w alfabecie Braille’a, dzięki czemu osoby niewidome będą mogły pełniej „czytać” obrazy dotykiem. To prosta, skalowalna i niezwykle użyteczna implementacja inżynierii 3D, która realnie zwiększa dostępność treści wizualnych.
Brakująca kategoria: katalog dla wszystkich
Na koniec marzenie, które jest w zasięgu ręki. Istnieją dziś ogromne, otwarte biblioteki modeli do druku 3D – jak Printables firmy Prusa z których korzystają miliony ludzi na całym świecie. Można tam znaleźć niemal wszystko: zabawki, części zamienne, ozdoby. Czego brakuje? Kategorii z tyflografikami dla osób niewidomych.
Wyobraźmy sobie taki otwarty katalog: nauczyciel w szkole dla dzieci niewidomych, muzeum w małym mieście albo rodzic wpisuje tytuł obrazu, pobiera gotowy plik i drukuje go u siebie. Sztuka, która dotąd była dostępna wyłącznie w kilku placówkach, nagle staje się osiągalna wszędzie tam, gdzie stoi drukarka 3D. To właśnie tę wizję chcemy wspierać – technologią, która obniża koszty, otwartymi narzędziami i społecznością gotową się dzielić.
Dlaczego to robimy
DepthForge nie jest o algorytmach. Jest o tym, żeby ktoś, kto nigdy nie zobaczy Babiego lata, mógł przesunąć palcami po zbożu falującym na wietrze i poczuć przestrzeń, którą reszta z nas przyjmuje za oczywistość. Technologia: modele Intela, OpenVINO, druk 3D jest tu tylko środkiem. Celem jest ciekawość, godność i prawo do obcowania ze sztuką, które nie powinno zależeć od tego, czy widzisz.
Jeśli zajmujesz się dostępnością, edukacją albo po prostu masz drukarkę 3D i chcesz pomóc kod projektu jest otwarty na GitHubie. Zapraszamy do budowania tego razem.
Projekt rozwijany jest przez CDEST.
Metoda konwersji map głębi na modele 3D oraz proces przygotowania brył do druku: Jakub Oleksy student, Politechniki Śląskiej wydział inżynierii biomedycznej.