Technologia Time-of-Flight kontra Stereowizja – Co jest lepsze?
W porównaniu do metod 2D, przetwarzanie obrazu 3D daje użytkownikom wizji maszynowej dodatkowe możliwości pomiarowe. Rejestracja optyczna w dodatkowym, trzecim wymiarze przynosi wiele innowacji i korzyści wielu gałęziom przemysłu, zwłaszcza tych związanych z automatyką, robotyką, logistyką i medycyną, umożliwiając rozwój dalszym technologiom i aplikacjom wizyjnym. Ugruntowały się zwłaszcza dwie metody odwzorowania trójwymiarowego: Time-of-Flight oraz Stereowizja, które to zagadnienia wzięliśmy pod lupę i porównaliśmy ze sobą.
Wizja 3D dostarcza wymiar przestrzenny
W zwykłym, klasycznym widzeniu 2D, rejestrowany obraz jest zawsze projekcją trójwymiarowego obiektu na płaszczyznę obrazową. Informacja o głębi nie może być zarejestrowana poprzez kamerę 2D. W zależności od kąta patrzenia może spowodować zmianę w wyglądzie konturów trójwymiarowego obiektu w wyświetlanym obrazie. W znakomitej większości zastosowań wizyjnych jest to wystarczające narzędzie – obrazowanie 2D jest używane do analizy struktury oraz koloru, częściowej identyfikacji, sprawdzania obecności, uszkodzeń lub wykrywania anomalii, rozpoznawania znaków i kontroli przestrzennej dokładności. Dodatkowym warunkiem dla wymienionych zadań jest odpowiednie oświetlenie które umożliwia utworzenie odpowiedniego kontrastu dla obrazu.
Dla obrazowania 3D z kolei, pomiar zawiera nie projekcję 2D ale również dodatkowy wymiar wysokościowy. To oznacza, że wszelkiego rodzaju wielkości przestrzenne takie jak objętość, kształt, odległość, pozycja w przestrzeni i orientacja obiektów mogą być wyznaczone pomiarem i przez to jest możliwe sprawdzenie zależności położenia obiektów w przestrzeni. Tak jak w obrazowaniu 2D, występują wstępne wymagania takie jak jakość oświetlenia lub właściwości podłoża, które muszą być wzięte pod uwagę dla odpowiedniego oddania projekcji.
Pomimo różnic, istnieją również rozwiązania dla których technologie 2D oraz 3D mają wspólne zastosowanie. Odpowiednie wady i zalety obu technologii mogą być zestawione w poniższej tabeli: Technologia wizyjna 2D w zestawieniu z wizją 3D:
Technologia wizyjna 2D w zestawieniu z wizją 3D
Wymagania dla zadań | 2D | 3D |
---|---|---|
Analiza ilościowa oraz / lub kształtowa | - | X |
Rozpoznawalność struktur i koloru | X | - |
Dostępność o informacji dla odpowiednego kontrastu X - | X | - |
Informacja o kontraście jest zła bądź jej brakuje | - | X |
Różnice dla wysokości muszą być rozpoznawalne | - | X |
Ustawianie zadań / detekcji w trzecim wymiarze - X | - | X |
Rozpoznawanie kodów kreskowych lub znaków | X | - |
Tworzenie częściowej identyfikacji | X | X |
Kontrola obecności komponentów | X | X |
Wykrycie uszkodzeń | X | X |
Porównując technologie 3D
Czym charakteryzują się Time-of-Flight oraz Widzenie Stereoskopowe? Jakie są ich specjalne zastosowania oraz jakie są ich wady i zalety?
Time-of-Flight
Time-of-Flight to wyróżniająca się technologia która mierzy dystans w celu pozyskania danych o głębi. W tej metodzie pomiarowej źródło światła wewnątrz kamery emituje krótkie impulsy światła w kierunku obserwowanego obiektu. Z kolei ten obiekt odbija wiązkę światła z powrotem do kamery. Mierząc czas podwójnego przelotu wiązki, dystans do obiektu, a przez to wartość głębi (odległości liczonej wzdłuż kierunku obserwacji) mogą być zarejestrowane dla każdego pojedynczego piksela. W rezultacie, wartości głębi dla sprawdzanych obiektów są punktem wyjścia dla obrazu przestrzennego w formie mapy zasięgu lub chmury punktów. Metoda Time-of-Flight zwraca również dodatkowe formaty danych takie jak klasyczny, szaroodcieniowy obraz 2D sceny mapę poprawności pomiaru (ang. confidence image/map) która oddaje poziom wiarygodności w odpowiednich wartościach.
Chmura punktowa 3D w fałszywych kolorach.
Time-of-Flight nie wymaga kontrastowego obiektu posiadającego specyficzne cechy: kąty i krawędzie, aby otrzymać prawidłowy obraz 3D. Akwizycja odbywa się prawie natychmiastowo i niezależnie od koloru obiektu lub też jego nasycenia, czyniąc późniejszy proces oddzielenia obiektu od obrazu w trakcie przetwarzania obrazu łatwym do przeprowadzenia. Time-of-Flight działa również w zestawieniu z ruchomymi obiektami i może mierzyć do 9 milionów punktów 3D na sekundę z milimetrową dokładnością. Porównując do innych kamer 3D, kamery Time-of-Flight są stosunkowo niedrogie, kompaktowe i mniej złożone, co umożliwia łatwą obsługę i wdrożenie.
Jednakże należy pamiętać, iż kamera najlepiej pracuje w określonych warunkach otoczenia i posiada określony zakres pomiarowy. Ze względu na samą metodę Time-of-Flight, wielokrotne odbicia emitowane przez światło (dla przykładu kątów oraz wklęsłych kształtów w badanym obiekcie) prowadzi do błędów w odczytach pomiaru. Podłoża o właściwościach wysoce odbijających światło, które znajdują się blisko kamery, mogą spowodować rozproszenie światła wewnątrz obiektywu powodując niechciane artefakty. Bardzo ciemne powierzchnie z kolei mają tendencję do znaczącego tłumienia światła pomiarowego tak, iż w skrajnych przypadkach występuje zanik danych pomiarowych dla danego fragmentu obiektu. Zbyt mała odległość robocza może ograniczyć metodę pomiaru Time-of-Flight dlatego jest ona najbardziej adekwatna do pomiarów o stosunkowo średniej i niskiej dokładności pomiarowej.
Wizja stereo.
Wizja stereo działa na zasadzie podobnej do ludzkiego wzroku. Informacja o głębi jest pozyskiwana przez synchroniczny obraz pozyskiwany przez dwie kamery 2D z dwóch różnych kątów obserwacji. Informacja o wizji 3D jest obliczana na podstawie tzw. parametrów zewnętrznych (ang. extrinsic parameters – wzajemna pozycja dwóch kamer ) oraz parametrów wewnętrznych (ang. intrinsic parameters – takich jak środek optyczny i wartość ogniskowej soczewki dla każdej kamery). Razem te dwie struktury danych tworzą kalibrację stereopary, charakterystyczną dla tej konkretnej konfiguracji geometrycznej. Żeby obliczyć informację o głębi, dwa obrazy o głębi są najpierw poddawane procesowi rektyfikacji – specjalnemu przekształceniu geometrycznemu. Następnie, algorytm dopasowujący szuka tzw. punktów korespondencyjnych dla lewego i prawego obrazu. Na podstawie kalibracji, głębia obrazu dla występującej sceny lub obiektu może zostać wygenerowania jako chmura punktów. Najlepszy dystans roboczy dla tej metody zależy od odległości oraz ustawień kąta dwóch kamer i różni się w zależności od zastosowania.
W porównaniu do Time-of-Flight, metoda ta nie wymaga aktywnego oświetlenia takiego jak oświetlacz LED lub laserowy. Jednakże wymaga ona zasadniczo zawsze oświetlenia ogólnego do prawidłowego działania kamer. Wizja stereo może dać lepszy rezultat szczególnie tam, gdzie warunki akwizycji dla innych metod 3D z aktywnym oświetleniem są niewystarczające. Przykłady zastosowań to sceny z jasnym oświetleniem dookólnym, nakładają się na obszary pomiarowe czy też powierzchnie połyskliwe i błyszczące.
Dla powierzchni o małej strukturze, metoda wizji stereo ma za mało czynników oddziałujących na siebie dla obydwu obrazów by móc obliczyć informację o charakterystyce 3D. Ograniczenia te można zniwelować poprzez sztuczne generowanie struktur powierzchniowych za pomocą światła. W tym celu, projektor światła może być zintegrowany z prototypem losowych wzorów na powierzchni.
Światło strukturalne
W porównaniu do wizji stereo, światło strukturalne zastępuje jedną z kamer projektorem obrazu. Projektor rzuca (projektuje) na obiekt szereg obrazów o sinusoidalnym wzorze intensywności, tworząc sztuczną strukturę na powierzchni o z góry zdefiniowanych cechach geometrycznych. Zniekształcenie projektowanych pasków na powierzchni obiektu jest używane, by obliczyć informację o 3D, co prowadzi do wysokiej dokładności wyników pomiarowych. Sensory ze światłem strukturalnym oddają większą precyzję przy bliskich odległościach. Używając światła strukturalnego generuje się duże obciążenie obliczeniowe i metoda ta nie jest odpowiednia dla poruszających się obiektów, ponieważ do pełnego pomiaru wymagane jest wyprojektowanie i zarejestrowanie sekwencji kilku – kilkunastu obrazów. Dlatego też, metoda ta jest kompatybilna dla pomiarów synchronicznych lub dynamicznych tylko w wąsko ograniczonym zakresie lub w znacząco wyższym koszcie systemu.
Wady i zalety 3D
Time-of-Flight | Stereo Vision | Structured Light | |
---|---|---|---|
Odległość | ++ | - | + |
Prawidłowość odczytu | + | + | ++ |
Wydajność przy niskim natężeniu światła | ++ | - | ++ |
Wydajność przy wysokim natężeniu światła | ++ | + | + |
Jednorodna powierzchnia | ++ | - | ++ |
Ruszające się obiekty | + | - | - |
Rozmiar Kamery | + | - | - |
Koszt | + | - | - |
Które zastosowania przynoszą korzyść?
Przykładowe zastosowania technologii Time-of-Flight
Time-of-Flight ma szczególną przewagę przy zastosowaniach wymagających pracy na długich dystansach, długich odległościach pomiaru, wysokiej prędkości oraz niskiego skomplikowania systemu, kiedy bardzo wysoka dokładność pomiaru jest mniej istotna. Poniżej przykłady:
- Mierzenie obiektów (objętość, kształt, pozycja, orientacja)
- Automatyzacja procesów przemysłowych: rozpoznawanie obiektów, chwyt oraz montaż części, wykrywanie uszkodzonych obiektów lub błędy układania automatycznego.
- Robotyka: wyznaczanie punktów chwytu dla maszyn; zadania chwytu na taśmie prowadzącej, aplikacje bin picking oraz pick&place
- Logistyka: pakowanie, składowanie, rozładunek, etykietowanie, pojazdy autonomiczne (nawigacja, ostrzeżenia dot. bezpieczeństwa)
- Medycyna: pozycjonowanie oraz monitorowanie pacjentów
- Typowe zastosowanie dla wizji stereo oraz światła strukturalnego
Stereowizja oferuje wysoką dokładność pomiaru, która jest niższa tylko w porównaniu z metodą światła strukturalnego. Kamery stereowizyjne są właściwym wyborem przy wykrywaniu powierzchni niskiej jakości z dodatkową strukturą chropowatości lub drobnego kształtu oraz w zastosowaniach wymagających bardzo wysokiej wydajności pomiaru. Poniżej przykłady:
- Określanie pozycji i orientacji
- Pomiar wysokoprecyzyjny (objętość, kształt, pozycja, orientacja)
- Robotyka: bin picking, prowadzenie w przestrzeni, unikanie kolizji, usługi odbioru i zrzutu
- Logistyka: nawigacja pojazdów autonomicznych w przestrzeniach magazynowych, załadunek i rozładunek maszyn, depaletyzacja (rozładunek palet)
- Na zewnątrz: pomiar i analiza pni drzewnych
- Testowanie komponentów, wykrywanie uszkodzeń
Zapotrzebowanie na zastosowania 3D ciągle wzrasta, zwłaszcza w połączeniu z algorytmami sztucznej inteligencji takimi jak deep learning. Wzajemna współpraca tych narzędzi upraszcza rozpoznanie obiektu oraz dokładnie określa pozycję obiektu w przestrzeni. Roboty są w stanie chwytać nieznane obiekty bez wcześniejszej wiedzy o nich. Jednoczesna lokalizacja oraz mapowanie (SLAM) używają sensorów wizyjnych by tworzyć mapy o wysokiej rozdzielczości w 3D dla autonomicznych aut oraz aplikacji rozszerzonych rzeczywistości.
Ty pytasz, my odpowiadamy i doradzamy.
Potrzebujesz więcej informacji lub więcej szczegółów dla Twoich osobistych zastosowań? Daj nam znać jak możemy Ci pomóc. Nasz zespół liczy na kontakt z Twojej strony!