Nowy model uczenia maszynowego wie, kiedy może się mylić. To bardzo istotna umiejętność
Margines błędu leży w naturze algorytmów uczenia maszynowego. Ich decyzje są oparte na danych statystycznych, a ich skuteczność nigdy nie wynosi 100 procent. O najróżniejszych wpadkach algorytmów uczenia maszynowego piszemy na łamach portalu regularnie. Pół biedy, kiedy z powodu takiej wpadki kamera podczas meczu piłkarskiego uparcie śledzi łysinę sędziego zamiast piłki. Gorzej, jeśli podobny błąd doprowadzi do błędnej diagnozy nowotworu czy spowoduje niewłaściwą reakcję samochodu autonomicznego.
Bolączką modeli uczenia maszynowego nie jest to, że czasem się mylą, ale to, że nie wiedzą, kiedy się mylą. A ludzie mogą to ocenić dopiero po fakcie, weryfikując wyniki. Często wtedy jest już za późno.
Obecne metody oceniania wiarygodności rezultatów głębokiego uczenia polegają na wielokrotnym odpytywaniu sieci neuronowej. Problem w tym, że modele uczenia maszynowego są coraz większe, często składają się z milionów połączeń. Proces oceny wymaga dużej ilości pamięci i zajmuje sporo czasu. To niepraktyczne lub nawet niemożliwe w niektórych realnych zastosowaniach, w których liczy się czas reakcji, na przykład w samochodach autonomicznych.
Zespół z MIT i Uniwersytetu Harvarda opracował model, który ten czas drastycznie skraca. W ich rozwiązaniu każda decyzja modelu jest opatrzona informacją o rozkładzie prawdopodobieństwa, który określa, na ile model jest pewien swojego wyboru. Co więcej – model określa też przyczynę ewentualnej niskiej wiarygodności decyzji – czy wynika ona z jakości danych wejściowych, czy z parametrów samego modelu.
Alexander Amini z MIT CSAIL, lider zespołu, który stworzył to nowatorskie podejście, podkreśla, jak ważne jest skuteczne wykrywanie wątpliwych wyników.
Bolączką modeli uczenia maszynowego nie jest to, że czasem się mylą, ale to, że nie wiedzą, kiedy się mylą
„Głębokie uczenie to wielki sukces. Sieci neuronowe mają rację w 99 procentach przypadków. Jedna rzecz, która dotychczas umykała badaczom, to zdolność tych modeli, by wiedziały i powiedziały nam, kiedy mogą się mylić. Jest dla nas bardzo ważne, byśmy mogli ten 1 procent przypadków wykryć skutecznie i efektywnie” – mówi Amini cytowany na blogu MIT CSAIL.
W swojej pracy „Deep Evidential Regression” badacze opisują swoje podejście, a także eksperymenty, które posłużyły do testów nowego rozwiązania. Wytrenowali swój model tak, by analizował głębię (tzn. odległość obiektu od obiektywu) dla każdego piksela. To test, który mógłby znaleźć zastosowanie w świecie rzeczywistym, na przykład w systemie oceny odległości od przeszkody w samochodzie autonomicznym.
Ich model miał skuteczność porównywalną z innymi algorytmami tego typu, ale wyniki były dodatkowo uzupełnione o informację o ich wiarygodności. I rzeczywiście – tam, gdzie model się mylił, rozkład prawdopodobieństwa wskazywał na niską wiarygodność wyniku. W realnym scenariuszu samochód autonomiczny „wiedziałby”, że jego system oceny odległości jest w tym momencie mało wiarygodny i nie należy polegać na jego ocenie przy podejmowaniu decyzji.
W kolejnym teście uczeni chcieli sprawdzić, na ile system jest w stanie ocenić jakość danych wejściowych. Wyszkolili model na zdjęciach wnętrz, a następnie kazali mu analizować zdjęcia zrobione z samochodu w ruchu ulicznym. Model konsekwentnie ostrzegał, że wyniki, które dostarcza, mają niski poziom wiarygodności.
Model był nawet w stanie wykryć manipulację obrazem – badacze zmodyfikowali obrazy wejściowe w niemal niewidoczny dla oka sposób. System bezbłędnie wykrył te obrazy i oznaczył wyniki jako wysoce nieprawdopodobne.
Rozwiązanie zaproponowane przez zespół Aminiego może się okazać bardzo istotnym krokiem w stronę poprawy skuteczności i wiarygodności modeli głębokiego uczenia maszynowego. Model, który wie, kiedy może się mylić, jest o wiele bardziej wiarygodny niż taki, który twierdzi, że jest nieomylny.