Uczenie maszynowe tanieje szybciej, niż poprawia się wydajność tej technologii
Głębokie uczenie wydaje się osiągać punkt zwrotny zarówno pod względem kosztów, jak wydajności. Z opublikowanej w maju analizy firmy ARK Invest wynika, że systemy ML są obecnie tańsze niż kiedykolwiek wcześniej. To zagwarantuje ich powszechność w następnej dekadzie.
ARK Invest zajmuje się inwestycjami w przełomowe innowacje. Według tej firmy koszt szkolenia modeli sztucznej inteligencji spada 50 razy szybciej niż wynikałoby to z prawa Moore’a.
„Uważamy, że firmy miały wystarczającą motywację do zwiększenia zasobów obliczeniowych pięciokrotnie szybciej niż (zakładało to – red.) prawo Moore’a: znacząca przewaga konkurencyjna w generowaniu przychodów i koszt sprzętu spadają wystarczająco szybko, aby nadal napędzać bestię” – napisali analitycy ARK Invest.
W swoim raporcie ARK stwierdza, że w ciągu ostatnich dziesięciu lat zasoby obliczeniowe poświęcone modelom szkoleniowym SI wręcz eksplodowały. Po podwajaniu się co dwa lata od 1960 do 2010, złożoność obliczeń AI wzrastała w kolejnych latach 10 razy rocznie. Z kolei koszty szkoleń w każdym z trzech ostatnich lat spadały 10-krotnie. Dla przykładu koszt wyszkolenia klasyfikatora obrazów, np. ResNet-50, w chmurze wynosił w 2017 r. około 1000 dolarów, podczas gdy w 2019 r. już tylko ok. 10 dolarów. ARK wnioskuje, że do końca bieżącego roku ten koszt będzie wynosił zaledwie dolara.
W ciągu ostatnich dziesięciu lat zasoby obliczeniowe poświęcone modelom szkoleniowym SI wręcz eksplodowały
To dobra wiadomość dla start-upów konkurujących z dużymi firmami czy firmami wspieranymi przez technologicznych gigantów. Google DeepMind mógł sobie pozwolić na ubiegłoroczną stratę 572 milionów dolarów, zaciągając kolejny miliard dolarów długu. Małych firm na to nie stać.
ARK uważa, że spadek kosztów wynika z przełomu zarówno po stronie sprzętu, jak programów. Podaje przykład karty graficznej Nvidia V100 (karty graficzne są powszechnie używane do szkolenia dużych systemów sztucznej inteligencji), wypuszczonej na rynek w 2017 roku – jest ona ok. 1800 procent szybsza niż karta z roku 2014. W latach 2018-2019 dzięki innowacjom w oprogramowaniu wydajność treningu na V100 wzrosła o ok. 800 procent.
ARK stwierdza też, że koszt wprowadzenia do produkcji wyszkolonej sieci neuronowej malał jeszcze gwałtowniej. W ciągu ostatnich dwóch lat koszt sklasyfikowania miliarda zdjęć spadł z 10 tysięcy dolarów do zaledwie 3 centów.
„Spadki kosztów o 10 do 100 razy, których jesteśmy świadkami, zarówno podczas treningu SI, jak i wnioskowania SI, sugerują, że SI szybko się rozwija, być może przed dekadami wolniejszego, ale trwałego wzrostu” – podsumował analityk James Wang z ARK Invest.
Osobną sprawą pozostaje to, że choć koszty szkolenia modeli spadają, opracowanie zaawansowanych modeli uczenia maszynowego w chmurze nadal jest drogie.