Komentarze ekspertów IDEAS NCBR
dr hab. Piotr Sankowski, Lider grupy badawczej “Inteligentne algorytmy i struktury danych” IDEAS NCBR
Bio i zdjęcie: https://ideas-ncbr.pl/osoby/piotr-sankowski/
“Dzisiaj w nocy OpenAI opublikowało nowy model sztucznej inteligencji, który można nazwać modelem hybrydowym, tzn. łączy on generatywne modele językowe z większym systemem, który przeprowadza rozumowania logiczne. Porównując to jak działa ten model teraz z tym jak funkcjonował wcześniej, to starsze modele "recytowały z pamięci", a ten model przed odpowiedzią się "zastanawia" i nie mówi od razu tego, co mu "ślina na język przyniesie”.
Widać ogromny wzrost skuteczności tego modelu w rozwiązywaniu zadań matematycznych czy programistycznych, a przede wszystkim został zademonstrowany potencjał do rozwiązywania zagadek logicznych, których wcześniej model nie widział. To właśnie znajduje potwierdzenie w przeprowadzonych testach przez OpenAI, tzn. model rozwiązuje zadania z międzynarodowych olimpiad matematycznych czy informatycznych oraz odpowiada na pytania badawcze na poziomie doktoratu. Innymi słowy dzięki dobudowaniu umiejętności rozumowania otrzymaliśmy model, który jest w stanie konkurować z ekspertami dziedzinowymi, a nie tak jak wcześniej wie trochę o wszystkim. Jest to rzeczywiście przełomowa zmiana, bo teraz każdy z nas pośrednio może robić rzeczy, których wcześniej nie był w stanie.
Warto też zdawać sobie sprawę, że ten rozwój się nie zatrzymał, bo jest to tylko pierwszy model tego rodzaju. Na pewno kolejne będą działały jeszcze lepiej i będą wstanie rozwiązywać jeszcze bardziej skomplikowane zadania, np. dowodzić wcześniej nieznane twierdzenia matematyczne. Dalszy rozwój tych narzędzi będzie następował bardzo szybko, a ich wpływ na innowacje i odkrycia naukowe będzie się zwiększał. W tym kontekście trzeba też odwołać się do pracy opublikowanej tydzień temu przez badaczy ze Stanforda którzy pokazali, że współczesne modele językowe są w stanie generować lepsze projekty badawcze niż doświadczeni naukowcy”.
prof. dr hab. inż. Tomasz Trzciński, Lider grupy badawczej “Uczenie maszynowe zero-waste w wizji komputerowej” IDEAS NCBR
Bio i zdjęcie: https://ideas-ncbr.pl/osoby/tomasz-trzcinski/
“Rynek pracy już się zmienia, choćby w wyniku wprowadzania poprzednich iteracji technologii opartej na generatywnej sztucznej inteligencji, natomiast postępujące zwiększanie autonomii systemów AI na pewno te zmiany przyspieszy. Moje obserwacje wskazują, że najbardziej zagrożone w informatyce są stanowiska juniorskie, co paradoksalnie może sprawić, że doświadczone osoby z dużą wiedzą będą jeszcze bardziej pożądane w przyszłości niż teraz (bo zabraknie nowej kadry zastępującej ich w przyszłości, kiedy starsi odejdą na emeryturę).
Jednocześnie, zgodnie z paradoksem Jevonsa mówiącym o tym, że im wydajniej wykorzystujemy dany surowiec, tym bardziej jest on potrzebny i w efekcie więcej go potrzebujemy, przewiduję wzrost ogólnego zapotrzebowania na umiejętności programistyczne na świecie. Nie będzie to już jednak ten sam zestaw umiejętności, którego uczymy na uniwersytetach dziś - w cenie będzie umiejętność szybkiego prototypowania na bazie istniejących rozwiązań, umiejętność ich sprawnej selekcji i finalnie bardzo precyzyjnej modyfikacji i dopasowania do finalnego rezultatu.
Przewiduję pojawienie się milionów nowych aplikacji i systemów IT, których nie da się nauczyć w ciągu całego życia, trzeba więc będzie trochę rozumieć każdy z nich i dużo więcej czasu poświęcać na aktualizację wiedzy, a nie jej ścisłe wykorzystanie”.
dr inż. Krzysztof Walas, Lider zespołu badawczego “Robotyka interakcji fizycznej” IDEAS NCBR
Bio i zdjęcie: https://ideas-ncbr.pl/osoby/krzysztof-walas/
a. Czy widzisz potencjalne zagrożenia związane z możliwością autonomicznego podejmowania decyzji przez AI w skomplikowanych procesach technologicznych?
Myślę, że zagrożenie jest duże. Autorzy modelu, w szczególności zespół gotowości [którego szefem jest Polak, prof. Aleksander Mądry - red.] przygotował raport poświęcony bezpieczeństwu systemu. Co więcej, autorzy modelu podkreślają, że nie jest on jeszcze w pełni autonomiczny. Pomocny jest też mechanizm "chain of thoughts", czyli łańcuch myśli.
Jak pisze OpenAI, “wierzymy, że ukryty łańcuch myśli przedstawia wyjątkową szansę na monitorowanie modeli. Zakładając, że jest on wierny i czytelny, ukryty ciąg myślowy pozwala <<odczytać umysł>> modelu i zrozumieć, w jaki sposób on myśli. Na przykład w przyszłości możemy chcieć monitorować łańcuch myślowy pod kątem oznak manipulacji użytkownikiem.”
b. Jakie środki bezpieczeństwa i kontroli powinny być wprowadzone, aby zminimalizować ryzyko nadużycia takich narzędzi w przyszłości?
Ważnym krokiem są działania na rzecz bezpieczeństwa, które prowadzi samo OpenAI – autorzy piszą, że “sformalizowali porozumienia z amerykańskimi i brytyjskimi instytucjami zajmującymi się bezpieczeństwem AI” - ale nadal jest to wewnętrzny zespół tej firmy, więc nie jest w pełni bezstronny. Potrzebne byłoby zewnętrzne, niekomercyjne ciało, które mogłoby testować tego typu systemy. Ponadto na ten moment to OpenAI decyduje, kiedy wypuszcza model na produkcję. Takich rzeczy nie robimy np. w przemyśle lotniczym. Nie wsiadamy do samolotu, który przeszedł tylko wewnętrzne testy producenta, w oparciu jego własne procedury.
c. Dlaczego rozwiązanie zadań na olimpiadzie informatycznej jest tak przełomowe?
To tylko jakiś wycinek kompetencji. Kluczem jest tutaj "Learning to reason". Olimpiady były tym miejscem, gdzie nie chodzi tylko o bierne przetwarzanie wiedzy, ale o wnioskowanie i znajdywanie nowych rozwiązań.
d. Czy uważasz, że istnieje realne ryzyko masowych zwolnień pracowników z powodu rozwoju technologii AI?
Ten scenariusz wydaje się bardzo realny. Na pewno znacząco wpłynie to na rynek programistyczny. Co raz więcej i co raz bardziej rozbudowanych zadań programistycznych można rozwiązać odpowiednim promptem.
e. Jakie sektory gospodarki mogą najbardziej zyskać na wdrożeniu takich narzędzi, a które mogą najbardziej ucierpieć?
Na razie sektory gospodarki, które wymagają pracy fizycznej nie są tak bardzo zagrożone, gdyż hardware (roboty) nie są tak zaawansowane. Najbardziej zagrożone są branże związane, z programowaniem, przetwarzaniem danych, etc.
f. Czy widzisz ryzyko, że AI tego typu może pogłębić nierówności społeczne, np. poprzez wykluczenie osób bez dostępu do nowoczesnych technologii?
Myślę, że dostęp do narzędzi tego typu bardzo pogłębi nierówności społeczne. W wielu branżach pozwoli pracować na przykład 10x szybciej niż osoby, które nie posiadają takiego dostępu. Myślę, że bardzo może ucierpieć branża usług wspólnych, które aktualnie duże korporacje outsourcingują do Polski. Myślę, że dzięki takim modelom możliwy będzie reshoring i wiele z tych prac wróci do US.
dr Łukasz Kuciński, Senior Research Scientist, grupa badawcza “Bezpieczeństwo systemów i prywatność danych” IDEAS NCBR
W nowym ChatGPT o1-preview następuje zmiana paradygmatu w dziedzinie uczenia maszynowego: zamiast skupiać się wyłącznie na skalowaniu czasu treningu modeli, OpenAI koncentruje się na skalowaniu czasu ich inferencji. Zgodnie z “Gorzkimi lekcjami” Richarda Suttona, dwie techniki efektywnie skalują się wraz ze wzrostem mocy obliczeniowej: uczenie i wyszukiwanie.
ChatGPT o1-preview demonstruje, jak w praktyce można zaimplementować paradygmat skalowania czasu inferencji w środowisku produkcyjnym. W tym podejściu zamiast jednej krzywej zależności między mocą obliczeniową a efektywnością treningu, pojawiają się dwie krzywe: jedna dotycząca treningu (train-compute) i druga inferencji (test-compute). Takie podejście może pomóc ominąć problem malejących korzyści wynikających z dalszego skalowania mocy obliczeniowej podczas treningu modeli, znany jako “diminishing returns” w prawach skalowania treningu.
Istnieje możliwość, że duże modele nie są niezbędne do efektywnego rozumowania. ChatGPT o1-preview pokazuje, że można oddzielić proces rozumowania od samej wiedzy, tworząc model specjalizujący się w rozumowaniu, który potrafi delegować zapytania do innych systemów lub źródeł informacji, takich jak weryfikatory czy bazy danych. W ten sposób można znacząco zredukować zapotrzebowanie na moc obliczeniową.
Szczegóły dotyczące trenowania tego modelu nie są w pełni znane publicznie. Dotyczy to aspektów takich jak trening z wykorzystaniem metody “chain-of-thought” wspieranej przez uczenie ze wzmocnieniem (reinforcement learning), definicja funkcji nagrody, kryteria sukcesu, zastosowane metody wyszukiwania oraz koszty obliczeniowe związane z użyciem CPU i GPU.
Obecna konfiguracja modelu może być wykorzystana do samodoskonalenia, podobnie jak w przypadku algorytmów takich jak Monte Carlo Tree Search (MCTS) zastosowanych w AlphaGo. Można to porównać do koncepcji dwóch systemów myślenia: Systemu I, reprezentującego szybkie i intuicyjne reakcje, oraz Systemu II, odpowiadającego za bardziej refleksyjne i świadome rozumowanie, jak w metodzie “chain-of-thought” zastosowanej w ChatGPT o1-preview.
Zastosowanie metody “chain-of-thought” (CoT) potencjalnie zwiększa wytłumaczalność modeli oraz ułatwia badanie ich bezpieczeństwa poprzez wgląd w proces rozumowania. Ponadto, istnieje możliwość skalowania czasu inferencji modelu. Gdyby pozwolić modelowi “myśleć” przez dłuższy okres, na przykład dni czy tygodnie, być może mogłoby to doprowadzić do przełomowych odkryć naukowych, takich jak opracowanie leku na raka, stworzenie nowych technologii magazynowania energii czy rozwiązanie jednego z problemów milenijnych.