Czy AI pisze lepsze raporty niż eksperci? Przełomowa publikacja PARP i USWPS pokazuje, jak sztuczna inteligencja zmienia reguły gry

PARP i Uniwersytet SWPS oddają w ręce czytelników praktyczny przewodnik po świecie generatywnej AI, który nie tylko wyjaśnia potencjał tej technologii, lecz przede wszystkim pokazuje, jak wykorzystać ją w codziennej pracy instytucji publicznych. Publikacja pełna jest konkretnych narzędzi, praktycznych wskazówek i obrazowych przykładów. Największe emocje budzi opis eksperymentu, w którym dokumenty stworzone przez AI zostały ocenione przez odbiorców jako bardziej wartościowe niż opracowania eksperckie. To odpowiedź na rosnące zapotrzebowanie na skuteczne, nowoczesne rozwiązania dla administracji, która każdego dnia mierzy się z wyzwaniami analitycznymi, diagnostycznymi i komunikacyjnymi.

Jednym z intrygujących punktów opracowania jest eksperyment, który rzuca nowe światło na możliwości generatywnej sztucznej inteligencji. Jednostka Ewaluacyjna PARP wspólnie z Krajową Jednostką Ewaluacji postanowiła sprawdzić, czy AI potrafi stworzyć dokumenty analityczne dorównujące, a nawet przewyższające jakością prace zespołu ekspertów. Na potrzeby badania przygotowano dwie wersje tego samego opracowania: jedną stworzoną tradycyjnie przez ludzi, drugą – wygenerowaną przez AI na podstawie kilku prostych pytań. Oba dokumenty trafiły do oceny uczestników konferencji i członków zespołu sterującego, którzy nie wiedzieli, kto jest autorem tekstu. Oceniali je według jasnych kryteriów merytorycznych i redakcyjnych.

Wynik? Zaskoczenie nawet wśród największych sceptyków nowych technologii. W każdej kategorii wyżej oceniono dokument przygotowany przez AI – średnia ocen wyniosła 4,3–4,4 w pięciopunktowej skali, podczas gdy opracowanie eksperckie uzyskało noty w przedziale 3,8–4,1. Recenzenci podkreślali spójność, przejrzystość i kompletność wersji AI.

To właśnie ten eksperyment stał się impulsem do powstania publikacji i rozpoczęcia szerokiej dyskusji o tym, jaką rolę w świecie analiz i ewaluacji programów może odgrywać sztuczna inteligencja – i jak zmienia się miejsce człowieka w procesie tworzenia wysokiej jakości polityk opartych na dowodach pochodzących z badań.

– Nasz eksperyment sprzed kilku miesięcy, wywołał wiele reakcji i inspirujących komentarzy, czym zachęcił nas do pójścia o krok dalej. Udało się zgromadzić zespół wybitnych ekspertów - innowatorów i entuzjastów (choć niebezkrytycznych) nowej technologii gen AI, będących jednocześnie świetnymi fachowcami w dziedzinie badań, analiz i komunikacji. Autorzy dostarczają wartościowych wskazówek dla producentów wiedzy i twórców szeroko rozumianego contentu, jak można pracować w nowej rzeczywistości wykorzystując potencjał AI, nie zaklinając rzeczywistości jak gdyby nigdy nic. Jednocześnie nasza książka to zaproszenie, które kierujemy do Czytelników – zaproszenie do eksperymentowania z nowymi narzędziami gen AI, do rozwijania dobrych praktyk, które prezentujemy, a przede wszystkim do dyskusji nad możliwościami i wyzwaniami pracy w nowym modelu „co-intelligence” – podkreśla Jacek Pokorski, zastępca dyrektora Departamentu Analiz i Strategii PARP, współautor i współredaktor publikacji.

– Książka odpowiada na pytanie: Jak możemy konstruktywnie współpracować z AI? Pokazujemy, od czego zacząć, na co zwrócić uwagę, z jakimi elementami eksperymentować. To coś więcej niż zbiór przykładów. W książce wyjaśniamy mechanizmy i pokazujemy strategie współpracy z AI – czyli kwestie, które będą aktualne niezależnie od wersji modelu, z którym pracujemy. Nazwaliśmy to architekturą współpracy z gen AI. Nasza architektura współpracy z gen AI to cztery rodzaje wyborów, które mogą kształtować użytkownicy: rola i zadania dla AI, wybór technologii/platformy, sposoby interakcji z gen AI, dobór zasobów informacyjnych, na których AI pracuje. Tak więc nasza publikacja to poradnik pracy, a raczej współpracy z gen AI. – dodaje dr hab. Karol Olejniczak, kierownik Centrum Projektowania i Ewaluacji Polityk Publicznych Uniwersytetu SWPS.

Publikacja PARP i Uniwersytetu SWPS pokazuje, że generatywna sztuczna inteligencja może wspierać jednostki analityczno-badawcze na każdym etapie ich pracy. AI pomaga już na samym początku – przy identyfikacji potrzeb wiedzy czy planowaniu badań – a także w trakcie realizacji projektów, analizie danych i przygotowywaniu raportów. Sztuczna inteligencja usprawnia zarówno analizy jakościowe, jak i ilościowe, automatyzuje przeglądy źródeł, wspiera kodowanie danych oraz ułatwia syntezę i interpretację wyników.

W publikacji podkreślono rosnącą rolę AI w komunikacji dowodów naukowo-badawczych pochodzących z procesów ewaluacyjnych – dzięki zastosowaniu odpowiednich technologii, możliwe staje się dopasowanie formy i treści raportów do różnych grup odbiorców, co zwiększa użyteczność wyników badań. Wszystkie te zastosowania zilustrowano przykładami z pracy instytucji publicznych, pokazując, jak AI realnie skraca czas realizacji zadań, zwiększa efektywność i poprawia jakość analiz. Autorzy zaznaczają przy tym, że skuteczne wdrożenie AI w ewaluacji polityk publicznych to nie tylko kwestia technologii, ale także rozwijania nowych kompetencji i redefinicji roli człowieka w procesach badawczych.

Sztuczna inteligencja rozwijana w Polsce coraz śmielej wchodzi do sektora publicznego. Modele językowe takie jak Bielik i PLLuM to fundamenty budowanego właśnie lokalnego ekosystemu AI, który odpowiadać ma na konkretne potrzeby administracji – od języka urzędowego, przez analizy prawnicze, po automatyzację dokumentów. Oba modele powstały z myślą o specyfice języka polskiego, której nie uwzględniają globalne, anglojęzyczne systemy.

Twórcy publikacji podkreślają, że kluczem do efektywnego wykorzystania gen AI w administracji nie jest zastąpienie człowieka, ale połączenie technologii i ekspertyzy. Sztuczna inteligencja powinna służyć jako partner – automatyzować rutynowe zadania, przyspieszać przetwarzanie informacji i pomagać w przygotowywaniu wstępnych wersji raportów, które następnie trafiają w ręce specjalistów, aby sformułowali wnioski. Równocześnie eksperci zwracają uwagę na potrzebę rozwoju nowych kompetencji wśród pracowników administracji oraz tworzenia jasnych zasad i standardów etycznych dla odpowiedzialnego wdrażania tej technologii.

Choć generatywna AI otwiera nowe możliwości w sektorze publicznym, jej wdrażanie wiąże się z istotnymi wyzwaniami. Autorzy książki podkreślają, że kluczowe znaczenie mają kwestie bezpieczeństwa i transparentności procesu generowania treści. Sztuczna inteligencja musi być wykorzystywana w sposób odpowiedzialny – z zachowaniem jasnych standardów etycznych i prawnych, które minimalizują ryzyko błędów i nadużyć. W praktyce oznacza to konieczność opracowania wewnętrznych procedur, kodeksów postępowania oraz systemów „drugiego spojrzenia”, które zapewnią kontrolę człowieka nad kluczowymi procesami i pozwolą na bieżąco weryfikować efekty działania AI. Istotnym wyzwaniem pozostaje także rozwój kompetencji cyfrowych pracowników administracji oraz budowanie zaufania społecznego do nowych technologii, co wymaga ciągłego dialogu, edukacji i przejrzystości we wdrażaniu rozwiązań generatywnej AI.

Odpowiedzialne podejście do wdrażania AI to nie tylko warunek skutecznej cyfrowej transformacji sektora publicznego, lecz także szansa na budowanie niezależnego, krajowego zaplecza technologicznego i wzmacnianie zaufania obywateli do nowoczesnej administracji.

Publikacja „Generatywna AI w badaniach. Praktyczne zastosowania w ewaluacji polityk publicznych” jest dostępna na stronie PARP.