Pojawienie się sztucznej inteligencji w branży technologicznej wywołało wiele ważnych pytań dotyczących tego, jak zabezpieczyć procesy rekrutacyjne na przyszłość. W N-iX przeprowadziliśmy eksperyment, aby zbadać możliwości i ograniczenia modeli językowych zasilanych sztuczną inteligencją w branży rekrutacyjnej.
Zaprosiliśmy ChatGPT, model językowy oparty na sztucznej inteligencji, aby pomóc udawanemu „Kandydatowi” podczas rekrutacji na stanowisko starszego inżyniera .NET. Wynik był całkiem zaskakujący.
Kulisy eksperymentu z udziałem ChatGPT
Trochę kontekstu: W zeszłym roku, podczas naszego miesiąca .NET, zorganizowaliśmy quiz dla społeczności technicznej w N-iX. Zaskoczeniem było to, iż Data Engineer bez wcześniejszego doświadczenia w .NET uzyskał najwięcej punktów za poprawne odpowiedzi. Skłoniło nas to do zastanowienia się nad możliwością zhakowania naszego najważniejszego quizu, od którego wyniku zależy, czy kandydat dostanie pracę.
Po zdobyciu popularności przez ChatGPT zdecydowaliśmy z Olesiem Labą, Data Competence Lead w N-iX, przeprowadzić otwarte wywiady na stanowisko Senior .NET Engineer, gdzie Oles jako „Kandydat” bez doświadczenia w .NET, będzie odpowiadał na wszystkie pytania rekrutacyjne przy pomocy ChatGPT. Podczas tej zainscenizowanej rozmowy N-iX-erzy oceniali, czy „Kandydat” powinien dostać tę pracę. Do końca nie byliby świadomi, iż „aspirujący na stanowisko” jest w rzeczywistości modelem językowym opartym na sztucznej inteligencji.
Zadaliśmy więc nasze standardowe pytania na temat .NET do ChatGPT i otrzymaliśmy odpowiedzi. Większość z nich wymagała skrócenia z powodu nadmiaru informacji. Zaskoczył nas fakt, iż zarówno recenzja kodu, jak i projektowanie systemu, które wcześniej stosowaliśmy w naszych rozmowach kwalifikacyjnych, zostały łatwo złamane przez ChatGPT.
Wywiad był gotowy, a „kandydat” przygotowany do wyzwania. Ponad 100 pracowników N-iX zgromadziło się, aby ocenić udawaną rozmowę kwalifikacyjną.
Jak wyglądała rozmowa rekrutacyjna?
Podczas rozmowy okazało się, iż ChatGPT nie jest zwykłym modelem językowym AI. Program dawał wnikliwe i kreatywne odpowiedzi, które pokazywały głębokie zrozumienie struktury .NET oraz języka programowania. Nasz interviewer Yaroslav, który przeprowadził setki wywiadów technologicznych w swojej karierze, nie mógł uwierzyć, iż to odpowiedzi AI.
Obserwujący pracownicy N-iX byli pod wrażeniem wyniku. „Kandydat” większością głosów został uznany za odpowiedniego do roli Senior .NET Engineer. Wyglądało na to, iż ChatGPT zdał ostateczny test – rozmowę kwalifikacyjną – celująco.
Po ujawnieniu prawdy o kandydacie publiczność była zszokowana. W dalszej dyskusji zebrani zdali sobie sprawę, iż w otrzymanym rezultacie nie ma nic złego.
Jakie wnioski wyciągnęliśmy?
Ostatecznie zdecydowaliśmy się nie zatrudniać ChatGPT na stanowisku starszego inżyniera .NET, ale eksperyment nauczył nas cennej lekcji. AI może być przełomem w procesie rekrutacji, a nowe narzędzia AI mogą pomagać w codziennych zadaniach programistycznych. To zależy od nas, jak wykorzystamy jego możliwości i ograniczenia.
Według wewnętrznych badań N-iX (które nie są ogólnie obowiązujące i reprezentatywne), zadania takie jak badanie nowych funkcji, tworzenie kodu podstawowego i generowanie testów można przyspieszyć dzięki ChatGPT o średnio 40 proc.
Podczas dyskusji z naszą wyreżyserowaną publicznością przeprowadziliśmy kilka rozmów, które mogą pomóc w zapewnieniu odporności na AI w procesie rekrutacyjnym:
- Modele językowe oparte na sztucznej inteligencji nie są doskonałe. Mimo tego, iż mogą dostarczać dokładne i trafne odpowiedzi na niektóre pytania, wymagają konkretnych sygnałów i mogą przegapić ważne niuanse i kontekst.
- Rekruterzy powinni polegać na własnym osądzie i doświadczeniu przy ocenie kandydatów.
- Przygotuj się do zadawania pytań, na które nie można odpowiedzieć dzięki prostej wyszukiwarki Google lub modelu językowego. Oznacza to zadawanie pytań otwartych, które wymagają od kandydatów zademonstrowania umiejętności rozwiązywania problemów i krytycznego myślenia.
- Zadawaj konkretne pytania oparte na CV kandydata i skupiaj się na wyzwaniach związanych z jego wcześniejszym doświadczeniem.
- Przerywaj kandydatowi i dodawaj kontekst do dyskusji w oparciu o informacje spoza bazy wiedzy modelu językowego opartego na sztucznej inteligencji.
- Oceń dopasowanie kulturowe: należy pamiętać, iż najlepszy kandydat na dane stanowisko niekoniecznie musi posiadać największą wiedzę techniczną. Weź pod uwagę osobowość, styl pracy i wartości.
