Zespół ze szwajcarskich instytutów SUPSI i IDSIA (USI-SUPSI) oraz Politechniki Mediolańskiej zbudował system, który uczy humanoidalnego robota gry na perkusji w tempie i złożoności bliskiej człowiekowi. W symulacji na humanoidzie Unitree G1 robot wykonywał całe utwory, a nie tylko pojedyncze uderzenia, osiągając ponad 90% dokładności rytmicznej.
To jeden z pierwszych tak kompletnych pokazów „twórczej” sprawności maszyny, dotąd kojarzonej raczej z podnoszeniem pudeł czy pracą w magazynie.
Jak to działa: od pliku muzycznego do sekwencji uderzeń
Sercem rozwiązania jest uczenie maszynowe, które tłumaczy nagranie na tzw. „łańcuch kontaktów” – precyzyjnie zaplanowaną sekwencję uderzeń w talerze i bębny z dokładnymi znacznikami czasu. Robot ćwiczy w wirtualnym środowisku, optymalizując trajektorie rąk i rozkład ruchów. W efekcie wykształca zachowania przypominające ludzką technikę: krzyżowanie rąk nad werblem, płynne „podmiany” pałeczek między rękami czy minimalizowanie niepotrzebnych przesiadek po zestawie.
Naukowcy sprawdzali system na utworach o różnym charakterze: od jazzu („Take Five” Dave’a Brubecka), przez rock („Living on a Prayer” Bon Jovi), po nu-metal („In the End” Linkin Park). W wielu przypadkach robot utrzymywał ponad 90% precyzji względem siatki rytmicznej, a dodatkowo „planował” przyszłe uderzenia, by zdążyć na czas do kolejnego elementu zestawu.
Po co to komu: scena, edukacja, a nawet… precyzyjne zawody
Choć projekt powstał z ciekawości (dosłownie – z rozmowy „przy kawie”), ma realne zastosowania. Po pierwsze, to krok w stronę robotów-muzyków zdolnych do gry na żywo – czy to jako ciekawostka sceniczna, czy wsparcie w projektach multimedialnych. Po drugie, sam „silnik” czasowania i koordynacji można wykorzystać poza muzyką: w nauce precyzyjnych umiejętności motorycznych, w rehabilitacji ruchowej czy wszędzie tam, gdzie liczy się ułamki sekund i powtarzalność.
Robot grający na perkusji utwór Eagles – Hotel California / Źródło: Youtube, Robot-Drummer
Kolejny etap to przeniesienie zdolności z wirtualnego świata na realną perkusję. To znacznie trudniejsze zadanie: pojawiają się opóźnienia czujników, śliskie pałeczki, elastyczne membrany bębnów i cała paleta „niedoskonałości” rzeczywistości. Zespół zapowiada też naukę improwizacji, tak by robot reagował na muzyków w czasie rzeczywistym – nie tylko odtwarzał zapis, ale wchodził z zespołem w dialog rytmiczny.
- R1 już w sprzedaży. To wyjątkowy humanoidalny robot
Szerzej w tle: sztuka jako poligon dla robotów
Robot-perkusista wpisuje się w szerszy trend przenoszenia humanoidów poza fabryki. W sztuce widać to coraz częściej – od robotów-marimbistów po systemy akompaniujące DJ-om. Najnowsza praca zespołu (preprint na arXiv) pokazuje, iż kreatywne dziedziny świetnie „testują” robotykę: wymagają koordynacji, ekspresji i mikrotimingów, których nie da się pominąć prostym skryptem. jeżeli plan „wyjścia na scenę” się powiedzie, być może niedługo zobaczymy pierwsze koncerty, w których metronomem jest… humanoid, i to takim, który nie „gubi” werbla.
Źródło: arxiv.org , Zdjęcie otwierające screen z YT
