Opis područja istraživanja i specifičnih aktivnosti

 Opis laboratorija i opreme

Grupa koristi dva laboratorija: Laboratorij za biomehaniku, automatiku i sustave te Laboratorij za ekspertne sustave, strojno učenje i obradu slika. Laboratoriji su opremljeni s raznovrsnim uređajima za mjerenja u biomehanici (platforma sila, EMG, inercijalni senzori XSens) i prikupljanje slika (standardi kamkorderi, 3D kamere i brze kamere, …), kao i drugim uređajima za prikupljanje signala (senzorska rukavica, akcelerometri, Kinect). Osim navedenog laboratoriji su opremljeni i s nekoliko bespilotnih letjelica, mobilnim robotskim platformama, kompletima za robotiku (Arduino, NXT Mindstorm) te više vrsta ugradbenih računala za primjenu u robotici.

Kontakti s akademskim i drugim institucijama:

– Kineziološki fakultet Sveučilišta u Splitu (prof.dr.sc. Nenad Rogulj);
– Prirodoslovno-matematički fakultet Sveučilišta u Splitu;
– Hrvatska gorska služba spašavanja;
– Univerzitet Crne Gore, Elektrotehnički fakultet, CG;
– Univerza v Ljubljani, Fakulteta za računalništvo i informatiku, SLO;
– Univerza v Ljubljani, Fakulteta za elektrotehniko, SLO;
– University of Glasgow, Scotland;
– University of Leeds, UK
– Slovak University of Technology, Bratislava, Institute of Robotics and Cybernetics, SK;
– Hochschule Bonn-Rhein-Sieg, Institute of Visual Computing, D.

Opis dosadašnje suradnje s akademskim i drugim institucijama

– Zajednički rad na ekspertnom sustavu za otkrivanje talenata u sportu i analizi sportskih događanja (suradnja s Kinezološkim fakultetom);
– Istraživanja metoda za pronalaženje ljudi temeljem analize slika (HGSS, PMF, Split);
– Razvoj algoritama detekcije objekata (bilateralni projekt s Crnom Gorom, University of Leeds);
– Istraživanja novih algoritama i metoda detekcije i analize pokreta (Univerza v Ljubljani)
– Istraživanje primjene neuralnih mreža s primjenom na mobilnu robotiku (- Hochschule Bonn-Rhein-Sieg);
– Istraživanje mogućnosti primjene haptičkih sučelja za upravljanje mobilnim robotima (Univerza v Ljubljani);
– Istraživanje modela okoline mobilnog robota pri upravljanju s udaljene lokacije (Slovak University of Technology Bratislava).

B) OPIS ISTRAŽIVANJA

1. Naslov teme istraživanja i akronim:

Računalna inteligencija za prepoznavanje i potporu ljudskih aktivnosti (RIPrePAkt)

2. Opis istraživanja za razdoblje od 5 godina

Istraživanja u okviru ovog projekta obuhvaćaju razvoj sustava za nadzor granica i potrage za ljudima temeljem analize slika prikupljenih iz zraka kao i razvoj algoritama računalnog vida koji za cilj imaju robusno praćenje ljudi i objekata s ciljem implementacije u različitim aplikacijama nadzora otvorenih i zatvorenih prostora te analize sportskih događanja. Za realizaciju ovakvog sustava prijavljen je IRI projekt u suradnji s tvrtkom Statim d.o.o. Također je prijavljen projekt u sklopu CEKOM-a kao i INTERREG projekt, u sklopu kojih se planira razvijati softver i sklopovlje za nadzor i obradu slika prikupljenih iz zraka za različite vrste aplikacija. Prijavljena su i dva nova bilateralna projekta (Austrija – voditelj Vladan Papić i Njemačka – voditelj Josip Musić) koja su također vezana uz nova istraživanja u području robotike, umjetne inteligencije i obrade slika. Još jedan bilateralni projekt je u fazi pripreme.
Za uspješnu realizaciju zadataka koji se planiraju provoditi u kako u ovom projektu, a tako i u projektima koji su prijavljeni za financiranje od posebne su važnosti istraživanja u području obrade digitalnih slika, robotike, strojnog učenja (prepoznavanje i klasifikacija), formiranja sustava temeljenih na znanju i ubrzavanja obrade velikih količina podataka korištenjem grafičkih procesora i paralelizacijom. Očekuje se predlaganje novih sustava koji koriste danas i u skoroj budućnosti dostupne napredne senzore. Također, posebna pažnja će se posvetiti razvoju i implementaciji novih, inteligentnih sustava koji koriste duboke neuronske mreže za klasifikaciju i raspoznavanje objekata te donošenje ispravnih odluka u nepoznatim okruženjima.

3. Program rada za razdoblje od 5 godina

Sukladno ovom kako i ostalim prijavljenim i pripremljenim projektima, istraživanja će se provoditi u smjeru razvoja inteligentnih sustava koji će koristiti i obrađivati u realnom vremenu (ili približno realnom vremenu) podatke prikupljene s različitih senzora te ih koristiti za nadzor terena, potrage i druga mjerenja. Fokus će biti na prikupljanje i obradu slika bespilotnim letjelicama kao i razvoj novih algoritama koji koriste duboke neuronske mreže ali i druge pristupe koji koriste različita znanja pohranjena u odgovarajućim bazama. Razumijevanje slika te korištenje konteksta prilikom klasifikacije i prepoznavanja biti će od jedan od smjerova istraživanja.
Prilikom razvoja navedenih sustava biti će potrebno i formirati nove baze slika i podataka te implementirati dio obrade na samim letjelicama. Očekuje se i potreba uključivanja novih istraživača radi zahtjeva za brzi prijenos velike količine podataka u područjima gdje mrežna infrastruktura to ne podržava.
Istraživanje se neće ograničiti samo na obradu 2D signala već će se nove metode i algoritmi primjenjivati i općenito u području obrade signala (1D, 2D, …).
U području robotike istraživanje bi se razvijalo u tri pravca. Prvi pravac je primjena modernih neuralnih mreža u području percepcije okoline od strane mobilnih robota i u skladu s time izgradnja boljeg modela okoline (posebno kod upravljanja s udaljene lokacije). Drugi pravac istraživanja bi se također bazirao na modernim neuralnim mrežama ali sada s aspekta autonomnog upravljanja u nepoznatom okruženju. Konačno, treći pravac istraživanja bi se bavio razvojem inovativnih multimodalnih upravljačkih sučelja koja uključuju nekoliko ljudskih osjetila (npr. vid, sluh, osjet) temeljem raspoloživih senzorskih podataka i time povećavaju pouzdanost i točnost upravljanja mobilnim robotima.
U sljedećih pet godina očekuje se obrana bar dva doktorska rada iz područja istraživanja (S. Kružić, M. Kundid) te jačanje povezivanja s istraživačkim grupama iz Europe kao i s tvrtkama iz okruženja.
Pokretanje novih projekata znači i značajno povećanje broja novih istraživača(3-7) koji će biti angažirani na njihovoj provedbi.