System informatyczny
wspierający komunikację w języku migowym
w instytucjach użyteczności publicznej

 Projekt współfinansowany przez Narodowe Centrum Badań i Rozwoju w ramach programu TANGO

Cel projektu

Stworzenie interfejsu człowiek – komputer, wspomagającego komunikację osoby posługującej się językiem migowym z osobą, która nie zna tego języka.
Wypowiedzi migowe ze zdefiniowanego obszaru tematycznego będą obserwowane przez kamerę i na bieżąco tłumaczone przez komputer na język mówiony lub pisany.
Tłumaczenie w drugą stronę będzie miało formę odpowiednio przygotowanego filmu w języku migowym. Film ten może być uzupełniony informacjami o charakterze ikonicznym, np. mapa, plan pomieszczenia, zdefiniowanymi przez użytkownika z klawiatury lub głosowo.
Budowa systemu będzie miała charakter ogólny, jednak ze względu na zasób wypowiedzi, pilotażowe zastosowanie zostanie ukierunkowane na konkretną instytucję.    

Sposób działania

Podstawowy sposób komunikacji wykorzystuje język migowy. To znaczy, że tego języka używa osoba głuchoniema (OG) do formułowania swoich wypowiedzi i w takim języku otrzymuje przetworzone wypowiedzi osoby słyszącej (OS).
Przez język migowy rozumie się polski język migowy lub system językowo migowy, w zależności od preferencji OG.
OS otrzymuje przetłumaczone na tekst lub mowę wypowiedzi OG. Sama przedstawia swoje wypowiedzi w formie tekstu lub mowy, tłumaczonych następnie przez system informatyczny na język migowy.

Analizy rynkowe

Przeprowadzono analizy rynkowe diagnozujące zapotrzebowanie na system. 
Badania wykazały m. innymi, że gdyby osoby niesłyszące mogły w pełni korzystać z proponowanego systemu informatycznego, uzyskałyby poczucie niezależności i pewności siebie oraz nie byłyby zmuszone do szukania pomocy innych osób.
Komputerowy system komunikacji byłby korzystny dla osób głuchych, ponieważ urzędnicy znający język migowy, ze względu na małe doświadczenie, nie są w stanie wszystkiego zrozumieć.

UMOWA Nr TANGO1/270034/NCBR/2015 O WYKONANIE I FINANSOWANIE PROJEKTU REALIZOWANEGO W RAMACH PRZEDSIĘWZIĘCIA NCBR "TANGO"

Patent

Urząd Patentowy RP po rozpatrzeniu zgłoszenia oznaczonego numerem P. 417307 udzielił 04.12.2018 r. Politechnice Rzeszowskiej patentu na wynalazek: "Układ wspomagający komunikowanie się osób głuchoniemych z osobami słyszącymi i sposób wspierania takiego komunikowania się".

Informacje w mediach

Dziennik Gazeta Prawna: Język migowy zrozumiały dla każdego. Dzięki SyKoMi [Eureka! DGP], 18.01.2019, LINK

TVP3: "Spotkanie w świecie ciszy", 1.12.2018  LINK

TVP, Teleexpress: Tłumacz migania, 23.05.2016 LINK

TVP3 Rzeszów: Czytnik Języka Migowego - patent rzeszowskich naukowców, 19.05.2016 LINK

  Politechnika Rzeszowska
Katedra Informatyki i Automatyki

Zespół Wizji Komputerowej i Optymalizacji

Budynek D, pokój 203b
ul. W. Pola 2
35-959 Rzeszów

Telefon: (0-17) 8651225, (0-17) 8544825
Fax: (0-17) 8542910