UEA представили разработку чтения по губам в Шанхае
Наука и техника
UEA представили разработку чтения по губам в Шанхае
12:30 02.04.2016
444
Рассказать друзьям

Ранее мы сообщали о методике чтения по губам, разработанной в Университете Восточной Англии. Исследователи представили свою разаработку в Шанхае на конференции ICASSP. Созданная компьютерная система способна читать человеческую речь по движению губ.

Разработанная исследователями программа анализирует видео, захватываемое с помощью камер. Речь человека была разделена на две составляющие — фонемы и виземы, которые представляют собой визуальный эквивалент фонем. При этом оказалось, что фонем больше, чем визем, для системы распознания потребовалась двухуровневая иерархическая система.

Сначала учёные обучали классификаторы соотносить виземы со звуками, затем количество классификаторов было увеличено с тем, чтобы каждой виземе соответствовало несколько фонем. 

Эффективность созданной системы пока невелика. При распознании непрерывной речи машина понимает точно 10–15% сказанного, когда произносятся отдельные фонемы, этот показатель возрастает до 25-и%.

Британские учёные научили компьютер читать по губам

Учёные надеются усовершенствовать систему, чтобы применять её в ситуациях, когда голоса на записи плохо слышны или аудиодорожка испорчена. Компьютерное чтение по губам также может быть востребовано в криминалистике.

Интересное в разделах на сайте
Перлини української класики (збірник)
Леся Українка Іван Якович Франко Михайло Михайлович Коцюбинський Тарас Григорьевич Шевченко Василь Стефаник Микола Хвильовий Григорій Квітка-Основ’яненко Iван Нечуй-Левицький
Джейсон Борн
2016, Великобритания, Китай, США