Ученые Северного Кипра создали софт для преобразования языка жестов в текст
Инженеры исследовательского центра Ближневосточного университета разработали программу, которая превращает язык жестов в письменный текст.
Данное ПО позволит людям с нарушениями слуха и речи общаться со слышащими людьми, которые не знают языка жестов.
Инженеры NEU предварительно обучили программу распознавать движения рук человека и преобразовывать эти знаки в текст. Во-первых, инженеры использовали 3D-камеру для отслеживания и записи движения рук и разработали программное обеспечение и предварительно обучили его обнаруживать руки и знаки на изображении с помощью метода обнаружения объектов, мощного алгоритма глубокого обучения. Затем каждое движение рук на изображении сопоставлялось с буквой с помощью техники классификации объектов, чему обучался компьютер. Используя почти 5 тысяч изображений рук и набор данных, состоящий примерно из 50 тысяч изображений на 28 букв, соответствующих движениям рук, система была запрограммирована на идентификацию руки и преобразование знаков в письменный текст. Таким образом, программа приобрела способность обнаруживать движения рук человека, говорящего на языке жестов перед камерой, и преобразовывать эти знаки в письменный текст.
В данный момент инженеры тестируют использование приложения на мобильных телефонах. После этого планируется разработать программу, способную преобразовать письменный текст и устную речь в язык жестов. Таким образом, будет обеспечена связь между слышащим и инвалидом по слуху.