Охота на электроовец. Большая книга искусственного интеллекта - Марков Сергей Николаевич

Более сложный вариант этой задачи — семантическая сегментация [semantic segmentation], она предполагает выявление на изображениях контуров объектов с заданным названием. Модели, предназначенные для её решения, обычно являются гибридами моделей для решения задач обработки естественного языка и моделей для обработки изображений (обычно свёрточных сетей). К их числу относятся, например, сети, построенные из модулей CMPC (Cross-Modal Progressive Comprehension, Кросс-модальное прогрессивное понимание) и TGFE (Text-Guided Feature Exchange, Управляемое текстом извлечение признаков) [1892].

Революция в компьютерном зрении существенно трансформирует многие отрасли общественной жизни, но было бы ошибкой думать, что она уже свершилась или близка к завершению. По всей видимости, длиться, захватывая и коренным образом меняя всё новые и новые стороны труда и быта, она будет ещё довольно долго, потому что создание и внедрение на базе экспериментальных систем действительно массовых продуктов и сервисов зачастую требует немалого времени и серьёзных ресурсов. Причём когда речь идёт об ИИ-технологиях, одни из важнейших необходимых ресурсов — это квалифицированные специалисты и качественно размеченные данные в необходимых объёмах. И именно они зачастую — в дефиците.

6.2.2 Распознавание звука

6.2.2.1 «Тобермори» — фоноперцептрон Розенблатта

Схема устройства «Тобермори», разработанного Розенблаттом совместно с его аспирантом Джорджем Нэйджи, была готова к 1963 г. Технически «Тобермори» представлял собой перцептрон с двумя промежуточными A-слоями, на входе которого находился сенсорный анализатор. На вход анализатора могла подаваться произвольная смесь звуков из следующих источников: с магнитной ленты, от микрофона, от генератора шума, а также от двух аудиоосцилляторов. Пройдя через усилитель, звук попадал в устройство для измерения амплитуды сигнала (используемое для выявления пауз между словами) и в устройство для частотного анализа, представляющее собой набор из 45 аудиофильтров, способных работать на каком-либо из трёх диапазонов частот: 30–4700 Гц, 47–7000 Гц, 60–9400 Гц. Таким образом, на коммутационной панели было доступно два выхода от измерителя амплитуды сигнала (передающих значение амплитуды в моменте, поскольку эта информация в ходе частотного анализа утрачивается, и усреднённое значение амплитуды за некоторый промежуток времени) и 45 выходов от аудиофильтров.

При помощи коммутационной панели любая пара из этих выходов могла быть подключена к одному из 40 дифференциальных усилителей (устройств, выходной сигнал которых пропорционален разности входных напряжений). Поскольку на вход усилителей подавались логарифмические значения амплитуд сигналов, то выход усилителей соответствовал отношению величин сигналов. При этом каждый усилитель имел два выходных канала: первый из них передавал сигнал в случае, если разница входных сигналов усилителя была положительной, а второй — если отрицательной. Каждый из каналов был подключен к пороговому элементу с настраиваемым пороговым значением сигнала. Таким образом, выход сенсорного анализатора в моменте составлял 80 бит. Система объединяла выходы для 20 последовательных временных интервалов, и 1600 полученных двоичных значений поступали на вход искусственной нейронной сети — классического розенблаттовского перцептрона. В выходном слое перцептрона содержалось 12 нейронов, что позволяло различать 2¹² = 4096 звуковых образов (например, слов).

Для обучения «Тобермори» Розенблатт применял записи на магнитной ленте, содержавшие параллельную запись звука (дорожка 1) и цифровые данные (дорожка 2), включающие 12-битную метку ожидаемого ответа перцептрона (по сути — правильную метку класса) [1893].

В системах распознавания речи, созданных спустя более чем полвека после «Тобермори», мы всё ещё можем различить некоторые его черты — например использование частотно-временного представления звукового сигнала.

6.2.2.2 Теория звука и общие соображения о распознавании речи

Звук, вообще говоря, представляет собой распространение в некоторой среде механических колебаний в виде упругих волн. В некоторой точке пространства звук воспринимается как изменение во времени звукового давления — то есть избыточного давления, возникающего в упругой среде при прохождении через неё звуковой волны. Иногда используют такую характеристику, как интенсивность звука, которая пропорциональна квадрату звукового давления и является энергетической величиной, в то время как звуковое давление — величина силовая. Просто записав амплитуду звукового давления через фиксированные интервалы времени, можно получить временно́е представление звука. Выбранная длина интервала времени между замерами определяет частоту дискретизации при оцифровке звука. Например, если такой интервал составляет 1/8000 долю секунды, то говорят о частоте дискретизации, равной 8 кГц, если 1/16000 долю секунды — то 16 кГц. Если вы звоните кому-то по сотовому телефону, использующему для передачи звука сеть GSM, то ваш голос, скорее всего, подвергается оцифровке с частотой в 8 кГц, а это значит, что для передачи одной секунды речи без применения сжатия требуется передать через канал связи 8000 чисел. Частота дискретизации звука чем-то напоминает разрешение цифровой фотокамеры: чем выше разрешение, тем более детальную картинку вы получите, но тем больше она будет «весить». То же самое и с частотой дискретизации: чем она выше, тем меньше потерь происходит при записи звука, но и тем больший объём данных соответствует записи одной и той же длины.

Устройство человеческого уха в чём-то напоминает сенсорный анализатор фоноперцептрона Розенблатта. Пройдя через сложную механику компонентов слуховой системы, звуковые колебания проникают в полость улиткового протока, где расположен Кортиев орган, содержащий особые сенсорно-эпителиальные волосковые клетки, которые через колебания перилимфы и эндолимфы воспринимают слуховые раздражения в диапазоне примерно 16–20 000 Гц. Эти клетки, подобно аудиофильтрам розенблаттовского «Тобермори», реагируют только на определённые частоты колебаний. Сигналы этих рецепторных клеток передаются на нервные окончания VIII пары черепных нервов — преддверно-улиткового нерва, а затем нервный импульс поступает в слуховой центр коры головного мозга.