Синьхуа, Пекин, 14 июля (Синьхуа) — China Telecom совместно с Пекинским университетом почты и телекоммуникаций и Лабораторией Пэнчэн завершила испытания кросс-модальной семантической связи на геостационарном спутнике на базе спутника AsiaSat-9 с использованием базы знаний. В ходе испытаний семантическая база знаний была объединена с технологией совместного кодирования источника и канала. При сопоставимом качестве видео эффективность передачи по линии «спутник-Земля» в 5,5 раза превысила показатели традиционной схемы H.264 и в 3,5 раза — схемы H.265.
Традиционная спутниковая видеосвязь требует покадрового сжатия и передачи непрерывных видеопоследовательностей, что приводит к большому объему данных и подвержено влиянию ограничений пропускной способности спутникового канала, задержек и колебаний канала. В ходе данного испытания полная передача всех видеокадров не осуществлялась. Вместо этого видеоконтент был разделен на ключевые и неключевые кадры: ключевые кадры передавались напрямую с помощью совместного кодирования источника и канала, а неключевые кадры преобразовывались в текстовые векторы из базы знаний, заменяя многомерные данные изображения низкоразмерными семантическими данными.
В испытательной системе доля ключевых кадров в видео была сжата примерно до 0,5%. Для каждого 6-секундного видео для передачи изображения выбирался только один ключевой кадр, а остальные почти 200 кадров отображались в текстовые векторы. После получения ключевого кадра и семантических векторов приемная сторона восстанавливала видеоконтент с использованием базы знаний, тем самым уменьшая объем данных, которые необходимо передавать по линии «спутник-Земля».
Технология совместного кодирования источника и канала объединяет этапы сжатия видео и канального кодирования из традиционных схем, позволяя системе кодирования напрямую оптимизировать представление и передачу информации в зависимости от состояния спутникового канала. При ограниченной пропускной способности или изменении качества канала система в первую очередь сохраняет основные объекты сцены, взаимосвязи действий и ключевое содержание, а не восстанавливает исходные видеоданные побитово.
Результаты тестирования показали, что при значении индекса Фреше для сгенерированного видео ниже 50 и сохранении сопоставимого качества изображения данная схема значительно сокращает объем данных, передаваемых по линии «спутник-Земля», по сравнению с кодированием H.264 и H.265. Технологический акцент смещается с «передачи полных пикселей» на «передачу ключевых кадров и семантической информации», что позволяет геостационарным спутниковым линиям передавать видеоконтент с использованием меньшего объема данных.
Данное испытание подтвердило комбинированное применение базы знаний, кросс-модального отображения и совместного кодирования источника и канала в геостационарной спутниковой связи. Соответствующие методы в дальнейшем могут быть использованы для ретрансляции спутникового видео, удаленного мониторинга, экстренной связи и передачи мультимодальной информации в условиях ограниченной пропускной способности.