WedX - журнал о программировании и компьютерных науках

Создание воспроизводимого видеопотока из байтов/кадров Java/Android

У меня есть поток org.webrtc.VideoFrame кадров.

Кадры идут один за другим. Есть ли какая-нибудь библиотека или инструмент для преобразования кадров в поток на лету?

Я мог бы успешно преобразовать эти видеокадры в массив байтов. (аналогично этому вопросу, который использует его для изображения) Android org. массивы webrtc.VideoRenderer.I420Frame в PreviewCallback.onPreviewFrame byte[]

Я хотел бы создать воспроизводимое потоковое видео, но когда я пытаюсь воспроизвести созданный с помощью FileOutputStream или любой другой поток, который можно передать, например, в FFMPEG, он не воспроизводится, поэтому, похоже, для его создания нужен мультиплексор?

private fun addMetaDataToVideo() {
   val file = File(context.getExternalFilesDir(Environment.DIRECTORY_DCIM).toString() + "/" 
   +"KYR", "${videoNamePrefix}}.mp4")
   val out = FileOutputStream(file)
   listOfFrames.forEach { out.write(it) }
   out.close()
   addMetaDataToVideo(file)
}


   private fun addMetaDataToVideo(videoFile: File) {
       val values = ContentValues(3)
       values.put(MediaStore.Video.Media.MIME_TYPE, "video/mp4")
      // values.put(MediaStore.Video.Media.DURATION, getVideoDuration(videoFile))
       values.put(MediaStore.Video.Media.DATA, videoFile.absolutePath)
       context.contentResolver.insert(MediaStore.Video.Media.EXTERNAL_CONTENT_URI, values)
   }


  • Как вы получаете кадры? Можете ли вы преобразовать поток перед отправкой? 24.06.2020
  • Да, класс webrtc VideoFrame содержит. Байтбуфер 25.06.2020

Ответы:


1

Использование ffmpeg — наиболее распространенный способ сделать это. Можете ли вы поместить свои кадры в какой-то массив изображений? BufferedImage или что-то в этом роде? Когда у вас есть изображения, вы можете использовать следующую строку. Как описано здесь: https://hamelot.io/visualization/using-ffmpeg-to-convert-a-set-of-images-into-a-video/

Попробуйте записать свои кадры в BufferedImage,

ffmpeg -r 60 -f image2 -s 1920x1080 -i pic%04d.png -vcodec libx264 -crf 25  -pix_fmt yuv420p test.mp4

25.06.2020
  • Я согласен с тем, что использование ffmpeg является наиболее распространенным способом, но поскольку это телефон Android, я хочу попытаться объединить ByteByffers в качестве своего изображения YUV. Потому что с ffmpeg я должен сделать сложный канал, который может быть неэффективным и, в конце концов, получить тот же байтовый результат, что и сейчас. 25.06.2020
  • Таким образом, ffmpeg — хороший пример для сервера или большой системы, но мне нужно работать с кадрами на лету. 25.06.2020
  • Итак, ваш приоритет — перенаправить ваш входящий поток на новый выходной поток без задержек? Я думаю, вы найдете здесь рабочее решение для ffmpeg: trac.ffmpeg.org/wiki/StreamingGuide 25.06.2020
  • Другой идеей было бы использовать 2 потока, один для ваших входящих кадров и один для вашего вывода, позволяя им соединяться после каждого нового кадра и использовать изображения (кадры) для метода преобразования выходного потока ffmpeg. Таким образом, после каждого нового изображения, которое ffmpeg передает на выход, поток, который запускает метод ffmpeg, будет ждать следующего изображения ваших входных потоков, где два потока снова соединятся и продолжат работу. 25.06.2020
  • Для лучшей производительности используйте структуру данных очереди, в которой входной поток рекламирует каждый новый кадр в левом конце вашей структуры данных очереди, а ваш выходной поток извлекает новые кадры из правого конца структуры очереди, таким образом, вам нужно только присоединиться два потока, если очередь становится пустой, и в этом случае выходному потоку придется ждать соединения. 25.06.2020
  • Новые материалы

    Объяснение документов 02: BERT
    BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..

    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..

    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..

    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..

    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..

    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..

    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..


    Для любых предложений по сайту: [email protected]