WedX - журнал о программировании и компьютерных науках

Копирование небольшого изображения в кадр камеры с помощью OpenCV для Android

В настоящее время я работаю над программой, которая должна рисовать небольшое изображение на кадре камеры. В Android OpenCV у вас есть следующая функция для обработки кадра:

public Mat onCameraFrame(CvCameraViewFrame inputFrame) {

      Mat rgba = inputFrame.rgba();

      mDetector.setFrame(rgba);
      mDetector.processFrame();

      return rgba;
}

Где затем отображается Mat rgba на экране. Теперь мой Детектор должен обработать кадр rgba (изменить его). Вот соответствующий код:

public void processFrame() {

    // (1) Doesn't work
    Rect roi = new Rect(0, 0, 100, 100);
    Mat submat = mOutputFrame.submat(roi);
    Mat image =  new Mat(100, 100, CvType.CV_8UC3, new Scalar(0,0,0));
    image.copyTo(submat);

    // (2) Does work 
    // --- mComparatorImage is the same size as mOutputFrame.
    // --- mComparatorImage is 8bit greyscale, mOutputFrame is the rgba CameraFrame
    mComparatorImage = mComparatorHolder.getCurrentImage();
    mComparatorImage.copyTo(mOutputFrame);

    // (3) Should work (but doesn't)
    Imgproc.resize(mComparatorImage, mResizedImageClone, new Size (200, 100));
    Mat bSubmat = mOutputFrame.submat(new Rect(0, 0, 200, 100));
    mResizedImageClone.copyTo(bSubmat); 
}

Что я пытаюсь сделать, так это скопировать измененную версию mComparatorImage в кадр камеры, на который ссылается mOutputFrame (mOutputFrame = rgba).

Поэтому я попытался сделать (3). К вашему сведению: mResizedImageClone имеет тип Mat и инициализируется как новый Mat().

Выполнение (3) не меняет mOutputFrame.

(2) Затем я попытался скопировать весь mComparatorImage (типа Mat и того же размера, что и mOutputFrame) в mOutputFrame. Это сработало на удивление.

(1) Затем я подумал, что проблема должна быть связана с субматом, потому что копирование большого изображения работает, а копирование его маленькой версии в mOutputFrame — нет. Поэтому я попытался скопировать маленькое черное изображение в mOutputFrame. Это тоже не работает, хотя я следил за другими ответами здесь.

В чем может быть проблема? Ошибки нет, но кадр камеры остается прежним в (1) и (3)

Если вам нужна дополнительная информация, дайте мне знать.

Это


Ответы:


1

Хорошо, я нашел это, это было немного сложно.

Функция copyTo, использующая подматрицы, работает корректно только в том случае, если src и dest Mat имеют один и тот же тип. В противном случае он просто... ничего не делает. (Это скорее должно жаловаться!)

Вместо rect я использовал submat с параметрами (row_start, row_end, col_start, col_end)

Также имейте в виду, что размеры субмата (#cols и #rows) должны точно соответствовать исходному изображению, используемому в copyTo.

Итак, вот мое решение для (1):

// (1) Inserting a little black rect into the camera frame:
Mat submat = mOutputFrame.submat(0, 100, 0, 100);
Mat image =  new Mat(100, 100, mOutputFrame.type(), new Scalar(0,0,0));
image.copyTo(submat);

И мое решение для (3):

// (3) Resizing and inserting an arbitrary grey image into the rgba camera frame
Imgproc.resize(mComparatorImage, mResizedImageClone, new Size (200, 100));
Imgproc.cvtColor(mResizedImageClone, mResizedImageClone, Imgproc.COLOR_GRAY2RGBA);
Mat submat = mOutputFrame.submat(0, 100, 0, 200);
mResizedImageClone.copyTo(submat); 
15.03.2014
  • Хорошая работа.. Но на самом деле mComparatorImage должен быть серым.. верно? 26.10.2017
  • Новые материалы

    Объяснение документов 02: BERT
    BERT представил двухступенчатую структуру обучения: предварительное обучение и тонкая настройка. Во время предварительного обучения модель обучается на неразмеченных данных с помощью..

    Как проанализировать работу вашего классификатора?
    Не всегда просто знать, какие показатели использовать С развитием глубокого обучения все больше и больше людей учатся обучать свой первый классификатор. Но как только вы закончите..

    Работа с цепями Маркова, часть 4 (Машинное обучение)
    Нелинейные цепи Маркова с агрегатором и их приложения (arXiv) Автор : Бар Лайт Аннотация: Изучаются свойства подкласса случайных процессов, называемых дискретными нелинейными цепями Маркова..

    Crazy Laravel Livewire упростил мне создание электронной коммерции (панель администратора и API) [Часть 3]
    Как вы сегодня, ребята? В этой части мы создадим CRUD для данных о продукте. Думаю, в этой части я не буду слишком много делиться теорией, но чаще буду делиться своим кодом. Потому что..

    Использование машинного обучения и Python для классификации 1000 сезонов новичков MLB Hitter
    Чему может научиться машина, глядя на сезоны новичков 1000 игроков MLB? Это то, что исследует это приложение. В этом процессе мы будем использовать неконтролируемое обучение, чтобы..

    Учебные заметки: создание моего первого пакета Node.js
    Это мои обучающие заметки, когда я научился создавать свой самый первый пакет Node.js, распространяемый через npm. Оглавление Глоссарий I. Новый пакет 1.1 советы по инициализации..

    Забудьте о Matplotlib: улучшите визуализацию данных с помощью умопомрачительных функций Seaborn!
    Примечание. Эта запись в блоге предполагает базовое знакомство с Python и концепциями анализа данных. Привет, энтузиасты данных! Добро пожаловать в мой блог, где я расскажу о невероятных..


    Для любых предложений по сайту: [email protected]