Why You Can't See 3D with One Image
45sChallenges a common assumption and immediately hooks viewers interested in how vision works.
▶ Play Clip"Delivers a solid lecture on stereo vision, though the title is generic and doesn't promise more than it delivers."
This lecture from Stanford's AA274A course covers the fundamentals of stereo vision, including the epipolar constraint, the fundamental matrix, and methods for 3D reconstruction from 2D images. It explains how to establish correspondences between images, estimate the fundamental matrix, and use techniques like triangulation and bundle adjustment to recover scene structure.
Stereo vision is about recovering 3D information from 2D images, which is impossible from a single image alone. The key problem is correspondence: determining which points in two images correspond to the same 3D point.
The epipolar constraint is the most important simplification for stereo matching. When two cameras view the same scene, any pixel in one image must lie on a corresponding epipolar line in the other image, reducing the search space from 2D to 1D.
Key terms include the epipole (the point where the baseline intersects the image plane), epipolar lines (lines on the image plane where corresponding points must lie), and the epipolar plane (the plane defined by the two camera centers and the 3D point).
The epipolar constraint can be expressed mathematically as p'^T F p = 0, where F is the fundamental matrix. This matrix encodes the epipolar geometry between two images and can be estimated from point correspondences.
The fundamental matrix F is a 3x3 matrix with rank 2 (singular), meaning it is not invertible. It has 7 degrees of freedom, and it can be used to compute epipolar lines directly without needing the 3D points.
The fundamental matrix can be estimated from at least 8 point correspondences using the eight-point algorithm, which solves a linear least squares problem. The solution must be constrained to have rank 2, typically via SVD.
Once F is known, epipolar lines can be computed for any point, allowing efficient search for correspondences along these lines. This avoids the need to search the entire image.
Correspondence can be established using area-based methods (comparing image patches) or feature-based methods (using interest points like SIFT, SURF, ORB). Area-based methods are dense but fail in textureless regions, while feature-based methods are sparse but robust.
After establishing correspondences, 3D points can be recovered via triangulation. Disparity, the difference in image coordinates of corresponding points, is inversely proportional to depth, given the baseline distance.
Occlusions and lack of texture can lead to missing depth information, resulting in holes in the reconstruction. These are common issues in stereo vision.
SfM extends stereo vision to multiple views, allowing reconstruction from a moving camera. It involves estimating camera poses and 3D structure simultaneously. The scale of the scene cannot be recovered without additional information.
Bundle adjustment is a non-linear optimization technique that refines the 3D structure and camera parameters by minimizing the reprojection error. It produces significantly better results than algebraic methods.
Visual odometry uses SfM iteratively to estimate the motion of a camera or vehicle from visual input. It is used in applications like Mars rovers for localization.
Stereo vision is a fundamental technique in computer vision for recovering 3D structure from 2D images, with applications ranging from robotics to autonomous driving. The epipolar constraint and the fundamental matrix are central to efficient correspondence matching, and methods like bundle adjustment and visual odometry extend these ideas to more complex scenarios.
Epipolar constraint reduces search space
This is the key insight that makes stereo matching computationally feasible.
01:10Fundamental matrix encodes geometry
The fundamental matrix is a compact representation of the epipolar geometry, enabling efficient correspondence search.
12:22Eight-point algorithm for F estimation
This is a practical, widely-used method for estimating the fundamental matrix from correspondences.
18:17Bundle adjustment improves accuracy
Bundle adjustment is the standard refinement step in SfM, significantly improving reconstruction quality.
45:26Visual odometry in Mars rovers
Shows a real-world application of stereo vision and SfM in robotics.
46:42[00:06] стереовидение – то, о чем Марко вспоминал суть в том, что вообще невозможно 3D-мира только по одному изображением. И это
[00:20] неоднозначностью 3D- перспективного обсудим разные способы восстановления видите некоторые разделы, из которых взят этот
[00:32] материал. Итак, стереовидение Первый – это слияние признаков, полученных глазами. А второй – это реконструкция
[00:44] ключевая проблема здесь — это, собственно, проблема соответствия. Имея наблюдение P и P- соответственно, как нам узнать, что они
[00:56] той же 3D-точке P? отвечают одна одной и принадлежат к помочь нам, существуют несколько
[01:10] использовать для упрощение первого шага. Например, ограничение подобия самое важное, эпиполярное ограничение
[01:23] это прямо сейчас. настраиваем две камеры на одну сцену, , что любой пиксель , который мы видим в
[01:38] должны видеть и в другой. Действительно, ограничены соответствующей эпиполярной линией,
[01:51] способов создания 3D- информации по 2D- изображений. Итак, давайте разберемся, фундаментальное изображение, которое мы
[02:03] какое вам следует помнить, когда вы думаете о 3D-видении или стереовидение. Или штрих, являются плоскостями
[02:15] изображение. Точки O и O-штрих – это центры определенной фокусной расстояния позади них. А точка P – это 3D-точка перед камерами, которую
[02:27] захватили на своих изображениях. Итак, на P соответствует точке p, а справа на плоскости соответствует точке p- штрих. Следовательно, это
[02:45] координаты мира, ну, точка на картинке. точка на картинке. в частности, это что-то очень важное, о чем мы
[02:57] речь идет об эпиполе, или, знаете, давайте это такое. Итак, когда у вас есть два, гм, на одну и ту же стену. Итак, базовая
[03:10] камеры к центру другой, будет проходить если нет, она будет проходить сквозь но об этом мы поговорим позже.
[03:23] общий случай. Так что точка, в которой эта изображение, называется эпиполем . Следовательно, будет эпиполь для изображения слева,
[03:36] дело, которое E штрих. соответствующую точку на изображении, если изображение, мы называем эту линию
[03:51] эпиполярной линии. терминология здесь. А плоскость, определенная O штрих и капитальной P, называется
[04:03] эпиполярной плоскостью . Итак, когда я намекал эпиполярное ограничение для определения того, соответствует точке на другом, которые потом
[04:18] происходит следующее: как вы точка изображения P, что соответствует точке P изображении, эта точка должна лежать где-то
[04:30] на эпиполярной линии. эпиполярной плоскости, а эпиполярная плоскость этой эпиполярной линии. Следовательно, это
[04:43] будем работать для получение 3D- изображений. сказать что-то еще о это. Нет. Другое. Единственное, что
[04:55] ограничение, оно на самом деле очень соответствия между двумя изображениями, возможно, делал бы наивный метод, мы
[05:07] вдоль этой линии. Следовательно, это сокращает наш пространства до только 1D, что гораздо быстрее. точками изображения одна может быть немного
[05:19] общий случай. базы не обязательно должно быть...ну, это все одно изображение находится далеко
[05:31] вы знаете, между ними двумя, и они могут угодно. Да. Есть ли еще вопрос по этой используете для поиска Как найти эту
[05:45] -штрих. Ну, единственное, что вы находятся и P, и P- штрих, потому что у вас есть , знаете, сами имеем эти два изображения в
[05:57] располагает . Итак, мы знаем и P, и определить капитальное P. Это, собственно, и есть главной целью стереозора. Да. Так что
[06:10] это наша схема камеры, мы знаем линию базы, которые нам известны. Мы знаем линию базы с поговорим об этом позже, но мы также
[06:22] настраивали камеру . Так что мы можем как-то но как узнать, что они отвечают нужно. Ну, это помогает нам
[06:35] что нам просто нужно искать на вернемся к этому позже в этой лекции. Только для P, это маленькое P.
[06:47] штрих. но если подумать, совпадение для P, то есть мы
[06:59] которая соответствует P. Когда мы говорим "отвечает той же 3D-точке. Итак, мы ищем здесь P- лежать на L-штрих. И да, P...Итак, есть другая
[07:13] трансформацию от нуля-штрих к P, и это называется линией.
[07:26] Я...наверное, я...Что такое потенциальное совпадение для потенциальное совпадение означает, что мы которая соответствует той самой 3D-точке, что и P.
[07:39] как мы проводим эти две линии: от P до изображение. изображении P-штрих является местом, где лежит
[07:51] здесь это P. Для левого изображение. Так когда потенциальное совпадение для P, мы фактически говорим, что ищем ту самую точку P-штрих. Ладно,
[08:07] это может выглядеть, отвечая на ваше находим? Если мы знаем, ой, если мы опять же, мы поговорим об этом, мы
[08:19] Это как: у вас еще нет P- штрих, так как вы пытаетесь... перейдем к этому. Сейчас мы просто даем
[08:32] мы углубимся в это. Мы перейдем к этому общий обзор, если у нас есть L и L-штрих, хотим найти P-штрих, то мы можем, как я
[08:44] искать вдоль этой линии, что намного по всему изображению. более подробно. Но мы не знаем, что
[08:56] штрих, используя L- Да, помните о это, двигаясь дальше. Ладно, давайте выведем, как мы
[09:08] ограничение, исходя просто с этой просто с этой геометрии. Мы знаем, , O-штрих и большой P формируют плоскость, которая
[09:20] нас интересует – это эпиполярную плоскость. И и P-штрих лежат на этой плоскости, мы трех точек, то есть эти три линии – базовая
[09:35] или O-штрих P-штрих и OP – должны быть компланарными. Они все должны лежать на этой эпиполярной плоскости. Математически
[09:47] : вектор, образованный точками O и P, должно быть нормального вектора плоскости, который можно произведения других двух имеющихся у нас
[09:59] имеющихся у нас векторов. Итак, стоит нужно найти векторное произведение
[10:12] в виде матрицы для одного из векторов, как одного из векторов, как показано далее. Это
[10:24] упрощающий прием дальнейшие матричные векторное произведение можно записать как умножение матрицы на вектор. Так что просто
[10:37] слайды будут у вас для справки, или они как мы можем это вывести? Продолжаем эпиполярного ограничение. Если
[10:49] отсчета совпадает с первой камерой, это начальную систему отсчета именно там. Гм. отсчета именно там. Гм.
[11:02] превращений мы видим, что эпиполярное транспонированное на матрицу F, о которой мы штрих равен нулю.
[11:16] непосредственная запись этого ограничения. Мы ограничение, но определяем несколько терминов иначе. Здесь строчная буква P
[11:29] считаем, что мировой начало координат все рассматривается относительно левого относительно левого изображение. Следовательно, P—
[11:41] к P, а P штрих – это вектор от O до P штрих штрих. Помните, что мы рассматриваем все из этой перспективы.
[11:57] мерой похожа векторной матрицы нескольких других поворотов и параллельных переносов. Ведь
[12:09] и параллельные переносы от первой камеры ко второй. появляются те же переносы и повороты,
[12:22] параметры камер, которые вы знаете, поскольку ваши камеры уже откалиброван. Итак, F. F называют фундаментальной
[12:34] называется фундаментальной, матрицы можно узнать все о двух изображение одной сцены. И вот, в частности,
[12:47] то, что нас интересует: эпиполярные линии? Что же, если у нас есть эта поговорим о том, как ее получить позже.
[13:03] матрица, можно просто сказать, что матрица, умноженная на соответствующую точку помните, что для эпиполярной линии
[13:15] точка на картинке. И потому, если вы знаете она определена на левом изображении. Мы изображение, которое определена на другом
[13:28] смысл, и именно поэтому здесь нарисованы эти три нарисованы эти три красные линии. Если изображение P, скажем, P'', на этом правом
[13:40] вдоль этой эпиполярной линии, красных линий, то она будет изображении.
[13:54] будет отвечать той самой точке. Возможно, Извините, я забыл, что матрица – это обращенная транспонированная обратная, или
[14:06] это одно и то же. левом изображении по точкой на правом. И вы хотите найти эпиполярную линию на
[14:21] вы можете сделать это, просто фундаментальную матрицу. Еще одна очень следует помнить: матрица F на самом деле есть
[14:34] сингулярной. Она не является обратимой. И почему мы это знаем сразу? найти эпиполярную линию, отвечающую
[14:46] туда любую точку изображение. Если вы отвечает самому эпиполя, вы ничего не
[14:58] сводится к одной точки. Это уже не линия отразить ее на другое изображение, то используете для этого фундаментального
[15:10] получаете ноль, это означает, что она имеет нулевое пространство, вы знаете, что она не есть знаете, что она не есть обратимой. Еще одна
[15:22] о F: это матрица 3 на 3, которая содержит девять нужно найти только семь, потому что существуют другие помогают найти остальные два. И опять же
[15:36] об этом подробнее несколько минут. Как мы фундаментальной матрицы заключается в эпиполярные линии, просто и быстро.
[15:51] Имея определенную точку слева. Итак, если у нас есть точка на левом изображении, а мы хотим ее найти, что нам делать? Мы
[16:07] матрицу, это дает нам линию на правом мы буквально ищем вдоль этой линии, соответствие. Мы поговорим о том, как
[16:20] вопрос раньше, какой касалось именно отвечает на ваше вопросы. Да,
[16:36] На самом деле нет никакого предположения отсутствия шума, потому что в компьютерном заре попиксельного сравнение. Даже
[16:50] идеальное изображение, прямое попиксельное я смотрю, например, на эту статую, и одна повернута, видя, скажем, правая сторона
[17:02] прямое сопоставление пикселей не сработает , прежде всего, нам нужно сделать шума не должно быть большой проблемой.
[17:14] Если многовато – будет сложнее. Ладно. Итак, еще одна интересная вещь, которую стоит , что мы используем эту
[17:29] определяется этой 3D- точкой, но действительно матрицы – это то, что здесь нет ни одного упоминания нужно находить 3D- точку, чтобы найти
[17:41] другому изображению. Так что это очень важно, нет проблемы курицы и яйца. Потому что мы можем никакой потребности в капитальном P. Затем
[17:53] изображении, на правом изображении. Теперь у нас есть P-штрих и P, тогда мы можем найти капитальное P. Следовательно, нет ни одной
[18:05] яйца типа: "О, чтобы найти 3D-точку, нужно это F, а затем делать что угодно". Итак, как
[18:17] фундаментальную матрицу? Это еще одно эта матрица удивительна, но как нам ее Итак, первый вопрос: или вообще возможно
[18:29] только два изображения одной сцены, не внешних параметров ? Ибо помните, я допустим, мы не можем их измерить.
[18:42] или Google Images, скажем, Колизея в Риме или разных точек зрения. Можем ли мы возможно, если у нас есть достаточное количество
[18:55] между двумя изображениями. И хочет рассмотрим здесь довольно простой. Он будет достаточно понятной. Итак, мы
[19:12] что фундаментальная матрица удовлетворяет все это время для всех пар подходящих пар подходящих точек. Итак,
[19:25] в этой однородной форме, где U и V – это на левом изображении, а U штрих и V штрих правом изображении.
[19:41] транспонируемое FP = 0 здесь справа, где мы ну, неопределенными, поскольку мы их сейчас просто оставим их как символьные переменные. И
[19:59] если вы распишете форму того, что вы квадратичной формы, вы сможете переписать ее линейно. Потому что, ну,
[20:13] посмотреть. Если вы возьмете U умножить плюс все остальные члены, то увидите, что если скобки, мы сможем записать эту линейную
[20:26] если мы имеем эту линейную форму, это набора соответствий, одной пары соответствий. Если
[20:38] , вы можете полностью определить матрицу F. А самых маленьких квадратов. легко решать задачи самых маленьких
[20:51] задачи самых маленьких квадратов. Итак, W – это, известных соответствий. И даже если у нас есть все эти разные члены,
[21:05] неоднозначность. решаем эту задачу наименьших квадратов,
[21:17] что норма изученных значений F равно значений F равно единицы. Это решает по этой девятой точки. Это называется
[21:31] девять значений. Поэтому нам на самом деле фундаментальную матрицу можно нормально, если у вас
[21:43] так, чтобы больше всего значение было девятое значение было единицей. Итак, хотя
[21:56] удовлетворяет эпиполярное ограничение также важно обеспечить, в нуль при умножении на фундаментальную
[22:08] матрицу. Так, в частности, мы будем ограничение ранга за с помощью SVD. Не очень понимали все тонкости, но просто знайте, что
[22:22] решение задачи сводится к методу для нормы Фробениуса матрицы при условии, что она невырожденная.
[22:39] использовании обычного метода приближенной фундаментальной отсутствия этого свойства
[22:51] сингулярности по с помощью SVD. Теперь,
[23:03] матрицу, мы можем переходить между этими находя эпиполярные линии на обоих, что может поиска вдоль этих линий. Что ж, проблема,
[23:28] с которой вы сталкиваетесь, заключается в том, то есть, я стараюсь понять, есть ли какая-нибудь существенная разница? Это действительно зависит от
[23:43] которую вы имеете перед собой, и оттого, ваши соответствия. Но на самом деле невырожденной, потому что если это не так, то ваши
[23:55] друг на друга, а это означает две базовые . Это очень странно ситуация. Поэтому, отличаются, концептуально очень
[24:11] важно исправить эту условие. Ладно. Итак, есть ли у кого-то еще вопрос? Да. Да,
[24:30] способ, которым вы это узнаете – к сожалению, смотрим на два изображение и просто, кто-то другой. Кто-то, кто пытается
[24:43] проблему для нас. Вы выбираете точки и эта точка соответствует этой точке". И есть щелкаете на другом и обозначаете, что эти две
[24:55] фактически нужно предоставить эти начальные , эм, честно говоря, это один из способов сделать это. Другой способ, другой способ
[25:07] двумерного поиска на изображении, не думаете: «Хорошо, я хочу найти эту точку просканировать все второе изображение,
[25:19] отвечают одна одной с помощью , визуальной метрики подобия, а затем для других точек. Но, опять же, это может
[25:31] быть шумным. Да. Следовательно, является ли эта F устойчивой, настроены одинаково , зависит ли она от вопросы. Как мы видели раньше, F
[25:43] слагаемых. Итак, если ваши камеры, физически то ваши K одинаковы. Это отлично. Но это именно Да, они должны быть настроены одинаково
[25:55] измените трансляцию или поворот, то F актуальна только для конкретного момент времени.
[26:11] Да. объяснить, почему F должно быть сингулярной? О, да, F должно быть сингулярной, потому что
[26:23] отображаться в нуль. найти подходящую эпиполярную линию, другого изображения, вы должны получить
[26:37] этого, правильно? И что это значит? Это непустой ноль- пространство. Возможно, вы возможно, и нет. Но эта важное свойство
[26:50] Если у вас есть непустой ноль- не обратима.
[27:14] можете ли вы, можете ли вы объяснить...Мы,
[27:31] поговорить об этом. Да. Да, да. Мы о вещах вроде экстремального Запомните это вопросы. Есть ли еще
[27:43] матрицу и ее оценивание? Прекрасно. оценивание? Прекрасно. такое, что... Ну, хорошо. Если у нас есть такая
[27:56] где эпиполярные линии... Ну, они могут быть линии на другом вдоль диагональной линии в пространстве
[28:08] неудобный, ведь если задуматься, что такое двухмерная матрица, а следовательно, она дискретна. дискретная. Вы имеете конкретные пиксели.
[28:20] вдоль этой диагональной линии, нет, и проходить через их, скажем, на 40% другого, то с этим очень неудобно работать, и
[28:32] компьютерной звезды. параллельными изображениями, где между но может быть смещение. И это просто
[28:46] ваши эпиполярные линии горизонтальные. круто. Что это значит? Это значит, что мы одной конкретной координаты Мы знаем
[28:58] здесь, вы знаете, что все, что вам нужно одного конкретного строки изображения на вычислительном плане. И это, да, в
[29:11] одной из двух фундаментальных проблем, о которых мы говорили раньше. Итак возможно, если у нас есть два изображения, которые
[29:26] их как-то выровнять да, чтобы у них гм, или горизонтальные эпиполярные линии? эпиполярные линии?
[29:38] разработали именно так. Но в основном, что вы есть вращение и смещение между двумя изображениями, которые они создают, вы
[29:50] кажется, это называется Но это не имеет значение. Вы можете превращение одного или обоих изображений,
[30:04] оба стали параллельными видами параллельными видами одной сцены. Вы, изображение, но это просто то, с чем нам
[30:17] приходится мириться. на слайдах, но в основном большинство
[30:31] размещают камеры рядом, потому что тогда с просто говорим в общем, знаете, с способов, помощью которого с
[30:43] можно получить вычислительно удобны выровненные изображения . Но да, это именно то, делается на практике.
[31:00] того, что мы делаем и что мы решаем. У нас слияние признаков, которые мы наблюдаем за установкой соответствия. То есть
[31:13] совпадает с другой точкой. А потом мы на самом деле реконструировать сцену реконструировать сцену , которую мы сняли в 3D. И
[31:28] решить эту проблему соответствия, нам совпадают, то есть мы должны найти , соответствующие P. Это еще один вопрос, который
[31:40] еще один вопрос, который возникало раньше. И есть этого использовать. анализа областей Или алгоритмы обычно
[31:52] как показано здесь, на одном изображении, а наиболее похож фрагмент на другом. И с помощью определенной метрики визуальной
[32:04] зависит от вас как от разработчика. Но изображение, о получение которого мы фрагмент на одном изображении, я могу
[32:19] самая строка и увидеть, найду ли я увидеть, найду ли я схожий фрагмент. Итак установка соответствия на
[32:33] заключается в том, что он достаточно плотный. Это фактически покрыть все изображения точками, поскольку вы смотрите не только на отдельный
[32:46] пиксель. Это было бы очень тяжело сопоставить. контекст вокруг него. Итак, вы можете изображении с участком на другом.
[32:58] Проблема в том, что в областях, где если вы сфотографируете эту изображение этой не имеющей доски
[33:10] методы, основанные на областях, могут не сработать. И потому вся эта плотная, вся эта соответствие, которое вы хотите получить,
[33:22] фактически теряется . Так что другим методы, основанные на признакам. Эти алгоритмы заметные признаки на изображениях, а затем
[33:37] сопоставить их между собой. Когда я говорю « имею в виду точки на изображении, для которых они устойчивы, скажем, к смене освещения,
[33:51] поворота, масштаба и т.д. Существует много Возможно, вы слышали о некоторые из них, , вы уже слышали этот термин: SURF, ORB. Это
[34:08] находят признаки, устойчивы к изменению ориентации, поворота и т.д. Проблема или, основе признаков заключается в том, что они больше
[34:23] изображение без текстуры, которые вы быть легче найти соответствия. такого хорошего
[34:35] получить хорошее совпадение найдете меньше точек. более разреженная карта глубины. А
[34:48] интерполировать, и под время этого могут возникнуть ошибки.
[35:00] точки, сопоставленные между ими с помощью попробовать решить задачу реальном мире, основываясь на том, что
[35:12] на этих двух изображениях. Следовательно, это триангуляции. Это то, с чем вы уже сталкивались подобные треугольники, чтобы определить, на
[35:27] камеры, по крайней мере теоретически. И способ, определение понятия под названием диспаратность. Итак, диспаратность – это
[35:40] точки на одном изображении и другой точки на другом изображении. И
[35:52] показываем вам соответствующую формулу треугольники, диспаратность, которая обратно пропорциональна расстояния z от точки P
[36:05] к плоскости изображение. И она базисном расстоянии B. Мы еще поговорим о
[36:17] разное расположение камер –далеко одна работе с 3D- реконструкцией. Так что
[36:30] использовать для вычисление глубины расстояния, которое мы знаем, а также этой сопоставление точек на разных изображениях.
[36:42] раньше, существуют определенные свойства в зависимости от размера базиса можете достаточно хорошо различать объекты,
[36:57] позволит лучше определять удаленные определять удаленные точки. Проблема в далеко друг от друга , то точки, которые вы
[37:11] быть невидимыми на другому. Так что вы слишком большую расстояние между расположены очень около друг к другу
[37:24] поскольку почти все точки одного Проблема в том, что у вас будет велика Ваши значения диспаратности будут
[37:37] для точек, что находятся Гм, когда вы исправляете два параллельными одна одной, что происходит с
[37:49] Так что она тогда тоже становится другой. становится другой. сути, просто корректируете поворот
[38:04] так, чтобы они стали параллельными. Это потому начала координат по плоскостью изображения она стала параллельной другой.
[38:19] случае вы вернули обе. Но да. Итак. Да, отвечает ли это на ваш вопрос? на ваш вопрос?
[38:35] если бы это изменило вашу фокусное расстояние...Я просто потому, что все другие свойства на самом деле делает, - это изменяет матрицу
[38:49] они ориентированы друг относительно друга. друг относительно друга. выполнение этого процесса триангуляции
[39:01] картой диспаратности . Название точное, диспаратности для нее создание. Но, по выглядит как дело, где вы можете
[39:14] точки были ближе к камеры, а темнее камеры, а темнее дальше. В основном, вычислить диспаратность-
[39:28] одной точки на изображениях, а также вычислить глубину.
[39:41] кажется, что нам может быть немного сложно, создать достаточно надежную 3D- реконструкция сцены.
[39:54] мы получили хорошую 3D- реконструкцию, однако участки. И это немного удивительно. Что это за черные имеем некоторые точки, для которых не можем
[40:06] информации? Что ж, первый ответ – и мы левой стороны – состоит в том, что есть точки на сопоставить с другим, потому что камера их просто не
[40:20] видит. А другие – это, собственно, окклюзии. И это компьютерном звезде: когда объекты И потому они вроде, они почти образуют такие
[40:33] подразумевает, что с точки зрения компьютерного примерно так же. что перекрывает другой за ним. Итак, Итак,
[40:49] когда у нас есть две камеры и одна сцена, общие повороты и т.д. А что если у нас есть и т.д. А что если у нас есть
[41:02] сделать еще лучше? Или напротив, что, как у нас есть камера двигается сквозь сцену? Потому что да, иметь две камеры— это здорово. А что, если
[41:14] только одну камеру, а потом просто двигать хотите отсканировать? Если подумать, если может быть, если вы делайте снимки каждую
[41:26] перемещаете эту одну камеру, это как будто у вас просто размещены по- разном в сцене. Итак, решаем проблему того, как восстановить
[41:40] изображения сцены. структуры, когда, по- первое, относительное перемещаю камеру, я
[41:54] Трансляция. Особенно потому, что я человек и просто двигаю ее. Гм, следовательно, допустим, у трансформациями MK между ними. Следовательно, это
[42:07] так и внешние параметры камеры. внутренние – это разные, гм, фокусное расстояние, изучили прошлого раза. А внешние – это
[42:19] поворот и трансляция какие мы хотим реконструировать. И
[42:33] структуру сцены, то есть эти 3D-точки, да в частности, эти проекционные матрицы MK, которые мы также хотим найти. Итак, первое,
[42:49] в структуре движения на самом деле невозможно восстановить масштаб сцены. Итак, проблема, допустим, у нас есть какой-то большой куб, я
[43:03] перемещаю ее на другой сторону и делать снимок. Это так же, словно у меня есть меньший куб, я ставлю к нему и выполняю ту самую...ну, не совсем ту
[43:18] самую, но подобную трансформацию. Итак, восстановить абсолютный масштаб. Интуитивно перспективной проекции, через которую
[43:32] мир. Так что видим размер объектов расстояния до камеры. Но проблема в том, какой вдвое дальше, то он будет выглядеть так
[43:44] же размера, но вдвое более близкий. Или меньше, но вдвое ближе. будет правильной с точностью до подобной
[43:56] означает поворот, перенос и абсолютном смысле была сконструирована была сконструирована стена. Итак, на
[44:09] углубляться в то, как именно решить structure from motion), существует алгебраический подход, продолжает то, что мы делали раньше, где вы
[44:22] матрицы между двумя изображениями для решение задачи SFM. Вы можете сначала помощью восьмиточечный
[44:36] уже рассматривали раньше. А потом вы проективных матриц камер. После этого вы определить мировые координаты точек. И
[44:50] теперь Итак, по сути, вы можете камер для выполнения триангуляции. Вы работать с парами изображений. И тогда это,
[45:02] задачу стереозора. Вы просто будто камеры. Ну, вы их не игнорируете. Просто вы получить 3D точки.
[45:14] изображение, получаете 3D-точки, получаете точки и т.д. . Теперь есть другой, и я бы более популярный метод, который называется «
[45:26] adjustment – это нелинейный вычислительно это сложнее, но получаете, значительно лучшие. И это действительно
[45:38] структуры по движению, для решение задачи Итак, принцип работы коррекции пучка в том конкретно, задача оптимизации заключается
[45:51] перепроекции. считаю, что 3D-точка спроектировать ее обратно в камеру.
[46:03] от фактически наблюдаемой способ, и причина, почему это называется если вы проведете много таких
[46:15] плоскости изображения камеры, это корректируете эти пучки линий. Гм. Итак, по
[46:28] пучка достаточно похож на метод который мы говорили. действительно дает лучшую производительность. Итак,
[46:42] структуры по движению, которое очень полезно в так называемая визуально одометрия. Итак, движения работа или транспортного средства
[46:56] визуальных входных данных. И в частности, визуальной одометрии - это простая итерация движения по двум видам, где вы берете два вида
[47:11] весь подход SFM, делаете это снова, восстанавливаете используете эти R и T для своей одометрии. T для своей одометрии.
[47:23] другое, знаете, реконструкция 3D. Ее локализация его движения в сцене. Гм, но увидеть результаты, что также показывают 3D-
[47:37] издают следующие методы. кто-то может угадать, где было использовано одометрии, или кто-то узнает ли его? Это на
[47:55] Марси. Итак, марсоходы на самом деле и компьютерное зрение для собственной для собственной локализации. И что в
[48:07] подумаете о том, ну, кто здесь из факультета? Э, достаточно хорошо. людей. Скажу сразу: Марс чуть-чуть похож на
[48:20] пустыню. А пустыни достаточно однообразны, компьютерным зрением. Но отлично то, что видите какие-то камни или что-то подобное, а это
[48:32] достаточно много информации. Собственно, вам изображение с камеры марсохода. Вот -это где эти точки были в предыдущем кадре,
[48:47] а красные – где они сейчас. Итак, вы видите по крайней мере, как марсоход продвинулся этих пикселей потянулся назад.
[49:00] Наверное, красный – это где они были, да. где они сейчас. Вот так пиксели будто сместились назад.
[49:15] я хотел сказать о 3D- реконструкцию. А методы компьютерного зрения, в частности те, что изображений и применение к ним
[49:27] разных операций. Или как можно выполнить что-то вроде images? That's all for today.
⚡ Saved you 0h 49m reading this? Transcribe any YouTube video for free — no signup needed.