Будьте завжди в курсі!
Дізнавайтесь про новітні розробки першими
Новини
Всі новини
3 Квітня 2023
Нова світлодіодна УФ-піч від UWAVE
28 Березня 2023
Нові потужні УФ-LED джерела світла для полімеризації від UWAVE
Коли тіні - не те що здається
10.09.2019
When Shadows Are Not What They Seem
Зібравши частки зображення, що не помітні для людського ока,
з допомогою NON-LINE-OF-SIGHT IMAGING (за межами поля зору)
можна бачити за кутами та крізь стіни
Під час свого відпочинку на іспанському узбережжі у 2012 році науковець, що досліджує комп’ютерне бачення Антоніо Торральба / Antonio Torralba, у готельному номері помітив випадкові тіні на стіні, які здавалось падали з нічого. Зрештою, Торральба зрозумів, що знебарвлені плями на стіни взагалі не були тінями, а скоріше слабким, перевернутим зображенням внутрішнього дворика поза його вікном. Вікно виконувало роль пінхол камери (камери-обскура), в якій світлові промені проходять через невеликий отвір та утворюють перевернуте зображення з іншої сторони. Отримане зображення було ледь помітне на світлій стіні. Але це підштовхнуло Торральба, зосередитись на тому що світ наповнений візуальною інформацією, яку наші очі не здатні побачити.
«Ці зображення приховані від нас», - сказав він, - «але вони постійно навколо нас.»
Цей досвід показав йому та колезі Біллу Фріману / Bill Freeman (обидва професори Массачусетського технологічного інституту) всюдисутність цих, як вони назвали «випадкових камер»: вікна, кути, кімнатні рослини та інші звичайні об'єкти, що створюють ледь помітні зображення оточуючих їх предметів. Ці зображення у понад 1000 разів тьмяніші, за все інше, їх неможливо побачити неозброєним оком. «Ми віднайшли способи як отримати ці образи та зробити їх видимими», - пояснив Фрімен.
Вчені виявили наскільки багато візуальної інформації приховано безпосередньо у полі нашого зору. У своїй першій статті Фрімен і Торральба показали, що мінливе світло на стіні кімнати, відео якого було зняте на звичайний iPhone, можна обробити та отримати сцену за вікном. Восени минулого року, вони та їхні співробітники повідомили, що можуть помітити, як хтось рухається за кутом, знімаючи землю біля кута. Цього літа, вони продемонстрували як можна знімаючи кімнатну рослину, реконструювати тривимірне зображення решти простору кімнати використавши неоднорідні тіні від листя рослини. Або вони можуть перетворити листя на « оптичний мікрофон», збільшуючи їх вібрації, щоб почути, розмови навколо.
«У Мері було ягня ...», - слова дитячої пісеньки промовляє чоловік в аудіозаписі, який було реконструйовано з рухів порожньої упаковки чіпсів, яку вчені знімали через звукоізольоване вікно в 2014 році (це були перші слова Томаса Едісона записані фонографом у 1877 році.)
Дослідження методів бачення навколо кутів та виведення інформації, що не є у полі зору, називається баченням за межами поля зору (non-line-of-sight imaging), яке розпочалось у 2012 році зі статті Торральба та Фрімен про випадкові камери, а також ще однієї новаторської статті, авторами якої є окрема група Массачусетського технологічного інституту під керівництвом Рамеша Раскара / Ramesh Raskar. У 2016 році, частково під впливом цих результатів, Агенція новітніх розробок Міноборони США (DARPA) запустила програму з бюджетом у 27 млн. доларів США для революційного покращення видимості шляхом експлуатації активних світлових полів – англ. Revolutionary Enhancement of Visibility by Exploiting Active Light-fields REVEAL, та фінансує групу новостворених лабораторій у США. З тих пір з’явився потік нових поглядів та математичних прийомів, що робить бачення за межами поля зору все більш потужним та практичним.
Внутрішній дворик ззовні готельної кімнати, де Антоніо Торральба помітив, що його вікно виступало як випадкова пінхол камера (1). Слабкий образ внутрішнього дворика на стіні (2) можна зробити більш чітким (3), прикриваючи більшу частину вікна картоном, щоб зменшити апертуру. Перевернуте згори вниз (4), зображення показує сцену назовні. (Антоніо Торральба та Вільям Т. Фрімен)
Торральба сказав, що він і Фрімен не мали на увазі жодного конкретного застосування, коли вони почали рухатися у цьому напрямку. Вони просто заглиблювалися в основи того, як формуються зображення і що представляє собою камера, що, природно, призвело до більш повного вивчення того, як світло поводиться та як воно взаємодіє з об'єктами і поверхнями у нашому середовищі. Вони почали бачити речі, які ніхто не думав шукати. Психологічні дослідження показали, про що зазначив Торральба: «люди справді жахливо тлумачать тіні. Можливо, однією з причин є те, що багато речей, які ми бачимо, насправді не є тінями. І зрештою око відмовляється від спроб їх розпізнати.»
Світлові промені, що несуть зображення предметів поза нашим полем зору, постійно вдаряються у стіни та інші поверхні, відбиваються до наших очей. Але чому ці візуальні явища настільки слабкі? Відповідь полягає в тому, що є надто багато світлових променів і рухаються вони у дуже різних напрямках. Врешті вони розмиваються.
Формування зображення вимагає суттєвого обмеження світлових променів, які падають на поверхню, що дозволяє побачити один з них. Це саме те, що робить камера-обскура. Початкове уявлення Торральби і Фрімена в 2012 році полягало в тому, що існує багато об'єктів і особливостей нашого середовища, які природно обмежують світлові промені, утворюючи слабкі зображення, яскравість яких достатня для комп’ютерної обробки.
Чим менша апертура камери-обскура, тим чіткіше отримане зображення, оскільки з кожної точки зображеного об'єкта виходить лише один світловий промінь що проходить крізь отвір під відповідним кутом. Вікно у готельному номері було завелике, щоб сформувати чітке зображення, Торральба та Фрімен знали, що зазвичай випадкові камери придатні до передачі зображення - рідкісне явище. Вони зрозуміли, однак, що «антипінхол» камери (або пінспек камера, англ. pinspeck camera), що складаються з будь-якого малого об'єкта блокуючого світло, формують зображення усюди в цьому місці.
Уявіть, що ви знімаєте внутрішню стіну кімнати через щілину у віконному жалюзі. Ви не зможете багато побачити. Раптово у вашому полі зору з’являється чиясь рука. Порівнюючи інтенсивність світла на стіні, коли рука є та її нема, можливо отримати інформацію про це приміщення. Світлові промені що попадають на стіну в першому відеокадрі, короткочасно блокуються рукою в наступному. Віднімаючи від першого зображення данні, отримані на другому, пояснює Фрімен: «Ви можете витягти те, що було заблоковано рукою» - ті світлові промені, що несуть зображення частини кімнати. «Якщо ви дозволяєте собі дивитися на речі, які блокують світло так само як на ті що пропускають світло», сказав він, «тоді ви можете розширити репертуар місць, де можна знайти пінхол-зображення.
Поряд з роботою над випадковими камерами, спрямованої на виявлення змін слабкої інтенсивності, Фрімен та його колеги розробили алгоритми для детектування та підсилення ледь вловимих змін кольору, подібних до тих, що з’являються на обличчі людини, з притоком крові до сосудів або відтоком, а також мікропереміщення - трюк з упаковкою з під чіпсів що розмовляє. Тепер вони можуть легко помітити рухи настільки малі як одна сота пікселя, які зазвичай можуть бути поховані у шумі. Їх метод полягає в математичному перетворенні зображень у форму синусоїд. Важливо, що в трансформованому просторі сигнал не є під домінуванням шуму, тому що синусоїди відображають середні значення для багатьох пікселів, шум розподіляється серед них. Тому дослідники можуть виявити відхилення в положеннях синусоїд у відеоряді від кадру до кадру, посилити ці відхилення, а потім перетворити дані назад.
Тепер вони почали поєднувати ці різні методи для отримання прихованої візуальної інформації. У дослідженні, опублікованому в жовтні минулого року під керівництвом тодішньої аспірантки Фрімена, Кеті Боуман / Katie Bouman (тепер працює і Гарвард-Смітсонівському центрі астрофізики), вони показали, що кути будівель діють як камери, які створюють нечіткі зображення того, що знаходиться за цим кутом.
Подібно до пінхол та пінспек камер (pinholes and pinspecks), краї та кути також обмежують проходження світлових променів. Використовуючи звичайне відеозаписуюче обладнання, навіть iPhone, серед білого дня, Буман і компанія знімали півтінь від кута будівлі: тіньову область, яку підсвічуює частина світлових променів, що йдуть із простору прихованого за кутом. Якщо там, наприклад, гуляє людина в червоній сорочці, сорочка буде проектувати незначну кількість червоного світла у півтінь, і це червоне світло буде рухатись через півтінь, коли людина ходить, невидиме для людського ока, але ясне як день після обробки.
Знімаючи півтінь на землі біля кута (1), можна отримати інформацію про об'єкти за кутом (2). Коли об'єкти в прихованій області рухаються, світло, яке вони проектують у напрямку до півтіні, переміщується під різними кутами відносно стіни. Ці слабкі зміни інтенсивності та кольору зазвичай невидимі неозброєним оком (3), але вони можуть бути розширені за допомогою алгоритмів. Примітивні відеозаписи світла, яке відбивається під різними кутами у зоні півтіні, виявляють рух однієї людини (4) або рух двох людей (5) за кутом.
(Антоніо Торральба та Вільям Т. Фрімен)
У новаторських роботах, опублікованих у червні, Фрімен та його колеги реконструювали «світлове поле» кімнати - картину інтенсивності та напрямку світлових променів по всій кімнаті – використовуючи тінь біля стіни від листяної рослини. Листи виступають у ролі пінспек камер, кожен з яких блокує різний набір світлових променів. Контрастність тіні кожного листа з рештою виявляє відсутність набору променів і тим самим відкриває зображення частини прихованої сцени. Враховуючи паралакс, дослідники можуть з’єднати частини зображення разом.
Цей метод світлового поля дає значно чіткіші зображення, ніж випадкові камери давали раніше, оскільки в алгоритми вбудовано знання оточуючого нас світу. Форма кімнатної рослини яка відома, припущення про те, що природні образи мають тенденцію бути згладженими, та інші попередні знання дають змогу дослідникам робити висновки про зашумлені сигнали, все це допомагає отримати чітке зображення. Техніка світлового поля «вимагає знати багато про навколишнє середовище, щоб зробити реконструкцію, але це дає вам велику кількість інформації», сказав Торральба.
В той час поки Фрімен, Торральба та їхні протеже працюють над розпізнаванням самочинних зображень, в іншому корпусі університету Рамеш Раскар спеціаліст з комп'ютерного зору, спікер TED, що явно прагне «змінити світ», приймає підхід, який називається «активна візуалізація» (active imaging). Для розташованих за кутом об’єктів, він використовує спеціалізовані системи великої вартості на основі лазерів та відеокамер, щоб отримувати зображення високої роздільною здатності.
У 2012 році, при реалізації ідеї п’ятирічної давнини, Раскар та його команда вперше розробили метод, який передбачає опромінення стіни лазерними імпульсами, щоб невелика частина розсіяного світла відбивалася за межі бар'єру. В момент після кожного імпульсу вони використовують стрік-камеру, яка фіксує окремі фотони зі швидкістю мільярд кадрів в секунду, щоб виявити фотони, які відбиваються від стіни. Вимірюючи час польоту фотонів що повернулись, дослідники можуть сказати, як далеко вони подорожували і таким чином реконструювати детальну 3-D геометрію прихованих об'єктів, фотони яких були розсіяні за бар'єром. Одне з ускладнень - це необхідність робити растрове сканування стіни за допомогою лазера, щоб сформувати 3-D зображення. Скажімо, є людина що заховалась за рогом. «Тоді світло з певних точок на голові, на плечі, та на коліні можуть прийти [у камеру] в той же самий час», сказав Раскар. «Але якщо я наведу лазер на інше місце поряд, то світло з тих трьох точок не прийде одночасно.» Ви повинні об'єднати всі сигнали і вирішити те, що відомо як «інверсна задача», щоб реконструювати приховану 3-D геометрію.
В активній візуалізації за межами поля зору, лазерне світло відбивається від стіни,
розсіюється від прихованого об'єкта, а потім повертається назад до місця, звідки воно прийшло.
Stanford Computation Imaging Lab
Оригінальний алгоритм Раскара для вирішення інверсної задачі вимагав серйозних обчислень, а необхідний для цього пристрій коштував півмільйона доларів. Але було досягнуто значного прогресу у спрощенні математики, що зменшило об’єм видатків. Стаття, яку було опубліковано в Nature у березні, встановила новий стандарт для ефективної, недорогої 3-D візуалізації об'єкта - зокрема, фігурки кролика розташованої за кутом. Автори Метью О'Тул / Matthew O’Toole, Девід Ліндел / David Lindell, та Гордон Вецштейн / Gordon Wetzstein зі Стенфордського університету, розробили новий потужний алгоритм для вирішення інверсної задачі і використовували відносно недорогу SPAD-камеру (single-photon avalanche diode) - напівпровідниковий пристрій з меншою частотою кадрів, ніж у стрік-камери. Раскар, який був раніше керівником двох авторів, назвав роботу «дуже розумною» і «однією з улюблених статей».
Попередні алгоритми загрузли у процедурних деталях: Дослідники зазвичай націлювали детектор зворотних фотонів у точку на стіні відмінну від точки падіння лазеру, так щоб їх камера могла уникнути відбитого світла лазера. Але, наводячи лазер і камеру майже в одну й ту саму точку, дослідники Стенфорду змогли створити з вихідних та вхідних фотонів однаковий «світловий конус». Кожного разу, коли світло розсіюється з поверхні, фотони формують сферу що розширюється, і ця сфера окреслює конус який витягується у часі. О'Тул (з того часу переїхав зі Стенфорду до Університету Карнегі-Меллона) переклав розроблену на початку 20-го століття Германом Мінковським (вчителем Альберта Ейнштейна) фізику світлових конусів у короткий математичний вираз, стисло кажучи - це стосується (ToF - times-of-flight) часу польоту фотону до місця розташування розсіюючих поверхонь. Цей процес він назвав «трансформація світлого конуса».
Безпілотні автомобілі вже мають лідарні системи для візуалізації у напрямку руху і, можливо, коли-небудь їх буде оснащено SPAD-камерами, які дадуть змогу бачити за кутами. «У найближчому майбутньому ці [лазер- SPAD] датчики будуть доступні у зручному портативному форматі», - дав прогноз Андреас Велтен / Andreas Velten, співавтор статті Раскара 2012 року (зараз керівник групи з активної візуалізації в Університеті Вісконсин-Медісон). Тепер завдання полягає в тому, щоб «перейти в більш складні конфігурації предметів» і реалістичні сценарії, сказав Велтен, «замість того, щоб приділяти особливу увагу створенню сцени з білим об'єктом і чорним простором навколо нього. Ми хочемо просто обрати точку та зафільмувати.»
Дослідники з групи Фрімена почали об’єднувати пасивні та активні підходи. У статті наукового співробітника Христоса Трампулідіса / Christos Thrampoulidis показано, що при активній візуалізації з лазером та наявністю пінспек-камери відомої форми, розташованої за кутом, можливо відновити приховану сцену взагалі без необхідності отримання інформації про час польоту фотонів. «Ми повинні бути в змозі робити це за допомогою звичайної ПЗЗ-камери», - сказав Трампулідіс.
Візуалізація за межами поля зору може колись допомогти рятувальним командам, пожежникам та автономним роботам. Велтен співпрацює з Лабораторією реактивного руху NASA / Jet Propulsion Laboratory над проектом, спрямованим на дистанційну візуалізацію внутрішнього простору печер на Місяці. Тим часом, Раскар і компанія використовували свій метод, щоб прочитати перші кілька сторінок закритої книги та побачити об’єкти крізь туман.
Крім реконструкції звуку, алгоритм Фрімена для підсилення переміщень може стати в нагоді для виробництва пристроїв з охорони здоров'я та безпеки, або систем для виявлення крихітних астрономічних рухів. Алгоритм «є дуже гарною ідеєю», сказав Девід Хогг / David Hogg, астроном та спеціаліст з обробки та аналізу даних у Нью-Йоркському університеті та Флетайронському інституті / Flatiron Institute який, як Quanta, фінансується Фондом Саймонса. «Мені подобається, ми повинні використовувати це в астрономії».
Коли його запитали про можливі загрози приватності, що збільшуються через недавні відкриття, Фрімен був небагатослівний. «Це питання, про яке всю свою кар'єру я думав багато-багато-багато», - сказав він. Такий собі в окулярах самоук-конструктор камер, що з малечку цікавився фотографією, Фрімен сказав, що, на початку своєї кар'єри він зовсім не хотів працювати з чимось військовим або шпигунським. Але з часом він прийшов до думки, що «технологія є інструментом, який може бути використано у різні способи. Якщо ви намагаєтеся уникнути будь-чого, що колись може мати військове використання, тоді ніколи ви не зробите нічого корисного». Він додав, що навіть у військових ситуаціях «це дуже широкий спектр того, як речі можуть бути використані. Це може допомогти комусь уникнути смерті від нападника. Взагалі, знання про знаходження речей є цілком гарною справою».
Але те, що хвилює його, - це не технологічні можливості, а явища які були знайдені просто у полі зору.
«Я думаю, що світ дуже багатий на речі, які ще мають бути відкриті», - сказав він.
Зібравши частки зображення, що не помітні для людського ока,
з допомогою NON-LINE-OF-SIGHT IMAGING (за межами поля зору)
можна бачити за кутами та крізь стіни
Під час свого відпочинку на іспанському узбережжі у 2012 році науковець, що досліджує комп’ютерне бачення Антоніо Торральба / Antonio Torralba, у готельному номері помітив випадкові тіні на стіні, які здавалось падали з нічого. Зрештою, Торральба зрозумів, що знебарвлені плями на стіни взагалі не були тінями, а скоріше слабким, перевернутим зображенням внутрішнього дворика поза його вікном. Вікно виконувало роль пінхол камери (камери-обскура), в якій світлові промені проходять через невеликий отвір та утворюють перевернуте зображення з іншої сторони. Отримане зображення було ледь помітне на світлій стіні. Але це підштовхнуло Торральба, зосередитись на тому що світ наповнений візуальною інформацією, яку наші очі не здатні побачити.
«Ці зображення приховані від нас», - сказав він, - «але вони постійно навколо нас.»
Цей досвід показав йому та колезі Біллу Фріману / Bill Freeman (обидва професори Массачусетського технологічного інституту) всюдисутність цих, як вони назвали «випадкових камер»: вікна, кути, кімнатні рослини та інші звичайні об'єкти, що створюють ледь помітні зображення оточуючих їх предметів. Ці зображення у понад 1000 разів тьмяніші, за все інше, їх неможливо побачити неозброєним оком. «Ми віднайшли способи як отримати ці образи та зробити їх видимими», - пояснив Фрімен.
Вчені виявили наскільки багато візуальної інформації приховано безпосередньо у полі нашого зору. У своїй першій статті Фрімен і Торральба показали, що мінливе світло на стіні кімнати, відео якого було зняте на звичайний iPhone, можна обробити та отримати сцену за вікном. Восени минулого року, вони та їхні співробітники повідомили, що можуть помітити, як хтось рухається за кутом, знімаючи землю біля кута. Цього літа, вони продемонстрували як можна знімаючи кімнатну рослину, реконструювати тривимірне зображення решти простору кімнати використавши неоднорідні тіні від листя рослини. Або вони можуть перетворити листя на « оптичний мікрофон», збільшуючи їх вібрації, щоб почути, розмови навколо.
«У Мері було ягня ...», - слова дитячої пісеньки промовляє чоловік в аудіозаписі, який було реконструйовано з рухів порожньої упаковки чіпсів, яку вчені знімали через звукоізольоване вікно в 2014 році (це були перші слова Томаса Едісона записані фонографом у 1877 році.)
Дослідження методів бачення навколо кутів та виведення інформації, що не є у полі зору, називається баченням за межами поля зору (non-line-of-sight imaging), яке розпочалось у 2012 році зі статті Торральба та Фрімен про випадкові камери, а також ще однієї новаторської статті, авторами якої є окрема група Массачусетського технологічного інституту під керівництвом Рамеша Раскара / Ramesh Raskar. У 2016 році, частково під впливом цих результатів, Агенція новітніх розробок Міноборони США (DARPA) запустила програму з бюджетом у 27 млн. доларів США для революційного покращення видимості шляхом експлуатації активних світлових полів – англ. Revolutionary Enhancement of Visibility by Exploiting Active Light-fields REVEAL, та фінансує групу новостворених лабораторій у США. З тих пір з’явився потік нових поглядів та математичних прийомів, що робить бачення за межами поля зору все більш потужним та практичним.
Внутрішній дворик ззовні готельної кімнати, де Антоніо Торральба помітив, що його вікно виступало як випадкова пінхол камера (1). Слабкий образ внутрішнього дворика на стіні (2) можна зробити більш чітким (3), прикриваючи більшу частину вікна картоном, щоб зменшити апертуру. Перевернуте згори вниз (4), зображення показує сцену назовні. (Антоніо Торральба та Вільям Т. Фрімен)
Торральба сказав, що він і Фрімен не мали на увазі жодного конкретного застосування, коли вони почали рухатися у цьому напрямку. Вони просто заглиблювалися в основи того, як формуються зображення і що представляє собою камера, що, природно, призвело до більш повного вивчення того, як світло поводиться та як воно взаємодіє з об'єктами і поверхнями у нашому середовищі. Вони почали бачити речі, які ніхто не думав шукати. Психологічні дослідження показали, про що зазначив Торральба: «люди справді жахливо тлумачать тіні. Можливо, однією з причин є те, що багато речей, які ми бачимо, насправді не є тінями. І зрештою око відмовляється від спроб їх розпізнати.»
Світлові промені, що несуть зображення предметів поза нашим полем зору, постійно вдаряються у стіни та інші поверхні, відбиваються до наших очей. Але чому ці візуальні явища настільки слабкі? Відповідь полягає в тому, що є надто багато світлових променів і рухаються вони у дуже різних напрямках. Врешті вони розмиваються.
Формування зображення вимагає суттєвого обмеження світлових променів, які падають на поверхню, що дозволяє побачити один з них. Це саме те, що робить камера-обскура. Початкове уявлення Торральби і Фрімена в 2012 році полягало в тому, що існує багато об'єктів і особливостей нашого середовища, які природно обмежують світлові промені, утворюючи слабкі зображення, яскравість яких достатня для комп’ютерної обробки.
Чим менша апертура камери-обскура, тим чіткіше отримане зображення, оскільки з кожної точки зображеного об'єкта виходить лише один світловий промінь що проходить крізь отвір під відповідним кутом. Вікно у готельному номері було завелике, щоб сформувати чітке зображення, Торральба та Фрімен знали, що зазвичай випадкові камери придатні до передачі зображення - рідкісне явище. Вони зрозуміли, однак, що «антипінхол» камери (або пінспек камера, англ. pinspeck camera), що складаються з будь-якого малого об'єкта блокуючого світло, формують зображення усюди в цьому місці.
Уявіть, що ви знімаєте внутрішню стіну кімнати через щілину у віконному жалюзі. Ви не зможете багато побачити. Раптово у вашому полі зору з’являється чиясь рука. Порівнюючи інтенсивність світла на стіні, коли рука є та її нема, можливо отримати інформацію про це приміщення. Світлові промені що попадають на стіну в першому відеокадрі, короткочасно блокуються рукою в наступному. Віднімаючи від першого зображення данні, отримані на другому, пояснює Фрімен: «Ви можете витягти те, що було заблоковано рукою» - ті світлові промені, що несуть зображення частини кімнати. «Якщо ви дозволяєте собі дивитися на речі, які блокують світло так само як на ті що пропускають світло», сказав він, «тоді ви можете розширити репертуар місць, де можна знайти пінхол-зображення.
Поряд з роботою над випадковими камерами, спрямованої на виявлення змін слабкої інтенсивності, Фрімен та його колеги розробили алгоритми для детектування та підсилення ледь вловимих змін кольору, подібних до тих, що з’являються на обличчі людини, з притоком крові до сосудів або відтоком, а також мікропереміщення - трюк з упаковкою з під чіпсів що розмовляє. Тепер вони можуть легко помітити рухи настільки малі як одна сота пікселя, які зазвичай можуть бути поховані у шумі. Їх метод полягає в математичному перетворенні зображень у форму синусоїд. Важливо, що в трансформованому просторі сигнал не є під домінуванням шуму, тому що синусоїди відображають середні значення для багатьох пікселів, шум розподіляється серед них. Тому дослідники можуть виявити відхилення в положеннях синусоїд у відеоряді від кадру до кадру, посилити ці відхилення, а потім перетворити дані назад.
Тепер вони почали поєднувати ці різні методи для отримання прихованої візуальної інформації. У дослідженні, опублікованому в жовтні минулого року під керівництвом тодішньої аспірантки Фрімена, Кеті Боуман / Katie Bouman (тепер працює і Гарвард-Смітсонівському центрі астрофізики), вони показали, що кути будівель діють як камери, які створюють нечіткі зображення того, що знаходиться за цим кутом.
Подібно до пінхол та пінспек камер (pinholes and pinspecks), краї та кути також обмежують проходження світлових променів. Використовуючи звичайне відеозаписуюче обладнання, навіть iPhone, серед білого дня, Буман і компанія знімали півтінь від кута будівлі: тіньову область, яку підсвічуює частина світлових променів, що йдуть із простору прихованого за кутом. Якщо там, наприклад, гуляє людина в червоній сорочці, сорочка буде проектувати незначну кількість червоного світла у півтінь, і це червоне світло буде рухатись через півтінь, коли людина ходить, невидиме для людського ока, але ясне як день після обробки.
Знімаючи півтінь на землі біля кута (1), можна отримати інформацію про об'єкти за кутом (2). Коли об'єкти в прихованій області рухаються, світло, яке вони проектують у напрямку до півтіні, переміщується під різними кутами відносно стіни. Ці слабкі зміни інтенсивності та кольору зазвичай невидимі неозброєним оком (3), але вони можуть бути розширені за допомогою алгоритмів. Примітивні відеозаписи світла, яке відбивається під різними кутами у зоні півтіні, виявляють рух однієї людини (4) або рух двох людей (5) за кутом.
(Антоніо Торральба та Вільям Т. Фрімен)
У новаторських роботах, опублікованих у червні, Фрімен та його колеги реконструювали «світлове поле» кімнати - картину інтенсивності та напрямку світлових променів по всій кімнаті – використовуючи тінь біля стіни від листяної рослини. Листи виступають у ролі пінспек камер, кожен з яких блокує різний набір світлових променів. Контрастність тіні кожного листа з рештою виявляє відсутність набору променів і тим самим відкриває зображення частини прихованої сцени. Враховуючи паралакс, дослідники можуть з’єднати частини зображення разом.
Цей метод світлового поля дає значно чіткіші зображення, ніж випадкові камери давали раніше, оскільки в алгоритми вбудовано знання оточуючого нас світу. Форма кімнатної рослини яка відома, припущення про те, що природні образи мають тенденцію бути згладженими, та інші попередні знання дають змогу дослідникам робити висновки про зашумлені сигнали, все це допомагає отримати чітке зображення. Техніка світлового поля «вимагає знати багато про навколишнє середовище, щоб зробити реконструкцію, але це дає вам велику кількість інформації», сказав Торральба.
В той час поки Фрімен, Торральба та їхні протеже працюють над розпізнаванням самочинних зображень, в іншому корпусі університету Рамеш Раскар спеціаліст з комп'ютерного зору, спікер TED, що явно прагне «змінити світ», приймає підхід, який називається «активна візуалізація» (active imaging). Для розташованих за кутом об’єктів, він використовує спеціалізовані системи великої вартості на основі лазерів та відеокамер, щоб отримувати зображення високої роздільною здатності.
У 2012 році, при реалізації ідеї п’ятирічної давнини, Раскар та його команда вперше розробили метод, який передбачає опромінення стіни лазерними імпульсами, щоб невелика частина розсіяного світла відбивалася за межі бар'єру. В момент після кожного імпульсу вони використовують стрік-камеру, яка фіксує окремі фотони зі швидкістю мільярд кадрів в секунду, щоб виявити фотони, які відбиваються від стіни. Вимірюючи час польоту фотонів що повернулись, дослідники можуть сказати, як далеко вони подорожували і таким чином реконструювати детальну 3-D геометрію прихованих об'єктів, фотони яких були розсіяні за бар'єром. Одне з ускладнень - це необхідність робити растрове сканування стіни за допомогою лазера, щоб сформувати 3-D зображення. Скажімо, є людина що заховалась за рогом. «Тоді світло з певних точок на голові, на плечі, та на коліні можуть прийти [у камеру] в той же самий час», сказав Раскар. «Але якщо я наведу лазер на інше місце поряд, то світло з тих трьох точок не прийде одночасно.» Ви повинні об'єднати всі сигнали і вирішити те, що відомо як «інверсна задача», щоб реконструювати приховану 3-D геометрію.
В активній візуалізації за межами поля зору, лазерне світло відбивається від стіни,
розсіюється від прихованого об'єкта, а потім повертається назад до місця, звідки воно прийшло.
Stanford Computation Imaging Lab
Оригінальний алгоритм Раскара для вирішення інверсної задачі вимагав серйозних обчислень, а необхідний для цього пристрій коштував півмільйона доларів. Але було досягнуто значного прогресу у спрощенні математики, що зменшило об’єм видатків. Стаття, яку було опубліковано в Nature у березні, встановила новий стандарт для ефективної, недорогої 3-D візуалізації об'єкта - зокрема, фігурки кролика розташованої за кутом. Автори Метью О'Тул / Matthew O’Toole, Девід Ліндел / David Lindell, та Гордон Вецштейн / Gordon Wetzstein зі Стенфордського університету, розробили новий потужний алгоритм для вирішення інверсної задачі і використовували відносно недорогу SPAD-камеру (single-photon avalanche diode) - напівпровідниковий пристрій з меншою частотою кадрів, ніж у стрік-камери. Раскар, який був раніше керівником двох авторів, назвав роботу «дуже розумною» і «однією з улюблених статей».
Попередні алгоритми загрузли у процедурних деталях: Дослідники зазвичай націлювали детектор зворотних фотонів у точку на стіні відмінну від точки падіння лазеру, так щоб їх камера могла уникнути відбитого світла лазера. Але, наводячи лазер і камеру майже в одну й ту саму точку, дослідники Стенфорду змогли створити з вихідних та вхідних фотонів однаковий «світловий конус». Кожного разу, коли світло розсіюється з поверхні, фотони формують сферу що розширюється, і ця сфера окреслює конус який витягується у часі. О'Тул (з того часу переїхав зі Стенфорду до Університету Карнегі-Меллона) переклав розроблену на початку 20-го століття Германом Мінковським (вчителем Альберта Ейнштейна) фізику світлових конусів у короткий математичний вираз, стисло кажучи - це стосується (ToF - times-of-flight) часу польоту фотону до місця розташування розсіюючих поверхонь. Цей процес він назвав «трансформація світлого конуса».
3-D реконструкція об'єкта, виконаного з використанням світла,
відображеного в активній візуалізації за межами поля зору
Stanford Computation Imaging Lab
відображеного в активній візуалізації за межами поля зору
Stanford Computation Imaging Lab
Безпілотні автомобілі вже мають лідарні системи для візуалізації у напрямку руху і, можливо, коли-небудь їх буде оснащено SPAD-камерами, які дадуть змогу бачити за кутами. «У найближчому майбутньому ці [лазер- SPAD] датчики будуть доступні у зручному портативному форматі», - дав прогноз Андреас Велтен / Andreas Velten, співавтор статті Раскара 2012 року (зараз керівник групи з активної візуалізації в Університеті Вісконсин-Медісон). Тепер завдання полягає в тому, щоб «перейти в більш складні конфігурації предметів» і реалістичні сценарії, сказав Велтен, «замість того, щоб приділяти особливу увагу створенню сцени з білим об'єктом і чорним простором навколо нього. Ми хочемо просто обрати точку та зафільмувати.»
Дослідники з групи Фрімена почали об’єднувати пасивні та активні підходи. У статті наукового співробітника Христоса Трампулідіса / Christos Thrampoulidis показано, що при активній візуалізації з лазером та наявністю пінспек-камери відомої форми, розташованої за кутом, можливо відновити приховану сцену взагалі без необхідності отримання інформації про час польоту фотонів. «Ми повинні бути в змозі робити це за допомогою звичайної ПЗЗ-камери», - сказав Трампулідіс.
Візуалізація за межами поля зору може колись допомогти рятувальним командам, пожежникам та автономним роботам. Велтен співпрацює з Лабораторією реактивного руху NASA / Jet Propulsion Laboratory над проектом, спрямованим на дистанційну візуалізацію внутрішнього простору печер на Місяці. Тим часом, Раскар і компанія використовували свій метод, щоб прочитати перші кілька сторінок закритої книги та побачити об’єкти крізь туман.
Крім реконструкції звуку, алгоритм Фрімена для підсилення переміщень може стати в нагоді для виробництва пристроїв з охорони здоров'я та безпеки, або систем для виявлення крихітних астрономічних рухів. Алгоритм «є дуже гарною ідеєю», сказав Девід Хогг / David Hogg, астроном та спеціаліст з обробки та аналізу даних у Нью-Йоркському університеті та Флетайронському інституті / Flatiron Institute який, як Quanta, фінансується Фондом Саймонса. «Мені подобається, ми повинні використовувати це в астрономії».
Коли його запитали про можливі загрози приватності, що збільшуються через недавні відкриття, Фрімен був небагатослівний. «Це питання, про яке всю свою кар'єру я думав багато-багато-багато», - сказав він. Такий собі в окулярах самоук-конструктор камер, що з малечку цікавився фотографією, Фрімен сказав, що, на початку своєї кар'єри він зовсім не хотів працювати з чимось військовим або шпигунським. Але з часом він прийшов до думки, що «технологія є інструментом, який може бути використано у різні способи. Якщо ви намагаєтеся уникнути будь-чого, що колись може мати військове використання, тоді ніколи ви не зробите нічого корисного». Він додав, що навіть у військових ситуаціях «це дуже широкий спектр того, як речі можуть бути використані. Це може допомогти комусь уникнути смерті від нападника. Взагалі, знання про знаходження речей є цілком гарною справою».
Але те, що хвилює його, - це не технологічні можливості, а явища які були знайдені просто у полі зору.
«Я думаю, що світ дуже багатий на речі, які ще мають бути відкриті», - сказав він.