Каким способом действует распознавание лиц в смартфонах

Для чего мы останавливаемся на разлочивание по лицевому распознаванию

В недавние годы распознавание физиономий превратилось в одной из наиболее востребованных возможностей для разблокировки умных телефонов. Всего некоторые лет тому назад основная часть юзеров довольствовались PIN-кодами, паролями или датчиками отпечатков пальцев. Но при появлением таких технологий, как вулкан россия, нам вполне просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Что превращает эту возможность такой востребованной? Для начала, это комфортно: не нужно помнить замысловатые пароли или отыскивать правильный палец в темноте. Кроме того, это оперативно: современные системы узнают лицо практически за мгновение. В-третьих, это чувство будущего — словно в кинолентах про казино вулкан шпионов.

Однако за данной на первый взгляд несложностью скрывается полный мир трудных технологий и инженерных концепций. Попробуем понять, как именно действует идентификация по лицу в современных мобильных телефонах, какие существуют способы, насколько они надёжны и что нас предстоит.

Краткая история развития технологии

Распознавание лиц как техника имеется уже более 50 годов. Первые пробы автоматизированного изучения облика были предприняты еще в 1960-х годы в исследовательских центрах США. Тогда вычислительные машины умели лишь выделять очертания головы и определять расстояния между очами и устами на ахроматических снимках.

Начальные торговые системы появились в 1990-х годах, но они были далеки от совершенства: работали медленно и нередко ошибались. Только с прогрессом синтетических сетей и таких платформ, как вулкан россии, высокопроизводительных мобильных микросхем определение лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый популярный смартфон с достоверным трёхмерным сканированием лица. За этим пошли Android-производители: Samsung, Huawei, Xiaomi и прочие начали внедрять свои разработки.

Ключевые этапы работы системы определения

Процесс идентификации лица можно примерно разделить на несколько важных этапов:

Идентификация лица — устройство распознает присутствие человеческого образа в снимке.
Извлечение особенностей — система анализирует черты облика: очертания глаз, обонятельного органа, уст, положение надбровных дуг.
Построение шаблона — создаётся уникальный цифровой отпечаток (faceprint) на основе определённых признаков.
Сравнение со стандартом — полученный образец сопоставляется со зафиксированной при внесении биометрической данными владельца.
Принятие решения — если соответствие достаточно существенное, смартфон разблокируется.

Любой из указанных стадий запрашивает специальных методов и оптимизаций для оперативной работы прямо на устройстве.

Аппаратные составляющие: что скрыто в их недрах

Типичная передняя камера.

Наиболее простой метод распознавания лица задействует только фронтальную камеру смартфона смартфона. Подобный способ реализован во различных бюджетных версиях Android-устройств.

Плюсы:

Необходимо потребляет внешних датчиков.
Быстро работает при хорошем освещённости.

Минусы:

Легко ввести в заблуждение изображением или роликом.
Плохо работает при низком освещённости или непривычных точках зрения.

ИК фотокамера и точечный проектор

Более усовершенствованные системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс лежит в основе Face ID от Apple.

Как это функционирует:

Точечный проектор показывает на физиономию пользователя невидимую сетку из тысяч инфракрасных пятен (например, Face ID задействует около 30 000 пятен).
ИК камера регистрирует искривление этой решетки по плоскости лица.
Получается 3D карта глубинности, которая почти что неосуществима для имитации обычной фото или маской.

Преимущества

Надёжная функционирование даже в полной темноте.
Большая устойчивость к имитациям.
Точность распознавания свыше 99%.

Дополнительные датчики

В отдельных аппаратах задействуются также дополнительные датчики: ToF (Time-of-Flight), которые измеряют период движения луча до цели и обратно; Трехцветные-датчики дальности; специальные световые лидары для создания более аккуратной 3D-модели лица.

Эти технологии применяются наиболее часто во передовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: синтетический интеллект в действии

Текущие устройства идентификации лиц невозможны при отсутствии эксплуатации ИИ и машинного обучения. Именно благодаря таким разработкам, как вулкан россии, устройство способно узнавать пользователя даже при трансформациях внешности: новая стрижка, растительность на лице, оптика или грим не становятся помехой для открытия.

Распознавание физиономии

На первом этапе программа должна мгновенно найти образ лица внутри полного изображения камеры. Для данной цели используются каскадные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые подготовлены находить лиц человека среди множества других объектов.

Пример: процесс MTCNN может находить лицо даже с частичном закрытии (например, платком или ладонью).

Выделение важных аспектов

После идентификации лица устройство, такая как вулкан россии, устанавливает положение главных точек: кончики глаз, верхушка носа, границы губ и так далее. Обычно используется от 68 до 128 основных маркеров на лице.

Это нужно для стабилизации визуала: если человек удерживает телефон под наклоном, или склонил головку, программа “выпрямляет” изображение до нормального состояния для последующего изучения.

Формирование биометрии образца

Далее искусственная сеть строит уплотненное математическое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ лица длиной от 128 до 512 вещественных чисел.

Такой формат очень затруднительно подделать: он не сохраняет само фото юзера, а лишь исключительные особенности его внешности, что делает его идеальным для таких площадок, как vulkan russia.

Сравнительный анализ и вынесение заключения

Когда пользователь намеревается разлочить телефон взором, механизм осуществляет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает определённый порог (обычно выше 99%), телефон, как и платформа vulkan russia, доступен; если нет — доступ запрещается.

Привыкание к трансформациям облика

Увлекательная черта современных системы — возможность самостоятельного обучения. Если вы часто разблокируете смартфон с новой стрижкой или оптикой, алгоритм постепенно обновляет базовый шаблон вашего облика для улучшения точности функционирования без ухудшения безопасности.

Защита биометрических данных данных.

Большинство пользователи опасаются хранить свои биометрические данные на телефоне из-за вероятности утечки данных или взлома гаджета. Определенные организации, например vulkan russia, предлагают методы для повышения безопасности информации клиентов.

Локальное хранение: Преимущественно устройств хранит био-идентификационные модели лишь внутри защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не покидают устройство и недоступны включая создателю.
Шифрование: Все информация хранятся только в кодированном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция программ: Приложения внешних разработчиков не имеют непосредственного возможности доступа к биометрическим данным; они могут лишь запрашивать факт верификации идентичности через системный API.

Необходимо отметить значимую особенность: в случае, если кто-то получит физический доступ к вашему телефону (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество компании осуществляют меры безопасности от неосознанного разблокирования — к примеру, просят раскрыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют имеются виды идентификации лиц?

В настоящее время можно определить различить 3 главных способа к реализации этой операции:

Программное двухмерное определение

Применяется только лицевая камера без дополнительных детекторов глубины. Этот метод используется обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность реализации; низкая цена; быстрая функционирование при хорошем освещении.
Минусы: несложно обмануть снимком; неустойчивая деятельность ночью; слабая защищенность.

Оборудование для трёхмерное сканирование

Использует ИК видеокамеру + проекционный модуль пикселей + сенсоры дистанции (Face ID у Apple; аналогичные технологии у Huawei Mate).
Достоинства: значительная достоверность; невозможно обмануть изображение/видеозапись; стабильная деятельность при любом освещении.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Гибридные способы с интеграцией ИИ

Используют комбинацию программных методов + аппаратную обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, как вулкан россии и Google Pixel Face Unlock современных версий, объединяют фронталку c ИК датчиком движения Soli Radar для защиты от фальсификаций руками/масками/видеоэкранами посторонних устройств.

Иллюстрации применения разнообразных методов

iPhone модели X/11/12/13/14 используют только аппаратное трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition первый раз предложил подобие Face ID в ряду Android.
Samsung Galaxy S10 модель/S20 обеспечивают как софтверное 2D определение по снимку селфи-камерой, так и датчик глазного ириса.
Huawei Mate20 Pro использует комплекс из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Вопросы охраны и неверные срабатывания

Несмотря на замечательный успехи технологий за прошедшие годы, безупречных систем пока не имеется:

Возможность мошенничества: Доступные мобильники просто “разблокируются” качественной изображением хозяина или же видео с экрана другого устройства.
Идентичные близнецы: Даже самые совершенные системы могут ошибиться между монозиготными близнецами либо родственниками с очень похожей внешностью.
Изменения облика: Внезапное похудение/увеличение массы тела, пластические операции либо повреждения порой требуют повторной регистрации биометрии.
Условия записи: Яркая освещённость солнечным светом или глубокая тень могут снизить точность распознавания признаков.

Ниже несколько советов для защищённому эксплуатации:

Для значимых операций всегда применяйте двухфакторную аутентификацию;
Не включайте возможность “Разблокировка по лицу” на недорогих моделях без ИК-сенсоров;
Регулярно обновляйте прошивку программное обеспечение смартфона для предотвращения угроз от новых видов атак;
Включайте опцию “Требовать раскрытых глаз” там, где она имеется.

В каких областях ещё находится применение технологии помимо смартфонов?

Хотя основная мысль этой публикации посвящена в частности портативным гаджетам, следует отметить альтернативных областях использования технологии:

Управление прохода в деловых центрах и жилых домах;
Платёжные аппараты банков (“Face Pay”);
Цифровые идентификационные документы последнего поколения;
Системы видеомониторинга городских подразделений;
Механизация отслеживания посещаемости школ/университетов;
Вход юзеров компьютеров/ноутбуков.

Например: В городском метро уже проверяется система оплаты проезда по лицу (“Face Pay”) — хватит пройти через барьер без пластика или телефона! Аналогичные программы развиваются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом меняется технология в нынешнее время?

Всякий годочек возникают свежие идеи для повышения стандарта работы систем идентификации лиц:

Увеличивается детализация сенсоров — чем больше элементов фиксируется фотоаппаратом/датчиками глубины, тем меньше шанс ошибки;
Развиваются искусственные интеллекты — современные архитектуры модели MobileNetV3 дают возможность скоростно осваивать дополнительным особенностям облика обладателя напрямую на гаджете без отправки данных в облако.
Улучшаются способы антиспуфинга — теперь телефоны способны распознавать настоящие движущиеся лица от статичных фото/масок по мельчайшим движениям кожи.
Синхронизация со смарт-гаджетами — умные часы могут самостоятельно блокировать мобильный телефон, если пользователь ушёл далеко.
Возникают смешанные устройства — к примеру совмещающие речевую опознание + лицо + дактилоскопический след.

Вот, какие тренды в особенности актуальны в данный момент:

1) Уменьшение деталей

Производители стараются сократить величину отверстия (“чёлки”) для датчики на дисплее за счёт внедрения компактных ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на аппарате

Для улучшения приватности всё более обработки данных происходит внутри устройства без пересылки информации во внешний облачный услугу.

3) Упорядочивание регламентов

Гугл интенсивно пропагандирует стандарт BiometricPrompt API, чтобы подобные системы, например как вулкан россия, и каждые Android-приложения были совместимы с любыми видами биометрии единообразно.

Какое подобрать на сегодня?

Если вам всем важна предельная защита данных, остановите выбор на флагманские устройства со встроенным ИК-проектором либо ToF-датчиком глубины.

iPhone каждого актуальных версий
Huawei Mate/Series P ряда
Xiaomi Pro
Vivo X модели
Оппо Find Х линейки.

Если бюджет ограничен – лучше отдавать предпочтение классическим способам защиты (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в вулкан россия, применять только как дополнительную возможность комфорта.

Каким способом увеличить удобство функционирования опции?

Есть пара лайфхаков для тех, кто уже применяет разблокировку через лицо:

Периодически обновляйте свою изображение-шаблон, если значительно изменяется внешность.
Не забывайте очищать линзу передней камеры – разводы могут понизить точность!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам запускает камеру когда вы поднимаете его.
При регистрационного процесса постарайтесь держать лицевую часть ровно перед видеоустройства исключая сильного наклона головы.
Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отвели взгляд от дисплея.

Возможности прогресса технологии

В скоро наступающие годы можно предполагать появления полностью бесконтактных способов распознавания персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + голос + шаги + жесты рук!

Также возможно возникновение свежих подходов охраны конфиденциальности – скажем, переменное корректировка цифрового шаблона после каждой удачной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее увлекательных техник нашего времени! Она предоставляет интеракцию со смартфоном удобнее чем до этого, и такие аппы, как vulkan russia, могут существенно оптимизировать ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы осведомлены, как работает эта система внутри, – сможете вдумчиво определять свой следующий гаджет!