Как действует определение лиц в мобильных устройствах

Для чего мы останавливаемся на разлочивание по фейсу

В недавние времена распознавание лиц стало одной из самых распространённых возможностей для деблокировки смартфонов. Еще некоторые лет тому назад большинство пользователей обходились PIN-кодами, ключами доступа или датчиками отпечатков пальцев. Но при появлением подобных технологий, например admiral x, нам достаточно просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Что превращает данную функцию очень нужной? Для начала, это практично: не нужно удерживать в памяти сложные пароли или искать верный палец в тьме. Кроме того, это быстро: современные алгоритмы распознают лицо фактически за доли секунды. В-третьем пункте, это ощущение футуристичности — как будто в кинолентах про admiral x официальный сайт шпионов.

Впрочем за этой кажущейся простотой таится полный мир сложных технологий и инженерных решений. Попробуем исследовать, как конкретно функционирует фейсканирование в актуальных мобильных телефонах, какие применяются методы, насколько они защищены и что нас ждёт впереди.

Короткая история прогресса техники

Идентификация лиц как технология присутствует уже более пятидесяти лет. Изначальные попытки автоматического исследования лица были сделаны еще в 1960-х годах в исследовательских центрах США. Тогда ЭВМ умели лишь определять силуэты головы и вычислять расстояния между глазами и губами на ахроматических фотографиях.

Первые бизнес платформы возникли в 1990-х годах, но они были неидеальны: работали медленно и часто ошибались. Только с прогрессом нейронных сетей и таких площадок, как адмирал х, сильных мобильных процессоров определение лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным распознаванием лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали интегрировать личные разработки.

Основные этапы функционирования устройства распознавания

Процесс распознавания лица можно условно сегментировать на несколько основных этапов:

Идентификация лиц — аппарат определяет наличие людского образа в изображении.
Выделение характеристик — система исследует особенности лица: конфигурацию зрительных органов, носа, уст, положение надбровных дуг.
Построение шаблона — создаётся особенный цифровой отпечаток (faceprint) на основе выделенных признаков.
Сравнение с эталоном — созданный модель сопоставляется со записанной при регистрации биометрической сведениями владельца.
Принятие выбора — если соответствие достаточно существенное, смартфон открывается.

Всякий из указанных стадий нуждается в специальных процедур и улучшений для скорой работы непосредственно на девайсе.

Аппаратные компоненты: что прячется в их недрах

Обычная селфи камера.

Простейший простой метод идентификации физиономии задействует исключительно лицевую камеру смартфона смартфона. Данный способ осуществлён во многих бюджетных вариантах Android-устройств.

Достоинства:

Необходимо требует дополнительные датчиков.
Оперативно работает при качественном освещении.

Слабые стороны:

Просто одурачить снимком или роликом.
Неправильно функционирует при низком освещении или нестандартных углах обзора.

ИК фотокамера и пунктирный проектор

Более совершенные системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика лежит в основе Face ID от Apple.

Как это работает:

Точечный проекционный прибор показывает на лицо использующего невидимую сетку из тысяч инфракрасных пятен (например, Face ID использует около 30 000 пятен).
Инфракрасная устройство записывает изменение формы этой сетки по плоскости лица.
Создаётся трехмерная карта глубинности, что почти что неподвластна для подделки стандартной снимком или маскировкой.

Преимущества

Надёжная деятельность даже в полной тьме.
Большая сопротивляемость к подделкам.
Точность распознавания более 99%.

Дополнительные сенсорные устройства

В отдельных аппаратах используются также экстра сенсоры: ToF (Time-of-Flight), которые измеряют время движения света до предмета и обратно; RGB-датчики дальности; специальные оптические дальномеры для формирования более точной 3D-модели лица.

Эти инновации встречаются наиболее часто во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: искуственный разум на исполнении

Нынешние устройства опознания физиономий невозможны при отсутствии использования ИИ и machine learning. Именно благодаря таким технологиям, как адмирал х, гаджет в состоянии идентифицировать пользователя даже при изменениях облика: новая укладка, щетина, очки или макияж не становятся помехой для открытия.

Детектирование лиц

В стартовом этапе система должна оперативно обнаружить ликовое изображение среди полного изображения с камеры. Для этого задействуются последовательные классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые подготовлены идентифицировать лиц человека среди множества других объектов.

Пример: алгоритм MTCNN может распознавать облик даже при частичном перекрытии (например, шалью или ладонью).

Идентификация ключевых аспектов

После идентификации лица устройство, такая как адмирал х, устанавливает местоположение ключевых точек: кончики глаз, кончик носа, края губ и так далее. Обычно используется от 68 до 128 ключевых точек на лице.

Это действие нужно для выравнивания изображения: если юзер держит телефон под углом, или повернул головку, программа исправляет изображение до нормального состояния для дальнейшего анализа.

Формирование биометрического идентификатора образца

Далее нейросеть строит компактное цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой след лица длиной от 128 до 512 вещественных чисел.

Этот шаблон очень затруднительно подделать: он не удерживает непосредственно картинку юзера, а лишь уникальные особенности его внешности, что делает его оптимальным для таких площадок, как admiral-x.

Сопоставление и осуществление заключения

В случае, когда пользователь хочет разблокировать смартфон глазами, механизм осуществляет все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный порог (обычно выше 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ не предоставляется.

Адаптация к трансформациям облика

Увлекательная особенность актуальных системы — способность самостоятельного обучения. Если вы часто доступаете к мобильное устройство с свежей прической или оптикой, система постепенно модернизирует базовый образец вашего лица для увеличения точности действия без ухудшения безопасности.

Охрана биометрии данных.

Многие пользователи опасаются хранить свои биометрические данные на мобильном устройстве из-за вероятности потери данных или хакерской атаки. Определенные фирмы, например admiral-x, предлагают методы для увеличения безопасности данных пользователей.

Локальное хранение: Преимущественно устройств сохраняет био-идентификационные шаблоны только внутрь защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют аппарат и закрыты даже производителю.
Шифрование: Все данные сберегаются только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция приложений: Приложения третьих девелоперов не обладают прямого доступа к биометрическим данным; они могут лишь требовать факт подтверждения личности через системный API.

Следует упомянуть важную деталь: в случае, если какой-то человек достанет доступ к вашему телефону физически (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие изготовители осуществляют систему защиты от неосознанного разблокирования — в частности, заставляют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют категории распознавания лиц?

Сегодня можно определить выделить 3 ключевых подхода к реализации этой задачи:

Программируемое плоское идентификация

Эксплуатируется только фронтальная видеокамера без дополнительных сенсоров глубины. Подобный способ встречается обычно в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность воплощения; умеренная затраты; оперативная работа при достаточном освещении.
Минусы: несложно одурачить снимком; нестабильная функционирование ночью; недостаточная защищенность.

Оборудование для 3D сканирование

Применяет инфракрасную камеру + проекционный модуль пикселей + сенсоры дистанции (Face ID у Apple; аналогичные технологии у Huawei Mate).
Преимущества: большая достоверность; не получится обмануть изображение/видеозапись; устойчивая работа в любых условиях освещения.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Гибридные методы с интеграцией ИИ

Применяют комбинацию программируемых методов + аппаратную обработку + последующую обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, например адмирал х и Google Pixel Face Unlock последних версий, объединяют фронталку c ИК сенсором движения Soli Radar для предотвращения от фальсификаций руками/масками/видеодисплеями посторонних устройств.

Образцы использования разнообразных способов

iPhone серии X/11/12/13/14 применяют только аппаратное трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition первый раз внедрил эквивалент Face ID в ряду Android.
Samsung Galaxy S10 модель/S20 поддерживают как программное обеспечение плоское распознавание по изображению фронталкой, так и сканер радужки глаза.
Huawei Mate20 Pro использует комплекс из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Вопросы охраны и неверные тревоги

Несмотря на замечательный успехи техники за недавние лет, совершенных системы пока не имеется:

Шанс обмана: Недорогие смартфоны легко открываются четкой снимком хозяина или же видео с дисплея иного гаджета.
Идентичные близнецы: Даже самые безупречные устройства могут ошибиться между монозиготными близнецами либо родственниками с очень схожей внешностью.
Трансформации внешнего вида: Резкое похудение/увеличение массы тела, косметические процедуры или повреждения иногда необходимы для перерегистрации биометрии.
Условия фотографирования: Яркая освещённость солнцем либо глубокая темнота могут снизить точность распознавания признаков.

Ниже пара подсказок для надёжному эксплуатации:

Для важных операций всегда используйте двухфакторную аутентификацию;
Не запускайте функцию “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
Регулярно обновляйте прошивку ПО мобильного устройства для защиты от новых видов атак;
Включайте функцию “Требовать раскрытых глаз” там, где она имеется.

В каких местах также применяется технологии за исключением мобильных телефонов?

Несмотря на то, что предмет нашей публикации сосредоточена на конкретно смартфонам и планшетам, стоит упомянуть о других сферах применения технологии:

Управление доступа в деловых центрах и резиденциях;
Платёжные аппараты банков (“Face Pay”);
Виртуальные удостоверения личности современного образца;
Системы видеомониторинга городских сервисов;
Автоматизирование регистрации посещаемости образовательных учреждений/вузов;
Авторизация пользователей ПК/ноутбуков.

Например: В городском метро уже тестируется система платежа проезда по фейсу (“Face Pay”) — хватит пройти через барьер без карты или мобильника! Схожие программы осуществляются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким образом трансформируется технический процесс сегодня?

Всякий год появляются свежие концепции для улучшения уровня работы систем распознавания лиц:

Увеличивается разрешение сенсоров — чем больше информации фиксируется камерой/глубинными сенсорами, тем меньше вероятность погрешности;
Развиваются нейросети — современные архитектуры типа MobileNetV3 позволяют скоростно осваивать дополнительным чертам внешности обладателя напрямую на гаджете без отправки данных в облако.
Улучшаются методы антиспуфинга — теперь телефоны могут различать подлинные движущиеся облики от неподвижных фото/масок по микроскопическим движениям кожи.
Синхронизация со интеллектуальными приборами — смарт-часы могут авто блокировать смартфон, если владелец удалился на значительное расстояние.
Появляются комбинированные устройства — к примеру совмещающие аудио идентификацию + облик + пальцевой отпечаток.

Вот, которые направления очень востребованы сейчас:

1) Сокращение компонентов

Изготовители пытаются минимизировать размер отверстия (“чёлки”) для датчики на экране за счёт внедрения компактных ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на устройстве

Для улучшения приватности всё более обработки данных происходит внутри устройства без пересылки информации во внешний облачный услугу.

3) Стандартизация стандартов

Google энергично продвигает эталон BiometricPrompt API, для того чтобы такие платформы, как admiral x, и любые Android-аппы были совместимы с всеми формами биометрии стандартизированно.

Какое выбрать на сегодня?

Когда тебе важна предельная защита информации, остановите выбор на топовые устройства со встроенным ИК-проектором или ToF-датчиком глубины.

iPhone всех существующих последних версий
Huawei Mate/P Series серии
Xiaomi Expert
Vivo X линейки
Оппо Find Х линейки.

Если средства скромен – лучше выбирать обычным средствам безопасности (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в admiral x, применять только как второстепенную возможность удобства.

Каким образом улучшить удобство использования опции?

Есть пара хитростей для людей, кто уже использует разблокировку по лицу:

Часто обновляйте свою изображение-шаблон, если сильно изменяется облик.
Не пренебрегайте очищать линзу фронтальной камеры – разводы могут снизить четкость!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам активирует камеру когда вы поднимаете его.
В процессе регистрации постарайтесь удерживать голову неподвижно перед объектива исключая сильного наклона головы.
Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отвели взгляд от экрана.

Будущее прогресса инноваций

В ближайшие периоды можно предвкушать развития полностью бесконтактных способов опознания индивидуума сразу по нескольким биометрическим параметрам одновременно: облик + речь + походка + жесты рук!

Также предполагается развитие новых способов охраны конфиденциальности – скажем, динамическое корректировка цифрового шаблона после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее увлекательных технологий нашего времени! Она обеспечивает взаимодействие со смартфоном проще чем когда-либо прежде, и такие приложения, как admiral-x, могут в разы оптимизировать ваш пользовательский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы понимаете, как функционирует эта методика в деталях, – сможете вдумчиво выбирать свой будущий гаджет!