Как функционирует идентификация лиц в мобильных устройствах

Для чего мы предпочитаем разблокирование по лицу

В последние времена распознавание лиц является одной из самых популярных опций для деблокировки мобильных телефонов. Еще некоторые годков ранее основная масса юзеров удовлетворялись пин-кодами, секретными кодами или датчиками отпечатков пальцев. Но при появлением таких технологий, например admiral x, нам достаточно лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Какая вещь обуславливает эту особенность очень нужной? Во-первых, это комфортно: не нужно помнить замысловатые пароли или искать правильный палец в мраке. Во-вторых, это мгновенно: современные системы узнают лицо практически за мгновение. В-третьем пункте, это впечатление будущего — как будто в кинолентах про admiral x зеркало разведчиков.

Однако за этой на первый взгляд несложностью таится целый универсум сложных техник и инженерных разработок. Позвольте нам разобраться, как конкретно действует идентификация по лицу в новейших мобильных телефонах, какие применяются технологии, насколько они защищены и что нас ждёт впереди.

Короткая хроника развития техники

Идентификация лиц как технология имеется уже более 50 годов. Первые пробы автоматического анализа облика были сделаны еще в 1960-х годы в научных учреждениях США. Тогда ЭВМ способны были лишь выделять силуэты черепа и определять расстояния между очами и губами на ахроматических снимках.

Первые бизнес системы возникли в девяностых годах, но они были несовершенны: действовали неспешно и часто ошибались. Только с прогрессом нейронных сетей и таких систем, как адмирал х, сильных мобильных процессоров идентификация лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным распознаванием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие начали внедрять собственные разработки.

Основные этапы действия устройства идентификации

Процесс распознавания лица можно условно поделить на несколько основных этапов:

1. Идентификация лица — устройство распознает существование людского образа в кадре.
2. Выделение характеристик — система изучает особенности физиономии: форму зрительных органов, обонятельного органа, уст, позицию надбровных дуг.
3. Построение шаблона — создаётся особенный цифровой отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение с образцом — полученный шаблон сопоставляется со сохранённой при внесении биометрической сведениями владельца.
5. Принятие определения — если совпадение достаточно существенное, смартфон деблокируется.

Всякий из данных этапов требует индивидуальных процедур и оптимизаций для оперативной работы непосредственно на девайсе.

Железные элементы: что скрыто в их недрах

Стандартная селфи камера.

Самый простой простой вариант идентификации лица применяет лишь лицевую камеру мобильного устройства. Такой метод реализован во различных бюджетных моделях Android-устройств.

Преимущества:

• Не нуждается в потребляет внешних сенсоров.
• Шустро действует при достаточном освещённости.

Недостатки:

• Просто обмануть фотографией или роликом.
• Неудачно работает при низком освещении или нестандартных ракурсах.

Инфракрасная камера и пунктирный проектор

Более усовершенствованные системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология является основой Face ID от Apple.

Каким образом это работает:

• Точечный устройство проекции проецирует на облик использующего невидимую решетку из тысяч инфракрасных точек (например, Face ID задействует около 30 000 точек).
• ИК устройство регистрирует искривление данной решетки по плоскости лица.
• Формируется трёхмерная карта глубины глубинности, что почти неподвластна для фальсификации стандартной фото или маской.

Выигрыши

• Надёжная работа даже в полной неосвещённости.
• Высокая устойчивость к подделкам.
• Точность определения выше 99%.

Дополнительные сенсорные устройства

В определённых аппаратах используются также экстра датчики: ToF (Time-of-Flight), которые измеряют период движения луча до предмета и обратно; Цветные-датчики дальности; специальные оптические измерители расстояния для формирования более точной 3D-модели лица.

Эти инновации встречаются чаще всего во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные процедуры: синтетический ум на работе

Текущие устройства распознавания лиц немыслимы при отсутствии применения artificial intelligence и machine learning. Именно из-за таким инновациям, как адмирал х, гаджет в состоянии распознавать владельца даже при изменениях внешности: новая причёска, растительность на лице, очки или макияж не становятся помехой для разблокировки.

Распознавание физиономии

В первом этапе алгоритм необходимо оперативно распознать лицо в пределах полного кадра камеры. Для этого задействуются последовательные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые подготовлены распознавать человеческие лица среди множества других объектов.

Пример: процесс MTCNN может обнаруживать облик даже в случае частичном перекрытии (например, платком или ладонью).

Определение основных моментов

После обнаружения лица механизм, такая как адмирал х, вычисляет местоположение основных точек: края глаз, конец носа, границы губ и так далее. Часто используется от 68 до 128 ключевых точек на лицевой поверхности.

Это требуется для стабилизации визуала: если человек удерживает телефон под углом, или склонил головку, программа исправляет картинку до обычного угла для дальнейшего анализа.

Построение биометрии образца

Далее нейросеть строит сжатое цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой “отпечаток” лица длиной от 128 до 512 чисел с плавающей запятой.

Этот образец весьма трудно сфальсифицировать: он не хранит само картинку пользователя, а лишь особенные характеристики его вида, что делает его идеальным для таких систем, как admiral-x.

Сопоставление и осуществление выбора

Когда пользователь желает разблокировать мобильник глазами, система воспроизводит все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает определённый границу (обычно превышает 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ блокируется.

Приспособление к трансформациям облика

Интересная особенность нынешних системы — способность самостоятельного обучения. Если вы часто доступаете к смартфон с свежей стрижкой или очками, программа постепенно освежает основной шаблон вашего облика для увеличения точности действия без снижения уровня безопасности.

Охрана биометрии информации.

Множество юзеры боятся сохранять свои биометрические идентификационные данные на телефоне из-за угрозы потери данных или хакерской атаки. Определенные компании, вроде admiral-x, предоставляют методы для повышения сохранности данных пользователей.

• Локальное сохранение: Большинство девайсов хранит биометричные образцы лишь внутри безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не оставляют устройство и не доступны включая производителю.

• Шифрование: Все информация сберегаются только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция приложений: Программы внешних разработчиков не обладают прямого доступа к биометрическим; они могут лишь запрашивать подтверждение верификации идентичности через системный API.

Необходимо упомянуть значимую деталь: если какой-то человек сможет получить физический доступ к вашему телефону (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие изготовители осуществляют защиту от неосознанного разблокирования — в частности, заставляют раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют имеются типы определения лиц на изображениях?

В настоящее время можно различить 3 ключевых подхода к выполнению этой операции:

Софтверное плоское распознавание

Применяется только передняя видеокамера без дополнительных детекторов дистанции. Такой способ встречается наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность воплощения; умеренная цена; быстрая работа при качественном свете.
Минусы: несложно одурачить снимком; нестабильная работа ночью; низкая защищенность.

Оборудование для объёмное сканирование

Применяет ИК камеру + проектор точек + сенсоры глубины (Face ID у Apple; аналогичные технологии у Huawei Mate).
Плюсы: большая надёжность; не получится исказить изображение/видеозапись; постоянная деятельность при любом освещении.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные методы с ИИ-дополнением

Используют комбинацию программируемых методов + техническую обработку + постобработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, например адмирал х и Google Pixel Face Unlock современных версий, сочетают фронталку c инфракрасным сенсором движения Soli Radar для защиты от фальсификаций руками/масками/видеодисплеями посторонних устройств.

Образцы применения разных техник

• iPhone линейки X/11/12/13/14 используют только аппаратное трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition впервые внедрил подобие Face ID в ряду Android.
• Samsung Galaxy S10 модель/S20 обеспечивают как софтверное плоское распознавание по снимку селфи-камерой, так и датчик радужки глаза.
• Huawei Mate20 Pro применяет набор из ИК-освещения + Dot Projector + ToF-датчик

Трудности защиты и неверные тревоги

Несмотря на замечательный развитие инноваций за прошедшие годы, совершенных систем пока не существует:

1. Вероятность мошенничества: Недорогие телефоны легко открываются высококачественной фотографией хозяина или же видео с экрана другого устройства.
2. Идентичные близняшки: Даже самые безупречные устройства могут ошибиться между однояйцевыми близнецами либо семьями с очень похожей внешностью.
3. Трансформации внешнего вида: Внезапное похудение/увеличение массы тела, хирургические вмешательства либо повреждения в некоторых случаях необходимы для обновления данных биометрических данных.
4. Условия записи: Сильная освещённость солнцем или же глубокая темнота могут понизить верность идентификации признаков.

Ниже некоторые советов для надёжному использованию:

• Для важных операций всегда используйте двухфакторную аутентификацию;
• Не активируйте опцию “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
• Систематически обновляйте ПО мобильного устройства для обеспечения безопасности от новых видов атак;
• Включайте настройку “Требовать открытых глаз” в тех местах, где она доступна.

Где ещё используется технология кроме мобильных телефонов?

Несмотря на то, что основная мысль данной работы посвящена в частности смартфонам и планшетам, следует отметить альтернативных областях использования технологии:

• Управление доступа в рабочих помещениях и многоквартирных зданиях;
• Платёжные терминалы банков (“Face Pay”);
• Цифровые идентификационные документы современного образца;
• Системы видеомониторинга муниципальных служб;
• Автоматизирование учёта посещаемости образовательных учреждений/университетов;
• Вход юзеров ПК/ноутбуков.

Например: В московском метро уже испытывается система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через барьер без карты или телефона! Аналогичные проекты развиваются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом меняется техпроцесс в нынешнее время?

Каждый годик возникают свежие мысли для улучшения стандарта деятельности систем лицевого распознавания:

1. Увеличивается детализация сенсоров — чем больше деталей фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность неточности;
2. Развиваются искусственные интеллекты — современные структуры вида MobileNetV3 позволяют оперативно осваивать новым чертам внешности владельца напрямую на гаджете без пересылки информации в облачное хранилище.
3. Улучшаются методы антиспуфинга — теперь смартфоны способны различать реальные движущиеся лица от фиксированных фотографий/масок по мельчайшим микродвижениям.
4. Взаимодействие со смарт-гаджетами — интеллектуальные часы могут самостоятельно закрыть доступ к смартфон, если владелец удалился на значительное расстояние.
5. Возникают смешанные системы — например объединяющие голосовую опознание + лицо + дактилоскопический след.

Здесь, которые направления очень популярны сейчас:

1) Уменьшение компонентов

Изготовители намереваются сократить величину прорези (“чёлки”) для сенсоры на дисплее за счёт встраивания компактных ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на устройстве

Для повышения приватности всё более обработки данных осуществляется на месте без передачи данных во внешний облачный услугу.

3) Упорядочивание регламентов

Гугл интенсивно пропагандирует норму BiometricPrompt API, чтобы такие системы, например как admiral x, и любые Android-приложения могли работать с всеми формами биометрии унифицированно.

Какое решить сегодня?

Если вам всем нужна наивысшая защита информации, подбирайте флагманские устройства с вмонтированным ИК-излучателем или ToF-сенсором глубины.

• iPhone всех существующих актуальных моделей
• Huawei Partner/Series P серии
• Mix Expert
• Vivo X линейки
• Oppo Find X линейки.

Если средства ограничен – лучше отдавать предпочтение классическим способам защиты (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в admiral x, задействовать только как второстепенную возможность комфорта.

Каким способом повысить удобство работы опции?

Есть некоторые лайфхаков для людей, кто уже пользуется разблокировку через лицо:

1. Периодически обновляйте свою фотографию-шаблон, если значительно трансформируется внешний вид.
2. Не пренебрегайте чистить линзу фронтальной камеры – загрязнения могут уменьшить четкость!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего телефон сам запускает фотоаппарат когда вы берёте его в руки.
4. Во время записи постарайтесь сохранять лицевую часть прямо перед видеоустройства исключая резкого наклона головы.
5. Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отвернулись от экрана.

Перспективы развития инноваций

В предстоящие времена можно ожидать развития полностью безконтактных способов опознания персоны сразу по нескольким биометрическим параметрам одновременно: физиономия + речь + шаги + манипуляции руками!

Также вероятно появление свежих методов защиты конфиденциальности – например, переменное модификация электронного паттерна после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из самых увлекательных технологий нашего эпохи! Она обеспечивает взаимодействие со мобильным устройством комфортнее чем раньше, и такие программы, как admiral-x, могут в разы повысить ваш пользовательский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы понимаете, как функционирует эта методика внутри, – будете в состоянии осознаннее выбирать свой следующий устройство!