Уважаемые исследователи из университетов бьют тревогу по поводу технологии, лежащей в основе планов Apple сканировать библиотеки фотографий пользователей iPhone на предмет CSAM (материалов, связанных с сексуальным насилием над детьми), называя эту технологию «опасной».
Джонатан Майер, доцент кафедры компьютерных наук и общественных связей Принстонского университета, а также Анунай Кулшрестха, исследователь Центра политики в области информационных технологий Принстонского университета, написали колонку для издания The Washington Post, в которой изложили свой опыт создания технологии обнаружения изображений.
Два года назад исследователи начали проект по выявлению CSAM в сквозных зашифрованных онлайн-сервисах. Исследователи отмечают, что, учитывая их область деятельности, они «знают ценность сквозного шифрования, которое защищает данные от доступа третьих сторон». Эта обеспокоенность, по их словам, и вызывает у них ужас из-за «распространения CSAM на зашифрованных платформах».
Майер и Кулшрестха заявили, что хотели найти компромиссное решение: создать систему, которую онлайн-платформы могли бы использовать для поиска CSAM и защиты сквозного шифрования. Исследователи отмечают, что эксперты в этой области сомневались в реализуемости такой системы, но им удалось ее создать и в процессе обнаружить существенную проблему.
Мы стремились найти возможное компромиссное решение, когда онлайн-сервисы могли бы выявлять вредоносный контент, сохраняя при этом сквозное шифрование. Концепция была проста: если кто-то делился материалом, который соответствовал базе данных известного вредоносного контента, сервис получал бы уведомление. Если человек делился безобидным контентом, сервис ничего не узнавал. Люди не могли бы читать базу данных или узнавать, совпадает ли контент, поскольку эта информация могла бы раскрыть методы правоохранительных органов и помочь преступникам избежать обнаружения.
Осведомленные наблюдатели утверждали, что система, подобная нашей, далеко не осуществима. После множества неудачных попыток мы создали рабочий прототип. Но мы столкнулись с явной проблемой.
С момента объявления Apple об этой функции компанию засыпали выражениями обеспокоенности по поводу того, что система обнаружения CSAM может использоваться для обнаружения других видов фотографий по запросу репрессивных правительств. Apple решительно отвергла такую возможность, заявив, что откажется от любых подобных запросов от правительств.
Тем не менее, опасения по поводу будущих последствий использования технологии для обнаружения CSAM широко распространены. Майер и Кулшрестха заявили, что их опасения по поводу того, как правительства могут использовать эту систему для обнаружения контента, отличного от CSAM, «беспокоят» их.
Иностранное правительство могло бы, например, заставить сервис раскрыть людей, публикующих нежелательные политические высказывания. Это не гипотетическая ситуация: WeChat, популярное китайское приложение для обмена сообщениями, уже использует сопоставление контента для выявления диссидентских материалов. Индия в этом году приняла правила, которые могут потребовать предварительной проверки контента, критикующего политику правительства. Россия недавно оштрафовала Google, Facebook и Twitter за не удаление материалов, связанных с протестами в поддержку демократии.
Мы заметили и другие недостатки. Процесс сопоставления контента мог давать ложные срабатывания, а злоумышленники могли использовать систему для проверки невинных пользователей.
Мы были настолько обеспокоены, что предприняли шаг, который раньше не видели в литературе по информатике: мы выступили против нашего собственного дизайна системы, призывая к дальнейшим исследованиям по смягчению серьезных недостатков…
Apple продолжает работать над решением проблем пользователей, связанных с ее планами, публикуя дополнительные документы и страницу часто задаваемых вопросов. Apple по-прежнему считает, что ее система обнаружения CSAM, которая будет происходить на устройстве пользователя, соответствует ее давним ценностям конфиденциальности.
