Репортер The Washington Post протестировал новую опциональную функцию интеграции ChatGPT с Apple Health, предоставив ей данные с Apple Watch за десять лет. Результаты, мягко говоря, не воодушевили.
Ранее в этом месяце OpenAI объявила о запуске ChatGPT Health — отдельного раздела ChatGPT, где пользователи могут задавать вопросы, касающиеся здоровья, полностью изолированно от основного опыта использования ChatGPT. Для получения более персонализированных ответов пользователи могут подключать различные сервисы с данными о здоровье, такие как Apple Health, Function, MyFitnessPal, Weight Watchers, AllTrails, Instacart и Peloton.
ChatGPT Health также может интегрироваться с вашими медицинскими записями, позволяя анализировать результаты лабораторных исследований и другие аспекты вашей медицинской истории для формирования ответов на ваши вопросы о здоровье.
Учитывая это, репортер Джеффри Фаулер предоставил ChatGPT Health доступ к 29 миллионам шагов и 6 миллионам измерений сердечного ритма из своего приложения Apple Health и попросил бота оценить его состояние сердечно-сосудистой системы. Бот поставил ему «неудовлетворительно» (F).
Будучи understandably обеспокоенным, Фаулер обратился к своему лечащему врачу, который, без обиняков, полностью отверг оценку искусственного интеллекта. Его врач заявил, что Фаулер находится в настолько низкой зоне риска сердечных заболеваний, что его страховка, вероятно, даже не покроет дополнительные анализы для опровержения выводов чат-бота.
Кардиолог Эрик Тополь из Института исследований Скриппса также остался не впечатлен оценкой большой языковой модели. Он назвал анализ ChatGPT «безосновательным» и заявил, что людям следует игнорировать его медицинские советы, поскольку он явно не готов к повсеместному использованию.
Пожалуй, самым тревожным выводом стала непоследовательность ChatGPT. Когда Фаулер задавал один и тот же вопрос несколько раз, его оценка резко колебалась между «неудовлетворительно» (F) и «хорошо» (B). ChatGPT также постоянно забывал основную информацию о нем, включая его пол и возраст, несмотря на полный доступ к его записям.
Чат-бот Claude от Anthropic показал себя немного лучше — хотя и незначительно. LLM оценил состояние сердечно-сосудистой системы Фаулера на «удовлетворительно» (C), но также не смог должным образом учесть ограничения данных с Apple Watch.
Обе компании заявляют, что их инструменты для здоровья не предназначены для замены врачей или постановки диагнозов. Тополь справедливо отметил, что если эти боты не могут точно оценивать данные о здоровье, то они вообще не должны выставлять оценки.
Однако ничто, похоже, не останавливает их. Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США ранее в этом месяце заявило, что задача агентства — «не мешать как регулятору» для стимулирования инноваций. Один из комиссаров агентства провел красную черту, заявив, что ИИ не должен делать «медицинские или клинические заявления» без обзора FDA, но ChatGPT и Claude утверждают, что они просто предоставляют информацию.
«Люди, которые будут этим заниматься, очень сильно испугаются за свое здоровье», — сказал Тополь. «Может быть и наоборот: люди, которые нездоровы, получат ложное ощущение, что все, что они делают, отлично».
Интеграция ChatGPT с Apple Health в настоящее время ограничена группой бета-пользователей. Отвечая на отчет, OpenAI заявила, что работает над улучшением согласованности ответов чат-бота. «Запуск ChatGPT Health с доступом по предварительному списку позволяет нам учиться и улучшать опыт, прежде чем делать его широко доступным», — сказал вице-президент OpenAI Эшли Александр изданию в своем заявлении.
