В ПГУ создают мобильные приложения для поддержания здоровья
Версия для печати
В Пензенском государственном университете студенческий коллектив работает над созданием мобильного приложения для первичной оценки кожных и глазных заболеваний с помощью фотографий. Ранее студенты зарегистрировали две программы: для поиска медицинских учреждений и анализа, а также для корректировки питания.
Первое мобильное приложение ориентировано на туристов, путешествующих в одиночку или неорганизованными группами. Оно поможет найти ближайшее медучреждение при несчастном случае в отпуске. По словам одного из разработчиков проекта — студентки Политехнического института Дарьи Максимовой, в некоторых странах это сделать бывает проблематично.
«Не во всех странах хорошо развита система здравоохранения. Из-за языкового барьера также трудно сразу сориентироваться и найти больницу. Например, по каким-либо опознавательным знакам на улицах города. А приложение укажет самое ближайшее от вас медучреждение, в котором есть специалист, способный помочь в конкретной ситуации», — поделилась Дарья.
Приложение также способно давать рекомендации для оказания первой медицинской помощи. По фото, загруженным пользователем, оно определит, с какой именно проблемой столкнулся человек. Для того чтобы избежать ошибок в диагностике, приложение предложит пройти короткий опрос с односложными ответами «да» или «нет».
«Человек сможет быстро сориентироваться, в каком направлении нужно ехать, и проведет первые манипуляции до помощи врачей, чтобы минимизировать вред для своего организма», — добавила Дарья Максимова.
Работать приложение может по всему миру. В первую очередь оно ориентировано на туристов, посещающих места со слабо развитой медицинской инфраструктурой.
Дарья разработала и обучила нейронную сеть, а также разработала мобильное приложение для операционной системы Android. Обученная студенткой нейронная сеть способна распознать ряд травм и заболеваний по загруженной фотографии.
Параллельно научный коллектив работал над созданием мобильного приложения для анализа и корректировки питания. Дарья Максимова рассказала, что приложение предлагает пользователю ознакомиться и воспользоваться рецептами полезной пищи. Но это лишь дополнение к инновационной идее, над которой работают представители вуза.
Приложение способно по фотографии распознать, какой продукт на фото, его массу и даже рассчитать калорийность.
«Разработанная программа использует в своей основе анализ изображений на основе двух нейронных сетей», — рассказала Дарья.
Студенты обучили первую нейронную сеть определять вес продукта. Программа «сканирует» изображение, находит съедобные продукты. Вторая нейронная сеть вычисляет их вес.
Сейчас коллектив продолжает работать над усовершенствованием своих программ, которые легли в основу нового проекта — мобильного приложения для первичной диагностики кожных и глазных заболеваний с помощью фотографий и чат-бота. Программа сможет поддерживать диалог с пользователем, проводя первичный опрос. Основу программы составит модуль анализа изображений. В будущем система сможет диагностировать не только кожные и инфекционные глазные, но и другие.
Как нам рассказала Дарья Максимова, ей пришлось приложить немало усилий по совершенствованию существующих приложений до нового проекта.
К работе она подошла основательно. Первым делом студентка переписала два приложения на динамически типизированный кроссплатформенный язык программирования — Flatter. Это позволило создать приложение, способное работать на нескольких операционных системах. Теперь оно доступно для мобильных телефонов с операционной системой HarmonyOS, iOS, Android.
«Программа обрабатывает и анализирует изображение, загруженное пользователем, и отображает сообщение о возможном заболевании. Анализ изображений осуществляется с помощью технологий искусственного интеллекта. Приложение должно анализировать не менее чем 50 состояний кожных покровов. Так как приложение только на начальной стадии разработки, то анализ происходит по шести, но для всех типов и цветов кожи», — поделилась Дарья.
В основу мобильного приложения заложен принцип использования телемедицины. Пользователь приложения не только сможет получить быстрые рекомендации, но и напрямую связаться с лечащим врачом.
«Наше приложение будет очень актуально для пользователей из России. Очень трудно адекватно оценивать ситуацию в критические моменты. Например, при получении термического ожога. С приложением будет все проще: загружаем фото, отвечаем на простые вопросы чат-бота, получаем первичную диагностику. А уже при необходимости приложение соединяет пользователя с врачом», — добавила Дарья Максимова.
Ребята сами разработали интерфейс для мобильного приложения. Скачав программу, пользователю предлагается войти в существующий аккаунт или пройти регистрацию. Далее человек заполняет свой профиль: загружает фотографию и вносит информацию о состоянии здоровья. Планируется, что в опросник войдут вопросы, разработанные совместно с медиками.
«В приложении будет содержаться общая информация о данных человека: возраст, рост, вес, пол, хронические заболевания, наличие аллергии, часто принимаемые препараты. То есть приложение будет знать, так скажем, предварительный анамнез человека. Это повысит точность при определении заболевания», — продолжила рассказывать Дарья.
В настройках приложения можно будет задать нужные параметры, например, язык или тему (светлую, темную, системную).
Приложение использует геолокацию и показывает расположенные рядом с пользователем больницы, госпитали и санитарные части. Это стало возможным благодаря использованию при разработке сервиса Яндекс-карты.
В настоящее время аналогов приложению, разработанному в ПГУ, много, но многие не учитывают существенных тонкостей (индивидуальные данные человека, прием препаратов).
После заполнения необходимых пунктов пользователь начинает общаться с чат-ботом, который спрашивает необходимую информацию и ее анализирует. Сбор и анализ происходит благодаря обученной нейросети.
Студентка также добавила, что в будущем приложение может быть расширено и сможет объединить в себе четыре составляющие: первичная диагностика заболевания, поиск медучреждений, корректировка питания, рекомендации по оказанию первой медицинской помощи.
Например, чат-бот в сочетании с анализом изображений с легкостью отличит укус ядовитого животного от повреждения острым предметом и даст руководство по оказанию неотложной помощи. Студенты уже начали обучать нейросеть распознавать такие ситуации. Фото для обучения были взяты из открытых источников. Например, снимки укуса ядовитой и неядовитой змеи, укусы москитов, скорпионов, пауков и другие.
«Я уверена, после запуска приложения многие люди его скачают. Например, в экзотических странах укусы ядовитых животных очень распространены. Важно действовать быстро, четко и правильно. Приложение поможет справиться с бедой. Кроме того, укажет путь до ближайшей больницы», — добавила Дарья Максимова.
На этапе проверки приложения точность первичной диагностики достигает 88 %.