Проверка качества интеллектуальных систем с 1 марта 2022 года проводится по национальному стандарту ГОСТ Р 59898-2021 “Оценка качества систем искусственного интеллекта”.
В документе разработана методика определения качества для систем искусственного интеллекта. При этом, как и для любого программного обеспечения, понятие качества может быть определено только для тех систем искусственного интеллекта, которые обеспечивают решение конкретных практически значимых (прикладных) задач.
Для оценки качества интеллектуальных систем в стандарте определяется набор показателей или существенных характеристик. Они зависят от конкретной отрасли экономики и поставленной задачи.
Оценка качества систем искусственного интеллекта выполняется на всех этапах разработки и начинается при составлении технического задания, проекта, рабочей документации, продолжается в процессе изготовления программного продукта и проверки эффективности его модификации на стадии сопровождения, контроля состояния системы, включая проверку и калибровку (в случае отнесения её к системе с измерительными функциями).
Показатели распределены по группам: практичность, надёжность, функциональность, способность к взаимодействию, эффективность.
Для оценки практичности системы искусственного интеллекта рекомендуется применять характеристики: понятность, простота использования, защищенность от ошибки пользователя, эстетика пользовательского интерфейса, взаимодействие с другими продуктами, системами или компонентами и способность выполнять требуемые функции при совместном их использовании. Показатели защищенности от ошибки пользователя оценивают готовность системы предотвратить ошибки оператора, которые могут привести к техническому сбою, искажению, уничтожению, несанкционированному копированию или блокировке доступа к информации. Кроме того, важна доступность использования системы для людей с разными возможностями.
Мобильность интеллектуальной системы оценивается характеристиками: адаптируемость, простота внедрения и взаимозаменяемость. С помощью этих показателей можно проверить насколько просто или сложно установить систему, настроить её под конкретного пользователя и при необходимости удалить.
Для оценки надежности системы ГОСТ Р 59898-2021 устанавливает характеристики стабильности, устойчивости к ошибке, восстанавливаемости. С их помощью можно проверить уровень производительности в случаях возникновения ошибок и отказов оборудования при эксплуатации.
С учётом дальнейшего развития программного обеспечения, работа по стандартизации в искусственном интеллекте будет продолжена Росстандартом в рамках Технического комитета ТК 164 «Искусственный интеллект». Стандартизация позволяет повысить доверие к системам искусственного интеллекта со стороны пользователей и других заинтересованных сторон.
В рамках «Программы развития национальной стандартизации на 2022 год и дальнейшую перспективу» запланирована разработка рекордного числа стандартов по новым темам. Программа позволит существенно обновить фонд национальных стандартов по приоритетным направлениям.
Принять участие в разработке национальных стандартов могут представители предприятий и организаций Саратовской области.
Саратовский ЦСМ оказывает консультационные услуги по регистрации стандартов организаций (СТО) и технических условий (ТУ) в Федеральном информационном фонде стандартов.
Дополнительную информацию вы можете получить в отделе метрологического обеспечения по телефону (845-2) 63-36-20 и адресу электронной почты: stand@gosmera.ru.
