Некоторые примеры типов оценки, проводимой для верификации и валидации продукции, приведены далее:
1. Функциональные оценки состоят из испытаний отдельных компонентов, узлов и агрегатов, чтобы убедиться, что они будут выполнять требуемые функции или задачи в выбранных условиях окружающей среды, и удовлетворять заданным уровням спецификации по производительности.
2. Испытания на долговечность. Компоненты, подсистемы и продукты испытывают в самых сложных реальных условиях (например, при минимальных и максимальных рабочих температурах, высоких рабочих нагрузках, высоких скоростях и максимальных электромагнитных полях) в течение максимума требуемых рабочих циклов в течение срока эксплуатации, например, 10 лет или 250 000 км для легковых автомобилей.
3. Оценка сборки, выполняется и оценивается в реальных рабочих или модельных ситуациях (например, с использованием 3-Д моделей сборочных рабочих мест, с продуктом, инструментами и операторами), чтобы проверить, что компоненты и подсистемы могут быть собраны в изделия с минимальным количеством перемещений деталей в заданные сроки.
4. Тесты с участием клиентов или пользователей. Некоторые продукты могут эксплуатироваться или использоваться одним человеком-оператором, тогда как другие сложные продукты, например, коммерческие самолеты и корабли, требуют многочисленного экипажа для эксплуатации.
5. Оценка после продажи продукта. Отслеживание того, как продукт воспринимается покупателями на основе их опыта использования продукта, является очень важным элементом маркетинга, чтобы определить степень удовлетворенности клиентов.
Несмотря на то, что испытания и оценка результатов проекта занимают всего 5% графика проекта, эти 5% отражают этап жизненного цикла, наиболее важный для успеха программы. Здесь изменения в требованиях и проектных решениях в результате испытаний являются наиболее трудоемкими, дорогими и технически сложными.
Испытания и оценка результатов входят в периметр управления ОКР, обеспечивая испытания системы на протяжении всего ее жизненного цикла. Эти работы можно рассматривать как меру снижения риска, обеспечивающую высокую степень уверенности на ранних этапах жизненного цикла системы в том, что проект в конечном итоге будет работать в соответствии с требованиями. Тестирование может быть дорогостоящим, трудоемким, а иногда и опасным мероприятием, которое требует использования специализированного персонала, испытательного оборудования и инфраструктуры. Испытания позволяют получить данные в дискретных точках по каждому установленному требованию в заданном диапазоне контролируемых условий. Испытуемый образец дополнительно оснащается набором датчиков давлений, температур, напряжений, вибраций для измерения параметров в разных точках системы, и их последующего сравнения с расчетными данными.
Выделяют три основные категории испытаний и оценки результатов:
Испытания и оценка разработки. Процесс относится к действиям по тестированию и оценке для поддержки усилий по проектированию и разработке.
Приемочные испытания и оценка. Процесс представляет собой формальное приемочное тестирование системы, которое позволяет заказчику принять систему от подрядчика. Приемочные испытания, как правило, представляют собой дискретную деятельность (с определенными началом и концом).
Эксплуатационные испытания и оценка. Испытания системы и ее компонентов проводятся оперативным персоналом в реальных условиях эксплуатации.
Испытания и оценки на этапе разработки направлены на выявление недостатков в конструкции системы как можно раньше, тем дешевле и проще их устранять. С одной стороны, выполняют тестирование и оценку элементов самого низкого уровня в системе. С другой стороны, прототипы полных систем проходят верификацию и валидацию для подтверждения успешности интеграции и соответствия проекта требованиям, до того, как система будет производиться. Основная деятельность по испытаниям и оценке заключается в планировании общего подхода к верификации и последующем исполнении плана испытаний согласно требованиям контракта.
Приемочные испытания и оценку обычно разделяют между подрядчиком и заказчиком. Заказчик утверждает конкретные процедуры приемочных испытаний, которые должны быть выполнены. Подрядчик и заказчик могут проводить испытания совместно. Данные испытания сосредоточены на верификации требований системного уровня, содержащихся в контракте. Результаты испытаний и любые несоответствия документируются и при необходимости исправляются до завершения процесса. При успешном завершении приемочных испытаний заказчик принимает систему от подрядчика, и система официально вступает в фазу эксплуатации своего жизненного цикла.
Эксплуатационные испытания ориентированы на подтверждение эксплуатационной функциональности для оценки способности системы и ее компонентов удовлетворять заданные потребности заинтересованных сторон в желаемых операционных средах. Эти испытания должны проводиться в реалистичном окружении, включая использование реальных операторов, вспомогательного персонала и материально-технической поддержки. Оперативный и вспомогательный персонал должен пройти обучение и выполнять свою работу в соответствии с процессами, процедурами и целями заказчика.
Испытания используют как при верификации, так и при валидации. Верификационные испытания связаны с проверкой утвержденного набора требований и могут проводиться на различных этапах жизненного цикла продукта. Включают инженерные испытания, направленные на верификацию технического статуса, минимизацию проектных рисков, подтверждение технической реализации контракта и готовности к валидации системы. Для испытаний сложной техники разрабатывают комплексные программы, с применением наземных стендов и виртуального моделирования подсистем и компонентов.
Примеры некоторых испытаний, относящихся к этому этапу проекта, могут включать:
Функциональное тестирование, которое проверяет, могут ли указанные функции выполняться системой с требуемым уровнем производительности в определенных условиях.
Тестирование интерфейса, обеспечивающее правильную работу внешнего и внутреннего интерфейсов.
Экологические испытания, при которых система помещается в ряд сред для обеспечения приемлемой работы во всех заданных условиях. Экологические испытания обычно включают испытания в условиях различной температуры, влажности, рельефа местности и количества осадков, на влияние пыли, вибрации, стресса и т. д.
Технологические испытания, на соответствие продукта требованиям модульности, взаимозаменяемости и доступности.
Проверку качества, включающая удобство использования, надежность, ремонтопригодность и доступность.
Валидационные испытания отличаются тем, что их проводят для конечного продукта в натурных или смоделированных условиях эксплуатации. Согласованы программа и методика оценки результатов данных испытаний. Близким аналогом являются сертификационные испытания. На них требуется подтвердить соответствие декларируемого уровня безопасности и потребительских качеств товара или системы.
Развиваются численные методы модельных испытаний объектов. Для этого используют цифровые двойники (ЦД) и виртуальное моделирование динамических сценариев работы системы. Следует стремиться к замене существенной части натурных испытаний системы (как правило, длительных и дорогостоящих) результатами моделирования статических и динамических режимов эксплуатации, а также нерасчетных случаев, включая частичные отказы узлов и агрегатов, нештатные условия применения, и др.
Для сокращения плановых сроков процессов интеграции и испытаний системы используют:
a) математические модели, ЦД и виртуальное моделирование;
b) проведение ускоренных эквивалентно-циклических испытаний;
c) эмулятор аппаратного оборудования для непроверенного программного обеспечения, или проверенное программное обеспечение для непроверенного оборудования; и др.
Пример выбора необходимого количества испытаний. Во время эксплуатации на серийном изделии произошла авария с разрушением вращающейся части конструкции газотурбинного двигателя. Был собран совет экспертов отрасли для установления причин разрушения конструкции и выработки мер по искоренению дефекта на изделии. В ходе обсуждения один из приглашенных экспертов высказал мнение, что имеющиеся данные по измерениям напряжений и термометрированию изделия неполны, и нужно повторить эксперимент. Затратный процесс термометрирования газовой турбины (измерение максимальных температур деталей по внутреннему тракту двигателя) совместно с тензометрированием (измерение максимальных рабочих напряжений в ответственных деталях) на рабочих режимах проводится на наземном испытательном стенде один раз в истории изделия для верификации использованных в проекте максимальных расчетных температур и напряжений их действительным значениям. Все ответственные детали неподвижной и вращающейся частей изделия препарируют термопарами и тензодатчиками. Сверлят множество отверстий в деталях для прокладки проводов от датчиков. Используют специальное устройство для вывода сигналов от датчиков с вращающихся деталей на пульт управления. В труднодоступных местах наносят специальные термокраски, меняющие цвет в зависимости от температуры детали. Затраты включают, кроме стоимости натурного изделия, датчиков и времени работы стенда по программе испытаний, также оплату усилий по препарированию объекта (по срокам иногда от полугода до года) и последующей расшифровке экспериментальных данных. Все это сложилось в вопрос «Давайте представим, что прошел год с лишним, все работы завершены, уточненные данные получены. Какие выводы по причинам обсуждаемой аварии мы сможем тогда сделать?» Эксперт после небольшой паузы чистосердечно ответил: «Будем думать!» Вопрос по дополнительным испытаниям был снят с повестки.
Первый экземпляр системы, произведенный серийным процессом, проходит полное тестирование. Если производится более одной системы, каждая последующая единица продукции должна быть протестирована так, чтобы убедиться, что производство и технологические процессы продолжают оставаться эффективными. Часто этот процесс называют приемо-сдаточными испытаниями, чтобы принять систему как отвечающую первоначальным требованиям.
Периодическое наблюдение за продуктом продолжается на этапе эксплуатации и преследует две основные цели. Во-первых, защитить от непредвиденных, но неизбежных возникающих последствий разрушительного характера, во-вторых, обеспечить непрерывный поток информации в семейство моделей, лежащих в основе структуры, чтобы обеспечить постоянные улучшения системы и информировать проектировщиков. Для продукции, выпускаемой большим тиражом, регулярно проводятся испытания случайно выбранного изделия для проверки стабильности качества изготовления.
⠀
2.7 Проведение технических обзоров проекта
Фазы жизненного цикла (ЖЦ) проекта или программы разделены, что позволяет команде разработчиков пошагово оценивать прогресс, характеристики системы и проекта, планировать следующий этап работ, облегчает принятие решений руководителям проекта. Структура управления ЖЦ включает все работы для выполнения программы или проекта в различных фазах, разделенных контрольными рубежами (КР). Для контроля хода проекта и утверждения решений на каждом КР проводят технический обзор, который включает критический разбор результатов участниками работ, планирование и реализацию корректирующих действий перед переходом к следующему этапу проекта. На обзоре рассматривают доказательства соответствия результатов проведенного этапа выставленным критериям. Промежуточные результаты проектирования просматриваются, тестируются и оцениваются, чтобы уточнить текущий статус работ и принять решения о дальнейших действиях.
КР являются основными вехами, на которых лицо, принимающее решение, определяет готовность проекта к переходу на следующий этап жизненного цикла. Для каждого КР программы устанавливаются входные критерии, необходимые до начала обзора, и выходные критерии успешного завершения обзора. Процесс обзора проекта должен подтвердить:
обеспечение планового выполнения технических работ;
функциональную интеграцию;
обеспечение решения проблем в кратчайшие сроки и до самых низких уровней;
поддержку решений на основе событий;
сроки и бюджет проекта;
готовность к исполнению следующего этапа;
контроль рисков.
При прохождении контрольного рубежа имеется набор вариантов решения:
1. Принято: можно переходить к следующей стадии проекта.
2. Принято с оговорками: переходить и выполнить затребованные действия, устранив замечания, причем проверка исполнения замечаний проводится, как правило, на следующем КР.
3. Не принято: не переходить, дополнить работы этапа и повторить КР по готовности.
4. Не принято: вернуться на предыдущую стадию.
5. Не принято: заморозить (временно остановить) мероприятия проекта.
6. Невосстановимо: закрыть проект.
Количество требуемых обзоров и их соответствующий объем зависят от сложности и размера рассматриваемой системы. Технический риск, связанный с системой, также влияет на количество запланированных проверок. Например, система, в которой широко используется покупаемое оборудование ПКИ, может рассматриваться как проект с низким уровнем риска по сравнению с проектом, разработанным заново. Ожидается, что для системы с большим процентом ПКИ будет проведено меньше обзоров на более низком уровне, чем для оригинального проекта развития.
На рис. 3 показаны основные обзоры в ключевых точках проекта, привязанные по срокам и фазам жизненного цикла коммерческого самолета.
Рис. 3. Набор обзоров программы ЖЦ самолета
На этапе разработки системы минимальный набор обзоров должен включать обзор системных требований, анализ эскизного проекта, критический анализ технического проекта, анализ готовности к интеграционным испытаниям, обзор готовности производства, анализ эксплуатационной готовности, обзор возможностей эксплуатации, а также обзор вывода из эксплуатации и утилизации.
Эти обзоры отражают основные этапы разработки системы, должны иметь четко определенные критерии входа и выхода. Аудит физической конфигурации системы должен использовать ту же концепцию определения достижений и критериев успеха. Каждый обзор на соответствующем КР содержит новую, актуализированную базовую версию системы. Она включает согласованный набор требований, проектов или документов, относящихся к системе или продукту.
Последовательное прохождение системы технических обзоров является важным элементом верификации результатов разработки проекта системы. Формальные обзоры проекта запланированы на всех ключевых этапах ЖЦ системы. Иногда в них участвуют приглашенные внешние эксперты, чтобы гарантировать, что функциональный дизайн удовлетворяет требованиям, срокам и бюджету проекта. На этапе проектирования могут потребоваться изменения ранее принятых решений из-за появления новых технологий, технических проблем или добавленных требований заинтересованных лиц. Руководитель проекта несет ответственность за мониторинг изменений, определение их воздействия на планы, графики, бюджеты проекта и процесс рассмотрения и утверждения изменений.