Адекватность оценки в значительной мере зависит от возможности сравнения ИСТ и соответствующих показателей между собой. Сравнительность может быть показана через уровень качества, определяемый как отношение фактических и базовых значений показателей соответствующего вида. Отсюда, одним из ключевых этапов оценки является определение фактических и базовых значений показателей для оценки ИОТ. В теоретическом ракурсе эта задача может быть идентифицирована, рассмотрена и возможно решена в рамках так называемого концептуального метамоделирования. Этот вид моделирования рассматривается как теоретико-методологическая основа взаимоотношений материального и идеального миров [26]. Решение задачи предполагает прохождение нескольких этапов с выполнением теоретических и практических работ.
В квалиметрии ИСТ в роли значений базовых показателей целесообразно применять значения, достигнутые в условиях передового отечественного и зарубежного опыта разработки и эксплуатации "эталонных" ИСТ. Эти значения или требования к параметрам ИСТ должны указываться в нормативно – технической документации, в частности, законах, международных стандартах, ГОСТах, ОСТах, СТП, технических требованиях, руководящих технических материалах [1, 5, 6, 11, 12, 30, 31]. Однако указанные категории нормативной документации, по причине недостаточной разработанности проблемы не содержат, к сожалению, значения базовых показателей ИСТ.
При временном отсутствии эталонных показателей на первоначальном этапе функционирования системы ИОТ в роли значений базовых показателей можно взять значения лучших отечественных и зарубежных ИСТ, по которым имеются достоверные сведения по их параметрам. Кроме того, за исходные значения могут быть приняты планируемые значения показателей в перспективе эксплуатации ИСТ, или найденные экспериментальным или теоретическим путём. На последующих этапах эксплуатации ИСТ, при условии репрезентативной выборки статистических данных о значениях показателей ИСТ, то есть значения показателей, достигнутые в предыдущих периодах времени, можно будет получить значения базовых показателей расчётным способом.
Значения интегральных показателей могут быть определены как средневзвешенные величины. Эти величины принимаются соответственно по единичным, групповым, базовым, относительным показателям. Значения показателей могут быть просчитаны как по отдельным этапам, так и по ИСТ в целом. Значения групповых показателей могут быть взяты по набору единичных показателей, входящих в систему показателей, принятых в целом для ИСТ. Таким образом, эти групповые показатели будут отображать как иерархичность, так и многосвязность свойств оцениваемых ИСТ.
Значения обобщённых показателей по своей природе зависят от соответствующих фактических значений единичных и (или) групповых показателей, то есть находятся в причинно-следственной связи. С учётом содержания таких обобщённых показателей как, например, производительность технологического процесса ИСТ и себестоимость обработки информации можно сказать, что они взаимосвязаны и в значительной мере зависят от дефектов обработки. Определить значения производительности и себестоимости можно путём установления функциональной зависимости между значениями обобщённых показателей, с одной стороны, и значениями показателей, формируемых с учётом дефектов обработки по достоверности, полноте, своевременности, с другой. Априори можно предположить, что указанная зависимость может существовать в форме закономерности. Это должно быть подтверждено экспериментально. В работах по совершенствованию ИСТ необходимо, в частности, решать задачи управления и прогнозирования значений показателей при определённых условиях. Тогда становится необходимым определение значимости или "веса" каждого класса дефектов, которые при измерении могут быть обозначены как переменные величины в указанной выше функциональной зависимости, или закономерности.
Определить значения обобщённых показателей и коэффициентов весомости по каждой переменной можно на основе регрессионного анализа. При этом необходимый для этого учёт изменения значений переменных можно принять равным 1%. В нашем случае коэффициенты весомости могут быть определены, как коэффициенты регрессии принятых переменных по достоверности, полноте, своевременности и др. Свободные члены регрессионных уравнений будут показывать базовые значения обобщённых показателей.
Для выполнения регрессионного анализа и построения уравнения необходимо получить исходные данные по зависимости, которые можно задать в виде матриц фиксированных данных, например, по производительности и себестоимости. Сравнительно трудоёмкий процесс решения уравнений, получения коэффициентов весомости можно и целесообразно выполнить путём применения ЭВМ и соответствующих программ регрессионного анализа.
Измерение значений обобщённых показателей выполняется в натуральных и стоимостных единицах. Исходя из существа оценки ИСТ, производительность последней можно измерить в документо-днях, а себестоимость обработки одного документа в рублях, хотя в принципе возможно измерение в шкалах другой градации. При измерении относительных значений обобщённых показателей необходимо учитывать прямые и обратные функциональные зависимости значений обобщённых показателей, в частности производительности ИСТ и себестоимости обработки единицы информации (файла, документа и др.). С учётом принятого условия измерения можно определить "относительный показатель производительности ИСТ – это отношение фактического значения производительности ИСТ к его базовому значению". При улучшении ИСТ значение относительного показателя в общем случае будет стремиться к 1, то есть имеется прямофункциональная зависимость. Однако показатель себестоимости при улучшении будет направлен к нулю, так как имеет обратно-функциональную зависимость. С учётом принципа унификации количественных значений показателей и принятой нами шкалы целесообразно измерять относительный уровень себестоимости как отношение базового значения к фактическому значению.
Значительную роль в системе показателей оценки играют комплексные показатели. Как указано ранее они обладают свойствами иерархичности, агрегируемости и многосвязности. Они должны отвечать таким требованиям:
1. Репрезентативность – отображение в комплексном показателе всех основных характеристик ИСТ, по которым оценивается ИСТ.
2. Монотонность изменения комплексного показателя ИСТ при изменении любого из единичных показателей при фиксированных значениях остальных показателей.
3. Чувствительность к варьируемым параметрам ИСТ. Это требование состоит в том, что комплексный показатель должен согласованно реагировать на изменение каждого из единичных показателей. Комплексный показатель является функцией оценок всех единичных показателей, а его чувствительность определяется первой производной этой функции. Значение комплексного показателя должно быть особенно чувствительно в тех случаях, когда какой-либо единичный показатель выходит за допустимые пределы. При этом комплексный показатель должен адекватно уменьшать своё численное значение.
4. Нормированность – численное значение комплексного показателя находится между наибольшим и наименьшим значениями относительных комплексных показателей. Это требование нормировочного характера предопределяет размах шкалы измерений комплексного показателя.
5. Сравнительность результатов комплексной оценки обеспечивается одинаковостью методов их расчётов, в которых единичные показатели должны быть выражены в удельных величинах.
В принципиальном отношении методы оценки различных объектов, используемые в прикладных разделах квалиметрии, практически одинаковы. В тривиальной форме оценка ИСТ может быть выполнена по трём основным уровням: выше требований, соответствует требованиям, ниже требований. В практике управления ИСТ оценка выполняется на основе квантификации свойств ИСТ [18]. Каждое свойство может быть представлено в форме показателя, значение которого представляется в цифровой форме. На основе сопоставительного анализа определяется уровень соответствия ИСТ требованиям, которым ИСТ должна удовлетворять. Можно принять, что "оценка информационной системы – это реализация комплекса процессов, методов и средств по определению уровня соответствия информационной системы установленным требованиям".
В общем случае в КУИОТ необходимо стремиться к достижению наивысшего, то есть идеального значения показателя, которое возможно в заданных условиях функционирования каждой конкретной ИСТ. Для обеспечения сравнительности значений определённых групп показателей наиболее целесообразным является использование унифицированной шкалы, когда значение показателя Ρ будет находиться в пределах от 0 до 1, то есть 0 ≤ Р ≤ 1. Допустим, что при Ρ = 1 ИСТ будет находиться в идеальном, требуемом состоянии, то есть в нужной области фазового пространства. В противном случае (Р = 0) ИСТ теряет соответствующее свойство, выходит из требуемой области фазового пространства, переходит в другое качественное состояние и возможно перестаёт быть ИСТ как таковой. Возможность наивысшего (базового) значения показателя можно предположить на завершающем этапе технологии ИСТ, когда под воздействием КС УИСТ значения показателей улучшаются от этапа к этапу.
По результатам измерения и оценки необходимо провести анализ ИОТ (рис. 3.2). Анализ представляет собой сложный процесс, предусматривающий изучение результатов оценки, факторов, влияющих на уровень ИОТ, выявление "узких" участков ИСТ, причин дефектов и др. Например, полученные значения показателей ИСТ для дальнейшего использования целесообразно записать в специальную форму – "Карту анализа и оценки ИСТ" [26]. Анализ и оценка ИС от начальных условий до выходных координат выполняется путём изучения значений комплекса показателей по схеме "от общего к частному", то есть от обобщённых показателей до единичных. В результате такого анализа необходимо определить состояние ИСТ, установить участки ИСТ, наиболее подверженные воздействию факторов условий, снижающих уровень качества ИСТ. Анализ состава и направленности действия факторов позволяет определить конкретные меры по улучшению ИСТ.
Логическим продолжением оценки и анализа ИОТ является выработка критериев КУИОТ. Эти критерии выбираются из общего состава показателей с учётом характера функционирования ИСТ. Так, например, при критическом увеличении объёма дефектов искажения информации в роли такого критерия выбирается достоверность. В определённых условиях система КУИОТ должна отслеживать ряд критериев, при необходимости ранжированных по приоритету.
По результатам анализа выходных координат, оценки, выбора критериев, определения факторов-причин, "узких" мест и других категорий, снижающих уровень ИОТ, в соответствии с принципом самоорганизации, система КУИОТ должна разработать систему мер. Эти меры, как управляющие воздействия, должны не только нейтрализовать снижение уровня качества ИС, но и повышать этот уровень. Эта система мер может быть разработана и представлена, например, в форме "Плана организационно-технических мероприятий по улучшению ИСТ".
В общем случае в "План" могут быть включены различные мероприятия, например, документационно-информационные, технические, программные, технологические, организационные и др. Следует предполагать, что наибольший "вес" в "Плане" будут иметь мероприятия по совершенствованию информационных процессов, например, обработки данных. После подготовки, согласования, определения ресурсов и утверждения "Плана" проводятся мероприятия по его реализации. В соответствии с принципом самоорганизации в структуре КУИОТ должен быть предусмотрен блок контроля за разработкой и реализацией этого "Плана". Наличие контрольного блока может обеспечить минимизацию ресурсов и необходимый уровень качества оргтехмероприятий по улучшению ИСТ.
3.9. Программный контроль качества данных в информационных системах туризма
Особенностью системы КУИОТ является то, что в её контуре возникают дефекты, которые могут снижать уровень качества не только самой управляемой ИСТ, но и КС УИСТ. Эффективным путём улучшения ИОТ является разработка и реализация методов и средств повышения достоверности и полноты информации в технологии обработки данных [13, 21, 25]. Особый эффект методы контроля дают в системах обработки данных цифрового содержания – учётных, отчётных, статистических, параметрических, финансовых, где искажение даже одной цифры приводит в некоторых случаях к серьёзным последствиям.
Задача обеспечения требуемого уровня достоверности вызывает необходимость применения процедур контроля на всех основных этапах технологического процесса обработки информации. Особому контролю подвергается достоверность выходных (производных) документов, перед выдачей их абоненту. Корректировка ошибок обусловливает необходимость привлечения дополнительных довольно значительных трудовых, материальных, финансовых и временных ресурсов. Иногда искажения в документах вызывает необходимость повторной обработки документов на ЭВМ. Для устранения подобных случаев усиливается внимание по обнаружению и исправлению ошибок на предмашинных этапах обработки. В связи с этим, особую значимость приобретает программный контроль достоверности на этапе ввода данных в ЭВМ.
Достоверность и полнота информации в ИСТ обеспечивается различным комплексом методов защиты: аппаратными, программными, организационными, комбинированными и др. По уровню применения технических средств методы контроля достоверности информации можно разделить на следующие основные категории: ручной, механический, автоматизированный и автоматический. Ручной или визуальный способ заключается в проверке правильности данных без применения каких-либо технических средств. При механическом способе применяются вспомогательные технические устройства, например, калькуляторы для подсчёта контрольных сумм для пачки документов. Автоматизированный метод контроля состоит в диагностике правильности данных посредством соответствующих программных модулей пакетов прикладных программ (ППП). Автоматический метод состоит в программном выявлении ошибочного данного, определения его истинного значения и замены ошибочного значения на истинное значение в памяти ЭВМ [21, 26]. Степень применения методов контроля данных зависит от класса и масштаба ИСТ.
В значительной части систем организационного управления ввод информации в ЭВМ производится в форме документов [14]. С целью реализации контроля достоверности входной информации разрабатываются специальные прикладные программы. Эти диагностические программы ориентированы на контроль формальных и содержательных параметров входных первичных документов. При обнаружении ошибок они выдают сообщения оператору об адресе и модификации ошибки. Анализ работ по контролю достоверности данных показывает, что имеющиеся методы и программы контроля достоверности и полноты информации направлены, в основном, на обнаружение ошибок, их идентификацию. Исправление ошибок, восстановление достоверности данных выполняется только при непосредственном участии человека.
С целью определения основных требований к методам и средствам повышения уровня достоверности обратимся к технологии обработки данных ИСТ. Почти каждый этап обработки сопровождается выполнением операций контроля данных, в которых значительный объём приходится на контроль достоверности и полноты сведений в обрабатываемых документах. Особо тщательно должна проверяться производная документация перед выдачей её абонентам. Неадекватность сведений в документации влечёт соответственно снижение эффективности принимаемых решений. Иногда это обусловливает повторную обработку пакета первичных документов, что увеличивает стоимость обработки информации, снижает уровень своевременности, ухудшает свойства результатной информации.
Проведём рассмотрение методов контроля в части реализации функций обеспечения достоверности и полноты информации (таблица 3.14). По выполняемым функциям эти методы контроля можно разделить на лексические, синтаксические, логические и арифметические. Сформулируем здесь некоторые методы контроля. "Лексический контроль информации – это проверка правильности формата значении реквизитов (полей), допустимого класса информации, соответствия лексем входного языка принятому нормализованному составу лексем". Лексемы могут быть представлены в кодовом (шифрованном) или неформализованном (естественном) виде – отдельные или составные слова. Проверке подвергаются форматы и значения полей записей вводимых документов на соответствие нормализованным форматам и значениям словарей, справочников, информационно-поисковых языков, размещённых на жёстком диске компьютера. Проверка идёт по схеме – только цифра, только буква, только специальные символы, только алфавитно-цифровой, только комбинированный (смешанный текст – все виды символов). С целью повышения достоверности информации в классификаторах и кодификаторах технико-экономической информации каждый код снабжается контрольным разрядом. Контрольные разряды (цифры) определяются с использованием цифрового метода контроля с весовыми коэффициентами. Например, значение контрольного разряда, вычисляемое как скалярное произведение вектора цифр кода данного и вектора весовых коэффициентов, взятых по модулю 10, приписывается к коду значения данного справа [28].
Таблица 3.14. Методы программного контроля информации