Глава 4. Методы оценки эффективности защиты

Так как почти всегда можно найти более одного способа решения той или иной задачи, желательно иметь некоторые критерии, позволяющие оценивать и сравнивать между собой разные варианты решений.

4.1 .Оценка обычных программ

Когда речь идет о прикладных программах, довольно легко применять такие понятия, как качество, надежность и эффективность. Все эти категории несут в себе долю субъективизма, но, выяснив мнение нескольких сотен пользователей, на основании собранных статистических данных можно составить вполне реалистичную картину.

4.1.1. Качество программ

Если результат работы программы соответствует ожиданиям пользователей или даже превосходит их, то программу считают качественной. Критерий качества применяется для сравнения результатов процессов, которые можно выполнить более чем одним способом. Так при умножении двух чисел может получиться только один возможный результат, и если в какой-то программе получается другое значение, то правильно будет охарактеризовать программу не как низкокачественную, а как неверно выполняющую расчеты. Но, например, при решении дифференциальных уравнений можно использовать различные численные методы интегрирования, и за большее или меньшее время получить отличающиеся по значениям результаты. При этом несовпадение результатов (как по значению, так и по затраченному времени) обусловлено не ошибками в программе, а свойствами того или иного метода интегрирования и выбранным значением шага (увеличение шага, как правило, приводит к уменьшению времени вычислений, но снижению точности). Качественной будет считаться та программа, которая в подавляющем большинстве случаев удовлетворяет всем требованиям, предъявляемым пользователем.

И, разумеется, с появлением новых технологий или конкурирующих продуктов критерии качества могут становиться жестче, и программа, считавшаяся качественной на протяжении многих лет, может перестать быть таковой, хотя ее функциональность никак не изменилась.

4.1.2. Надежность программ

Надежность программы проще всего определить как ее устойчивость в работе. Из-за очень высокой сложности современных программ далеко не все из них работают безошибочно. Точнее говоря, редко в какой программе не обнаруживались ошибки после успешного прохождения отладки и тестирования. И во многих программах обнаруженные в процессе эксплуатации ошибки даже не исправляются — их просто переводят в разряд документированных особенностей, и пользователям предлагается использовать обходной путь, приводящий к желаемому результату и не вызывающий ошибки. Некоторые ошибки проявляются очень редко и почти случайным образом, что делает их локализацию и исправление чрезвычайно трудной задачей. Так, например, почти любой пользователь Microsoft Office сталкивался с ситуацией, когда Word закрывался с сообщением об ошибке и результаты работы, выполненной с момента последнего сохранения (или автосохранения), оказывались потерянными. Но условия, при которых Word дает сбой, у каждого пользователя могут быть индивидуальными. Более того, ошибка вполне могла произойти не в самой программе текстового редактора, а в одном из общих компонентов Microsoft Office или Wndows, используемых редактором Word.

Можно сказать, что надежность программы характеризует безотказность ее работы во всех необходимых пользователю режимах, и чем выше число обнаруженных отказов за определенный период эксплуатации, тем ниже надежность программы.

4.1.3. Экономическая эффективность программ

Под эффективностью программного продукта предлагается понимать не быстродействие, которое лучше называть производительностью и рассматривать наряду с другими качественными характеристиками, а экономическую полезность. Наверное, большинство разрабатываемого в мире программного обеспечения является коммерческим. Разумеется, существуют программы для проведения научных расчетов или автоматизации деятельности организаций, разрабатываемые не для продажи, а исключительно для решения внутренних задач. Существует и бесплатное программное обеспечение. Но основная масса программ разрабатывается с целью реализации их на рынке и получения прибыли. И экономическая эффективность программно го продукта может быть описана соотношением полученной выгоды и затраченных ресурсов.