3. Методы организации сложных экспертиз. Ситуационные центры.

Экспертизы бывают индивидуальные и коллективные, однотуровые и многотуровые, с обменом информацией между экспертами и без, анонимные и открытые. Многообразие областей применения делает достаточно многообразным и гибким используемый на практике аппарат экспертного оценивания. Однако опыт показывает, что при реальном использовании экспертных оценок далеко не всегда можно уложиться в одну из широко известных и применяемых схем.

Возникающие на практике задачи нередко оказываются сложнее традиционных подходов. Настоящая же цель применения технологий экспертного оценивания - принятие эффективного решения, а не обязательное использование традиционных схем. Поэтому специалистам, проводящим экспертизы, важно уметь творчески подойти к их организации и проведению для того, чтобы решить основную задачу - обеспечить адекватную оценку объекта экспертизы, выработать реализуемые и приводящие к цели альтернативные варианты решений, а среди них выбрать самый эффективный и надежный.

Общая структура проведения экспертиз: 1. Формулирование цели экспертизы и определение ее объектов. 2. Формирование аналитической группы сопровождения. 3. Подготовка предложений о составе экспертной комиссии с учетом данных о профессиональных знаниях экспертов в области объекта экспертизы, опыта их участия в работе экспертных комиссий, их рейтинга. 4. Утверждение экспертным советом состава экспертной комиссии.

5. Подготовка необходимой информации об объектах экспертизы по специально разработанным формам и анкетам, её анализ и систематизация. 6. Предварительное ознакомление экспертов с материалами об объектах экспертизы, а также обсуждение работ, представленных на экспертизу, получение дополнительной информации об объектах экспертизы.

7. Предварительная оценка работ. На предварительном этапе осуществляется контроль полноты представленного на экспертизу материала, исключение заведомо неконкурентоспособных работ , определяется степень дублирования и взаимозависимости работ для возможного их агрегирования, классификации представленных работ по областям исследований и разработок. В соответствии с принятой процедурой может проводится рецензирование работ, представленных на экспертизу, а в случае необходимости могут привлекаться консультанты.

8. Определение оценочной системы. В зависимости от объекта и характера экспертизы может быть выбран один из двух наиболее распространенных принципов экспертного оценивания. В соответствии с первым принципом каждому объекту экспертизы дается оценка в целом, в соответствии со вторым - многокритериальная оценка по каждому из критериев оценочной системы с последующим автоматизированным расчетом результирующей оценки. При многокритериальной оценке необходимо избегать неоправданного применения линейных "сверток".

9. Оценка экспертной комиссией работ, прошедших предварительный этап экспертизы, в соответствии с принятой процедурой и выбранной оценочной системой. 10. Определение результирующего ранжирования объектов экспертизы и установление их приоритетности. В зависимости от задач конкретной экспертизы результат работы экспертной комиссии - либо определение приоритетности объектов экспертизы, либо определение объектов экспертизы, подлежащих финансированию, либо выбор одного наиболее предпочтительного альтернативного варианта для реализации и т.д.

11. Анализ результатов экспертизы, оценка согласованности экспертных суждений. 12. Обсуждение результатов экспертизы и принятие решения, которое оформляется аналитической группой сопровождения и передается в экспертный совет центра экспертиз для утверждения. Если результаты экспертизы признаются экспертным советом недостаточно убедительными, проводится повторная экспертиза. 13. Архивирование результатов экспертизы, передача их заказчику, информирование о результатах экспертизы авторов, представивших работу на экспертизу.

Методы организации экспертиз

При экспертном оценивание большое значение придается методам организации экспертиз. Среди таких методов существует достаточно распространенный - метод анкетирования. Анкетирования - один из широко используемых методов в практике анализа управленческой деятельности для получения информации об анализируемом объекте. Профессионально проведенное анкетирование позволяет получить представление о состоянии объекта управления до и после реализации управленческих решений, об использованных управленческих технологиях и их результатах.

По результатам анкетирования могут быть сделаны выводы и рекомендации, с тем чтобы руководитель мог более четко представлять преимущества и недостатки, области рационального применения тех или иных управленческих технологий.

Анкета - это определенным образом организованный набор вопросов, ответы на которые позволяют получить информацию об объекте экспертизы, необходимую для проведения управленческого анализа. От вида анкеты, ее структуры, сформулированных в ней вопросов во многом зависит характер информации, получаемой в результате анкетирования.

Основные типы анкет

Фактографические анкеты - это анкеты, в которых запрашивается объективная информация об объекте экспертизы. Они могут быть использованы для получения статистических данных об объектах экспертизы. Тематические анкеты - это анкеты, в которых определяется мнение экспертов в конкретной области по определенному кругу проблем. Целевые анкеты - это анкеты, предназначенные для анализа управленческих технологий или их элементов. Анкеты решений - это анкеты, в которых представляются варианты решений тех или иных управленческих проблем.

Тематические, целевые и анкеты решений могут принадлежать к классу оценочных, если в них присутствуют специальные графы, в которых должна даваться оценка объекта управления, управленческой технологии и т.д. по тому или иному критерию по оговоренной в анкете шкале.

Наиболее распространены критерии, по которым производятся оценки, - сравнительная важность оцениваемого альтернативного варианта решения. Оценочные анкеты могут быть и неявного типа, т.е. в них может требоваться указание не точной количественной оценки, а качественной оценки, по которой при обработке анкеты может быть восстановлена необходимая количественная оценка. Иногда вместо указания точной количественной оценки в анкете может требоваться лишь указание диапазона значений, в которых находится оценка.

Анкеты бывают открытого и закрытого типа. В анкете закрытого типа на каждый вопрос даны варианты ответа, а в анкете открытого типа ответы могут быть выражены в произвольной форме. Анкетирование может проводиться непосредственно интервьюером, а может быть заочным. Метод комиссий состоит в открытой дискуссии по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии.

Преимущества метода комиссий: возможен рост информированности экспертов, поскольку при обсуждении эксперты приводят обоснования оценок, и обратная связь - под воздействием полученной информации эксперт может изменить первоначальную точку зрения.

Недостатки метода комиссий: Отсутствие анонимности. Это приводит к присоединению мнения эксперта к мнению более компетентных и авторитетных экспертов даже при наличии противоположной собственной точки зрения. Дискуссия часто сводится к полемике наиболее авторитетных экспертов.

Метод суда используются аналогии с судебным процессом. Часть экспертов объявляется сторонниками рассматриваемой инициативы и выступает в качестве защиты, приводя доводы в пользу рассматриваемой инициативы и выступает в качестве защиты, приводя доводы в пользу защиты этой инициативы. Часть экспертов объявляется ее противниками и пытается выявить отрицательные стороны. Часть экспертов регулирует ход экспертизы и выносит окончательное решение. В процессе экспертизы по методу суда функции экспертов могут меняться. Метод суда обладает теми же преимуществами и недостатками, что и метод комиссий.

Метод мозговой атаки, разработан в 50-60-х годах. Один из наиболее применяемых методов проведения экспертиз. Основная задача - выявление новых идей. Для этой цели организаторы экспертизы должны создать атмосферу, наиболее благоприятствующую генерированию идей, атмосферу благожелательности, поддержки, освобождающую эксперта от излишней скованности. Обсуждаемая проблема должна быть четко сформулирована. Любая идея должна быть обсуждена и не должна быть признанной ложной.

В методе мозговой атаки большую роль играет человек проводящий экспертизу. Но он не должен выделять более значимые и перспективные идеи, иначе результат экспертизы оказывается менее значительным.

Метод Делфи, разработан О. Хелмером и Н. Делки. Один из основных методов проведения экспертиз. В настоящее время он представляет собой по существу группу методов, объединенных общими требованиями к организации экспертных процедур и форме получения экспертных оценок.

В методе Делфи предусматривается создание условий, обеспечивающих наиболее продуктивную работу экспертной комиссии. Это достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы, с другой стороны. Ещё одно важное свойство - обратная связь, позволяющая экспертам корректировать свои суждения с учетом промежуточных усредненных оценок и пояснений экспертов, высказывавших крайние точки зрения. Экспертизы по методу Делфи проводятся чаще всего в 4 тура.

В первом туре экспертам сообщают цель экспертизы и формулируются вопросы, ответы на которые составляют основное содержание экспертизы. Вопросы для эксперта предъявляются в виде анкеты, иногда с пояснительной запиской.

Информация, полученная от эксперта, поступает в распоряжение аналитической группы. Во втором туре экспертам предъявляются усредненная оценка экспертной комиссии и обоснования экспертов, высказавших крайние оценки. Указания представляются анонимно. После получения дополнительной информации эксперты, как правило, корректируют свои оценки. Скорректированная информация вновь поступает в аналитическую группу. Третий и четвертый туры не отличаются от второго.

Характерная особенность метода Делфи - уменьшающийся от тура к туру разброс оценок, их возрастающая согласованность. В некоторых случаях согласованная точка зрения экспертов может быть получена уже после второго и третьего тура. При некоторых экспертизах потребовалось проведение не менее пяти туров. Основные особенности метода Делфи: анонимность суждений, обоснование точек зрения экспертов, давших крайние оценки, обратная связь, реализуемая с помощью многотуровой процедуры. Метод решающих матриц - один из первых методов, используемых при организации и проведении сложных экспертиз, предложен в 1966 г. Г. С. Поспеловым.

Для решения проблемы предлагается выделить основные направления исследований и указать их относительные веса . Относительные веса должны быть пронормированы. В методе решающих матриц эксперт должен указать относительный вклад каждой альтернативы более высокого уровня, непосредственно предшествующего уроню данной альтернативы. Например, вклад опытно-конструкторской работы для реализации цели равен некоторой величине. Для каждой опытно-конструкторской работы относительные веса также пронормированы.

Таким образом, каждая строка решающей матрицы характеризует относительный вклад опытно-конструкторской темы в реализацию каждого из основных направлений исследований. Предполагая заданными относительные веса направлений и используя решающую матрицу , можно получить относительные веса опытно-конструкторских работ. Аналогично зная , можно получить относительные веса прикладных , а затем и фундаментальных исследований.

Оценка относительной важности сложной альтернативы свелась к последовательности оценок более частных альтернатив, которые эксперт способен осуществить. Эта идея замены сложных экспертных оценок последовательностью более простых используется и в других методах проведения сложных экспертиз.

Метод прогнозного графа, создан авторским коллективом во главе с В.М. Глушковым. Используется при прогнозировании. Основная часть метода прогнозного графа - коллективная экспертиза формирования набора исходных проблем. Каждым экспертом разрабатывается матрица "цель-средства", в которой указываются цели, необходимые для достижения глобальной цели, а также средства достижения каждой из них.

Характерная особенность метода прогнозного графа - многоэтапность экспертизы. Центральная процедура метода - формирование прогнозного графа. В первом туре экспертизы составляется предварительный список промежуточных целей, необходимость для достижения конечной цели, указывается отношение подчиненности. Эта экспертная информация используется при определении списка целей для второго тура экспертизы.

Во втором туре экспертизы анализу подвергается уже не конечная, а промежуточные цели, сформированные экспертами в первом туре. Эксперты второго тура обладают правом корректировать цели, сформированные экспертами первого тура.

Последующие туры экспертизы аналогичны второму. Процедура заканчивается тогда, когда эксперты доходят до уровня целей, для реализации которых нет необходимости проводить дополнительные исследования и разработки. На основе полученной информации формируется прогнозный граф, для чего предусмотрены дополнительные алгоритмы выявления циклов и тупиковых событий и их устранение. Следующий этап - привлечение достаточно представительной группы экспертов, способных оценить каждую из представленных в прогнозном графе вершин-целей.

Далее приводятся численные оценки целей прогнозного графа. В частности, оценивается время возможного завершения события или время осуществления цели. Аналогично определяются стоимостные характеристики событий. В этом случае в соотношении вместо используются стоимостные оценки события. Несколько более сложен расчет вероятностных оценок прогнозного графа.

Метод сценариев. Сценарии позволяют с тем или иным уровнем достоверности определить возможные тенденции развития, взаимосвязи между действующими факторами, получать возможные состояния, к которым может прийти ситуация под влиянием тех или иных воздействий. Метод сценариев предполагает создание технологий разработки сценариев, обеспечивающих более высокую вероятность выработки эффективного решения в тех ситуациях, когда это возможно, и более высокую вероятность сведения ожидаемых потерь к минимуму в тех ситуациях, когда потери неизбежны. В настоящее время известны такие варианты метода сценариев, как метод получения согласованного мнения, повторяющегося объединения независимых сценариев, как метод получения согласованного мнения, повторяющегося объединения независимых сценариев и др.

Метод получения согласованного мнения это по существу одна из реализаций метода Делфи, ориентированная на получение согласованного мнения различных групп экспертов относительно крупных событий в той или иной области в заданный период будущего. К недостаткам можно отнести малое внимание, уделяемое взаимозависимости и взаимодействию различных факторов, динамике развития ситуации.

Метод повторяющегося объединения независимых сценариев состоит в составлении сценариев по каждому из аспектов, оказывающих существенное влияние на развитие ситуации, и в повторяющемся итеративном процессе согласования сценариев развития различных аспектов ситуации. Достоинство этого метода - углубленный анализ взаимодействия различных аспектов развития ситуации. Недостатки - слабая разработанность и методическая обеспеченность процедур согласования сценариев.

Ситуационные центры. Создание ситуационных центров является сегодня одной из актуальнейших задач повышения эффективности управленческой деятельности. В настоящее время в мире насчитывается несколько сотен ситуационных центров, и количество их продолжает увеличиваться. Ситуационный центр - это комплекс рабочих мест для высших должностных лиц, уполномоченных принимать решения по результатам отображаемой информации. Ситуационные центры - специальные помещения, оснащенные комплексами оборудования, которые позволяют визуализировать, представив в графическом виде, огромные объемы информации, которые человек должен в течение очень короткого времени осмыслить, проанализировать и принять решение.

Бурное развитие информационных технологий в последние годы вызвало появление больших массивов информационных, коммуникационных, аудио-видео данных, которые необходимо осознать, структурировать и анализировать для принятия грамотных управленческих решений. Одновременно с убыстрением темпов развития информационных технологий сокращается время, отпущенное на принятие управленческих решений или, тем более, решений, принимаемых в кризисных ситуациях.

Для того, чтобы принимать оптимальные решения с минимальными затратами времени, создается такой инструмент как ситуационный центр или ситуационная комната. Ситуационный центр также дает возможность промоделировать варианты развития событий, продумать последствия тех или иных действий заранее, не дожидаясь наступления кризисной ситуации. Такие ситуационные центры существуют сегодня в Министерстве природных ресурсов РФ, Минатоме и Росэнергоатоме, в МЧС, в некоторых автономных округах и регионах, активно создают их и крупные промышленные и нефтегазовые компании.

Основные задачи ситуационных центров - мониторинг состояния объекта управления прогнозирование развития ситуации на основе анализа поступающей информации - моделирование последствий управленческих решений, на базе использования информационно-аналитических систем - экспертная оценка принимаемых решений и их оптимизация - управление в кризисной ситуации

Техническое оснащение ситуационных центров Для решения стоящих перед ситуационными центрами задач требуются большие объемы и высокая интенсивность поступления входной информации, что делает абсолютно необходимым использование современных средств, обеспечивающих высокие возможности приема, воспроизведения и восприятия информации.

1. Экран коллективного пользования Основным элементом технического оснащения ситуационного центра является экран коллективного пользования, позволяющий создать единый информационный язык для лиц, работающих в ситуационном центре. Экран может представлять собой видеостену или проекционную установку. Видеостены, то есть системы мультиэкранного отображения данных различного вида (электронные карты, видеоизображения, графики и диаграммы, текстовая документация в электронном виде), предназначены для коллективного пользования и, благодаря модульной конструкции, могут быть сконфигурированы индивидуально под конкретные помещения и задачи.

Ключевым свойством для видеостен является разрешение и, соответственно, информационная емкость, позволяющая представлять на одном экранном поле множество "окон", содержащих полноценные изображения от множества источников.

Дисплеи такого типа являются почти безальтернативным решением для серьезных ситуационных и диспетчерских залов: - универсальность - изображение от любых источников - высокое разрешение - возможность вывода большого количества информации - высокое качество изображения, контрастность и яркость, незначительное влияние внешней засветки - возможность долговременной (круглосуточной) работы, большой ресурс ламп - возможность работы с заранее программируемыми сценариями, в том числе, и предусмотренными в нештатных ситуациях - высокая надежность - в модульной конструкции вероятность выхода из строя всех модулей сразу весьма мала - высокая компактность при соответствующем размере и качестве изображения - восприятие большого объема информации в сжатые сроки - восприятие информации в контексте - эффективное взаимодействие

2. Средства видеоконференц-связи Средства видеоконференц-связи, передающие изображение и звук по телекоммуникационным сетям и использующие различные конфигурации связных терминалов - как в виде автономных устройств, так и на базе персональных компьютеров, являются необходимыми в ситуациях, когда происходит работа между удаленными участниками совещания. Живой диалог может прояснить иногда гораздо больше, чем даже относительно быстрая пересылка файлов с фотографиями. В состав любого видеоконференционного терминала входят видеокамера, микрофон, кодек, устройство отображения видео и устройство воспроизведения звука.

3. Высококачественные звуковые системы, включающие специальные звуковые конференц-системы Звуковое оборудование ситуационного центра Микрофоны в ситуационном центре практически обязательный атрибут. Они необходимы не только для того, чтобы участники совещания могли слышать друг друга непосредственно в ситуационном центре, но и могли участвовать в сеансах связи с другими офисами или центрами. Обычные микрофоны плохо подходят для этой цели.

Правильным решением является использование так называемых конференц-систем - микрофонных пультов. Такие пульты подразделяются на пульты рядовых участников и пульт руководителя (председателя, ведущего). Наиболее распространенный режим работы, когда говорящий участник, прежде чем начать говорить, нажимает кнопку на пульте и система включает его микрофон, выключая все остальные. Когда начинает говорить следующий, он нажимает на свою кнопку и включается следующий микрофон. Председатель имеет возможность заглушить все микрофоны и взять слово. Система позволяет использовать и другие режимы, когда одновременно работает несколько микрофонов или они включаются только по команде оператора.

4. Электронные средства ввода графических данных: документ-камеры Документ-камеры - универсальные инструменты для, практически, мгновенного получения электронных изображений текстов, фотографий, слайдов и небольших предметов. Модели профессионального класса снабжены целым рядом функций, позволяющих предварительно подготавливать выводимое на экран изображение необходимым образом: функция увеличения, функция негатив-позитив, функция подсветки и поворота изображения, проч. Такое оборудование совершенно необходимо в ситуации динамической работы экспертов: ведь обычное сканирование занимает безусловно большее время.

5. Интерактивные дисплеи Если ситуационный центр это инструмент взаимодействия людей, использующих для общения электронные документы, должны быть и средства для максимально удобного управления и изменения документов, создания новых. Часть поверхности экрана в ситуационном центре или дополнительный экран должен наделяется интерактивными свойствами. Это дает возможность работать с электронными документами, используя простую меловую доску или лист белой бумаги и карандаш, при этом сохраняются возможности электронной документации - сохранение, рукописных исправлений, как файлов, мгновенная печать или рассылка по электронной почте, синхронное наблюдение изменений документа по сети в удаленных офисах- Интерактивность может быть реализована непосредственно на поверхности основного дисплея ситуационного центра, но это не всегда удобно (например, когда дисплей большой) и тогда интерактивность можно реализовать на отдельных устройствах, например, системах SMART Board для прямой и обратной (просветной) проекции или интерактивных дисплеях на базе плазменных панелей.

6. Интегрированные системы управления Подобные системы становятся насущной необходимостью при управлении сложными аппаратными комплексами, где изменение состояния системы требует одновременного переключения множества устройств (коммутаторов, микшеров, источников и т.д.). При отсутствии определенного уровня автоматизации может оказаться, что достичь оперативности без оператора для каждого устройства невозможно. Но это всегда возможный источник ошибок, раскоординации действий, наконец, утечки конфиденциальной информации. Для решения задач по управлению такими системами существуют системы интегрированного управления. Они как бы накладываются на основную технологическую схему обработки информации и управления средой и позволяют создать для каждого проекта свой индивидуальный ИНТЕРФЕЙС УПРАВЛЕНИЯ.

Интерфейс системы управления "На поверхности" остается чувствительный к прикосновению экран, который и является общим пультом интегрированной системы управления. Исполнительный процессор системы вырабатывает команды для управления любыми функциями любых устройств. Система управления может быть запрограммирована таким образом, что если на главном месте работает несколько человек, каждый из них перед началом работы выбирает свой вариант настроек: набор функций, устройств, цвет, способ представления - надписи или картинки и т.п.

Технологии представления информации Студия "Меркатор" специализируется на презентациях идей, продуктов, бизнеса и информации. Одной из основных задач ситуационного центра является сокращение времени, необходимого для оценки и понимания ситуации. Для быстрого погружения в проблему используются специальные средства презентационной графики, позволяющие представить задачу в яркой и компактной форме. Специалисты компании "Меркатор", работающие в этой области совместно с социопсихологами, определили основные принципы подготовки презентационной графики, которые во многом отражают стратегию проведения самого доклада: - каждый доклад-презентация не должен содержать более 3-х основных тезисов; - чем меньше слов на графике слайда, тем легче восприятие; - аудитория воспринимает не факты, а события, поэтому основная задача компьютерной графики - создание из информации события.

Как известно, существуют два основных способа восприятия информации: прямой (понимание, анализ) и косвенный (впечатление, эмоции). Когда необходимо неэмоциональное восприятие, например, для совещания экспертов, скорее подойдет скупая графика, и наоборот, если есть расчет воздействовать на аудиторию, дизайн может быть более свободным. Наглядное и эффективное представление информации существенно повышает имиджевую составляющую ситуационного центра. В частности, возможности ситуационного центра выводят на качественно новый уровень работу с прессой, незаменимы при встрече с узким кругом заинтересованных лиц.

Эргономика и дизайн Работа над созданием ситуационного центра должна начинаться с создания архитектурного проекта помещения, учитывающего особенности функционирования ситуационного центра организации, его задачи и цели. Необходимо также предусмотреть комфортность работы специалистов и первых лиц: создание микоклимата помещения, удобный интерьер, функциональную мебель, и обязательно правильную организацию освещения рабочих мест.

Что дает ситуационный центр - повышение эффективности работы организации - повышение скорости доступа к знаниям - повышение уровня доверия в организации и формирование команды - накопление опыта решения проблем и построение внутренней технологии решения проблем - повышение инвестиционного рейтинга организации