Экспертная оценка проектов. Экспертиза социальных проектов как форма оценки проектной деятельности Экспертная оценка проекта

Под экспертизой в широком смысле понимается:

» анализ, исследование, проводимое привлеченными специалистами (экспертами), экспертной комиссией, завершаемые выпуском акта, заключения, в отдельных случаях – сертификата качества, соответствия;

» проверка качества товаров, работ, услуг.

Экспертиза (проверка, оценка) является обязательным этапом практически любой деятельности, поскольку призвана оценить соответствие результата деятельности запланированным показателям. Экспертиза, как правило, осуществляется на основе определенных правил, зафиксированных документально в виде ведомственных, нормативных, законодательных актов.

Все инвестиционные проекты независимо от источников финансирования и форм собственности объектов капитальных вложений до их утверждения подлежат экспертизе в соответствии с законодательством Украины.

Экспертиза проектов проводится в целях предотвращения создания объектов, использование которых нарушает права физических и юридических лиц и интересы государства или не отвечает требованиям утвержденных в установленном порядке стандартов (норм и правил), а также для оценки эффективности осуществляемых капитальных вложений.

Первый шаг реализации данной методики – определение факторов, которые могут в значительной степени повлиять на успешность выполнения проекта. Среди факторов, оказывающих первостепенное влияние на эффективность инвестиционного проекта, могут быть характеристики, представленные выше.

Второй шаг – факторы располагаются в порядке убывания приоритетности. Для этого определяется, какой из них в наибольшей степени повлияет на ход реализации проекта. Далее устанавливается наиболее существенный фактор из оставшихся, и т.д. Получившаяся последовательность заносится в таблицу 1.

Третий шаг – оценка весомости (ранга) каждого из перечисленных факторов. Сумма рангов всех факторов должна быть равна единице. Иначе говоря, сумма по столбцу 3 таблицы 1 должна быть равна единице.

Четвертый шаг – проект(-ы) или варианты одного проекта необходимо оценить по каждому из факторов (критериев) оценки.

Максимальный балл по любому из факторов для проекта равен 100, минимальный – 0. Например, если эксперты признают, что спрос на продукцию проекта будет неограниченным, то значение фактора «спрос на продукцию (услуги) проекта» для данного варианта проекта равен 100 баллов.

Пятый шаг – экспертная оценка влияния каждого фактора (графы 9–13) получается путем перемножения веса каждого фактора на оценку этого фактора для каждого варианта (графа 3 умножается на графы с 4 по 8 соответственно). Интегральная экспертная оценка приоритетности вариантов проекта определяется как сумма по графам 9–13.

Таблица 1 – Форма для экспертной оценки альтернативных проектов

Данная методика может применяться как для предварительного отбора наиболее перспективных вариантов осуществления проекта, так и для предварительного определения осуществимости проекта. В первом случае для дальнейшего рассмотрения остаются альтернативы, получившие наивысшие результаты, во втором - полученная интегральная экспертная оценка проекта сравнивается с определенным заранее «ограничением снизу». Если полученное экспертным путем значение выше установленного предела, проект признается осуществимым.

Если проект достоин дальнейшего рассмотрения, определяют состав сведений, которые потребуются для его разработки, включая:

» детальный маркетинг;

» инженерно-геологические изыскания;

» оценку окружающей среды и местных источников сырья;

» политическую обстановку в регионе, республике, стране;

» социокультурную характеристику населения.

Читатель, привыкший иметь дело с критериальными таблицами, обычно сразу же припоминает нехитрый способ упорядочения альтернатив. В подавляющем большинстве случаев это – так называемая "линейная свертка" (взвешенная сумма) – любимый всеми народами и во все времена способ обработки критериальной таблицы. Суть его проста. Сначала некоторым образом выбираются весовые коэффициенты критериев. Обозначим их вектором (w1 , w2 ,... , wm). Затем, для каждой альтернативы (каждой i-ой строки таблицы) рассчитывается следующая величина
si = ∑ xijwj (сумма берется для всех j от 1 до m). Наконец, принимается правило: чем больше значение si , тем лучше альтернатива ai. Вот и все!

К сожалению, эта схема, не всегда дает верный результат! Неискушенного читателя это утверждение всегда приводит в недоумение. Следуют заявления типа того, что приведенная схема "соответствует здравому смыслу", или "отвечает интуитивному представлению о сравнительном качестве альтернатив" и т.п. Здесь мы сталкиваемся с типичной ситуацией, которая удачно выражается известной фразой "наука начинается там, где кончается здравый смысл". Увы, это так! В конце ХХ-го века математика достигла такого уровня абстрактности, что здравый смысл отступил на второй план. В одной из классических книг по методам ППР, а именно, в книге американских математиков Р.Л. Кини и Х. Райфа "Принятие решений при многих критериях: предпочтения и замещения" (Москва, изд-во "Радио и связь", 1981) строго доказано, что линейная свертка корректна только тогда, когда все критерии попарно независимы по предпочтению. Что такое "зависимость" критериев, какие виды зависимости бывают, и что из этого следует – все это выходит за рамки нашего краткого введения.

Идем дальше. Оказывается, линейная свертка основана на неявном постулате: "низкая оценка по одному критерию может быть компенсирована высокой оценкой по другому". Однако, этот постулат верен отнюдь не для всех моделей сравнительной оценки "качества". Простейший пример – ухудшение качества изображения телевизора не может быть компенсировано улучшением качества его звука.

Но и это еще не все. Серьезные проблемы связаны с критериями. Прежде всего, не всегда удается обосновать тот набор критериев, который необходим и достаточен для решения ЗПР. Может показаться, что набор критериев "естественно" возникает в каждой конкретной задаче. Но, увы, это далеко не так.

Еще сложнее обстоит дело с весами критериев. Можно даже сказать, что веса критериев – самое тонкое место в проблеме критериального упорядочения альтернатив. Чаще всего веса назначают, исходя из интуитивного представления о сравнительной важности критериев. Однако исследования показывают, что человек (эксперт, ЛПР) не способен непосредственно назначать критериям корректные численные веса. Более того, есть данные, (они еще не опубликованы) которые свидетельствуют о том, что человек не может корректно назначать веса даже на базе нечисловых шкал. Почему же люди так часто и так охотно манипулируют взвешенной суммой? По этому поводу не могу удержаться от искушения процитировать отрывок из великолепной книги Елены Сергеевны Вентцель "Исследование операций (задачи, принципы, методология)". В следующем отрывке веса критериев называются "коэффициентами", альтернативы – "решениями".

"Здесь мы встречаемся с очень типичным для подобных ситуаций приемом – "переносом произвола из одной инстанции в другую". Простой выбор компромиссного решения на основе мысленного сопоставления всех "за" и "против" каждого решения кажется слишком произвольным, недостаточно "научным". А вот маневрирование с формулой, включающей (пусть столь же произвольно назначенные) коэффициенты – совсем другое дело. Это уже "наука"! По существу же никакой науки тут нет, и нечего обманывать самих себя".

Книга была написана в конце 70-х годов. Интересно, что примерно в это же время зародился научный подход к проблеме весов критериев. Его автор – замечательный математик Владислав Владимирович Подиновский.
В книге Е.С.Вентцель есть ссылка на одну из ранних работ Подиновского, написанную им в соавторстве с В.М. Гавриловым: "Оптимизация по последовательно применяемым критериям", -Москва, "Советское радио", 1975. Любопытно, что анализ всего лишь одного подхода (последовательного рассмотрения упорядоченных по важности критериев) занял около 8 печатных листов! В дальнейшем, Подиновскому удалось дать строгое определение понятию "важность критерия" и опубликовать в этой области прикладной математики несколько монографий и множество статей. Владислав Владимирович по праву может считаться основоположником научного подхода к проблеме важности критериев. По сей день он остается признанным авторитетом №1 в мире по этой проблеме. Но вернемся к существу вопроса.

Если все так сложно, то как все же взяться за структурирование альтернатив, представленных в виде критериальной таблицы? Этим мы сейчас и займемся. Прежде всего, заметим, что в таблице могут оказаться альтернативы, которые имеют оценки по всем критериям хуже, чем другие альтернативы. Сразу ясно, что такие альтернативы неконкурентоспособны. Их можно смело вычеркивать из таблицы. После вычеркивания заведомо наихудших альтернатив, в таблице остаются только такие альтернативы, которые хотя бы по одному критерию, не хуже, чем другие. Множество таких альтернатив получило название "множество недоминируемых альтернатив", или "множество Парето".

1.2 Ходатайство (Декларация) о намерениях

Замысел инвестора реализуется в форме Декларации о намерениях, а также задания (исходных данных) на разработку предпроектных обоснований инвестиций.

Указанные документы подготавливаются, помимо заказчика, консультантами в области управления проектами, а также экспертами по специальным вопросам. Одновременно подготавливается ходатайство о предварительном согласовании места размещения объекта.

Этап, помимо заказчика, подготавливается проектным институтом (по договору), заинтересованными юридическими и физическими лицами (определяются заказчиком), а также специалистами из консалтинговой фирмы.

Примерный состав Ходатайства (Декларации) о намерениях, на примере строительного проекта:

1. Инвестор (заказчик) - адрес.

2. Местоположение (район, пункт) намечаемого к строительству предприятия, сооружения.

3. Наименование предприятия, его технические и технологические данные:

· объем производства промышленной продукции (оказания услуг) в стоимостном выражении в целом и по основным видам в натуральном выражении;

· срок строительства и ввода объекта в эксплуатацию.

4. Обоснование социально-экономической необходимости намечаемой деятельности.

5. Примерная численность рабочих и служащих, источники удовлетворения потребности в рабочей силе.

6. Потребность предприятия в сырье и материалах (в соответствующих единицах).

7. Потребность предприятия в водных ресурсах (объем, количество, источник водообеспечения).

8. Потребность предприятия в энергоресурсах (электроэнергия, тепло, пар, топливо), источник снабжения.

9. Транспортное обеспечение.

10. Обеспечение работников и их семей объектами жилищно-коммунального и социально-бытового назначения.

11. Потребность предприятия в земельных ресурсах.

12. Водоотведение стоков. Методы очистки, качество сточных вод, условия сброса, использование существующих или строительство новых очистных сооружений.

13. Возможное влияние предприятия, сооружения на окружающую среду:

· виды воздействия на компоненты природной среды (типы нарушений, наименование и количество ингредиентов-загрязнителей);

· возможность аварийных ситуаций (вероятность, масштаб, продолжительность воздействия);

· отходы производства (виды, объемы, токсичность), способы утилизации.

14. Источники финансирования намечаемой деятельности, учредители, пайщики, финансовые институты, правительство, коммерческие банки, кредиты поставщиков.

15. Использование готовой продукции (распределение).

1.3 Разработка обоснования инвестиций

Примерный состав обоснования инвестиций:

1.Резюме проекта

2.Общая характеристика отрасли и предприятия

3.Исходные данные и условия, в том числе:

3.1.Цели и задачи проекта

3.2.Характеристика объектов и сооружений, в том числе:

3.2.1.Мощность предприятия, номенклатура продукции

3.2.2.Основные технологические решения

3.2.3.Основные строительные решения

3.2.4.Место размещения предприятия

3.2.5.Обеспечение предприятия ресурсами

3.3.Окружение проекта

3.4.Оценка воздействия на окружающую среду

3.5.Текущее (исходное) состояние проекта

3.6.Кадры и социальное развитие

4.Анализ рынка, в том числе:

4.1.Характеристика рынка продукции проекта

4.2.Оценка конкурентоспособности продукции проекта

4.3.Прогноз развития рынка продукции проекта

4.4.Прогноз спроса на продукцию проекта

5.Управление проектом, в том числе:

5.1.Укрупненная структура работ

5.2.План проекта

5.3.Структура управления проектом

5.4.Команда проекта

6.Оценка эффективности проекта, в том числе:

6.1.Исходные данные и результаты расчета

6.2.Финансовый план

6.3.Анализ рисков

7.Приложения

Окончательным итогом предынвестиционных исследований является задание на разработку ТЭО. Примерный перечень исходных данных для его разработки приведен в раздаточном материале.

Примерный перечень исходных данных для составления ТЭО строительства

1.Материалы прогнозов экономического и социального развития целевых научно-технических и комплексных программ Украины, в том числе межотраслевых программы.

2.Копии решений государственных и местных органов.

3.Сведения о состоянии ресурсов, вовлекаемых в хозяйственную деятельность будущего объекта (предприятия), окружающей природной среды об инфраструктуре, о рекреационных и особо охраняемых территориях.

4.Сведения о возможности применения на объекте (предприятии) импортного оборудования.

5.Примерная производственная программа в денежном и натуральном выражении, номенклатура основной и попутной продукции, требования к ее качеству и конкурентоспособности.

6.Общая характеристика объекта строительства (предприятия), сведения для определения его оптимальной мощности.

7.Заключение Антимонопольного комитета о невозможности или нецелесообразности увеличения производства на существующих предприятиях.

8.Результаты выполненных ранее научно-исследовательских и опытно-конструкторских работ по технологическим процессам, оборудованию, исследованиям существующего рынка и тенденций его развития и т. д.

9. Копии из утверждений в установленном порядке проектно-планировочной документации с указанием предполагаемой площадки (площадок) строительства и возможных мест при соединения к сетям и коммуникациям.

10.Данные о подлежащих сносу при строительстве объекта зданиях и сооружениях, примерное число переселяемых граждан.

11.Другие данные, характеризующие особенности реализуемого проекта.

Если вы доверяете себе больше, чем другим, то этот способ вам подходит.

Пример

Допустим, что проект-менеджер описал следующий список характеристик для назначения члена команды проекта:

1.Возраст.

2.Здоровье.

3.Способность генерировать идеи и варианты.

4.Способность к развитию.

5.Умение предвидеть события.

6.Финансовая жесткость.

7.Критическое отношение к законам.

8.Корректность по отношению к партнерам.

9.Хитрость.

10.Быстрота принятия решений.

Всего 10характеристик. Составляем ряд приоритетов: способность генерировать идеи и варианты >здоровье >умение предвидеть события >финансовая жесткость >корректность по отношению к партнерам >критическое отношение к законам >хитрость >быстрота решений >способность к развитию >возраст.

Теперь, когда определилось, что важнее, расставим баллы, оценивающие важность характеристик. Наиболее важной будем считать характеристику, получившую 10баллов: способность генерировать идеи и варианты – 10; здоровье – 9; умение предвидеть события - 8; финансовая жесткость – 7; корректность по отношению к партнерам– 6; критическое отношение к законам – 6; хитрость – 5; быстрота решений – 5; способность к развитию – 5; возраст – 5.

Сумма расставленных баллов равна 66.Разделив выставленные оценки в баллах на их сумму и округлив результаты, получаем вектор коэффициентов приоритета: 0,15; 0,14; 0,12; 0,11; 0,11; 0,1; 0,09; 0,09; 0,09; 0,09.

Сложив коэффициенты вектора приоритета, получаем 1.Значит, расчет выполнен правильно.

2.Групповая экспертиза

Как правило, при определении коэффициентов приоритета для важного решения возникают разногласия. Одним из признанных способов их устранения является статистический подход к получения оценок, для чего самым простым приемом служит усреднение результатов, полученных разными экспертами в группе. Все пункты от 1.1до 1.4при оценках одного эксперта должны быть выполнены каждым экспертом группы независимо друг от друга. Величины вектора коэффициентов приоритета по каждой характеристике, полученные каждым экспертом, нужно сложить и разделить на число экспертов. Таким образом, получим средние оценки коэффициентов приоритета, а истина, как известно, лежит посредине.

Экспертная оценка проектных альтернатив

Первым шагом реализации данной методики является определение критериев эффективности или факторов, которые могут в значительной степени повлиять на успешность выполнения проекта.

Второй шаг - факторы располагаются в порядке убывания приоритетности.

Третий шаг - оценка весомости (ранга) каждого из перечисленных факторов.

Четвертый шаг -проект(-ы) или варианты одного проекта необходимо оценить по каждому из факторов (критериев) оценки.

Пятый шаг -экспертная оценка влияния каждого фактора.

Таблица 3.1

Экспертная оценка вариантов реализации проекта

Полученные на этапе формирования идеи проекта результаты оформляют в виде т.н. резюме проекта -аналитической записки, излагающей суть проекта по следующим аспектам:

цель проекта,

основные особенности и альтернативы проекта,

организационные, финансовые, политические и другие проблемы, которые нужно в дальнейшем учитывать,

необходимые мероприятия по разработке проекта.

ЭКСПЕРТНАЯ ОЦЕНКА В ПРОЕКТНОМ УПРАВЛЕНИИ

Петренко И.В.
Исполнительный директор ООО «ГОРИЗОНТ», Санкт-Петербург
info @ grznt . ru

АННОТАЦИЯ

В статье рассматриваются теоретические аспекты проведения экспертных оценок, а также практические применения в организациях.
Ключевые слова: экспертная оценка, проектное управление, содержание работ, длительность операций, ресурсы проекта, материалы проекта

В целом управление проектами базируется на оценке. При планировании проекта во всех разделах плана проекта необходимы оценки:

Методология управления проектами PMI говорит о следующих методах оценки:

• Экспертная оценка
• Оценка по аналогам
• Параметрическая оценка
• Оценка по трем точкам

Рассмотрим практическое применение для каждого раздела плана перечисленных методов.

Содержание работ
Содержание работ – перечень работ, которые необходимо выполнить чтобы достичь успеха. Условимся называть структурой работ совокупность содержания, иерархической структуры работ и связей между ними. Строго говоря, структура работ тоже является результатом оценки. В силу того, что структура работ не отражает никаких количественных показателей, то с точки зрения методик оценки, пожалуй, можно применить только экспертную оценку и оценку по аналогам (структуры работ в подобных проектах). Прочие методы работают только с количественными оценками.

Два разных руководителя проекта, составляющие независимо друг от друга структуры работ одного и того же проекта, получат разный результат. В технически сложных проектах руководитель проекта не в состоянии самостоятельно составить содержание работ, поэтому должен привлекать специалистов, в том числе предполагаемых исполнителей. В общем случае структура работ должна в себе отражать следующие составляющие:

• Компоненты получаемого продукта. Например, если проект по строительству дома, то его компонентами будут фундамент, стены, кровля, отделка.
• Технологические процессы, по которым собственно будет получаться конечный продукт. Для строящегося дома – это последовательность технологических операций: Рытье котлована, забивка свай, подготовка армирующих конструкций, заливка бетона. Важна именно последовательность операций и их длительность.
• Управленческие работы. Управленческие работы присутствуют всегда и во всех проектах, но часто их не учитывают в структуре работ, что может привести к неучтенным и не запланированным временным потерям, к отсутствию ключевых лиц в требуемое время. При строительстве дома такими работами могут быть: планерки, заполнение отчетов по выполненным объемам, заполнение заявок на материалы, технику и специалистов, инструктаж исполнителей, контроль качества, составление отчетности.
• Юридические условия. Если проект выполняется для внешнего (относительно организации) заказчика и/или с привлечением подрядных организаций, важно, чтобы в структуре работ было отражение ключевых контрактных этапов. Например, строительство дома может выполняться по договору, с прописанной этапностью: Этап1. Котлован, Этап 2. Фундамент, Этап 3. Стены. Этапность может отражаться в одном договоре, может в различных, но из структуры работ должно быть понятно по каким юридическим условиям работы выполняются.

Все составляющие можно представить в виде иерархических структур
Вариантов как скомпоновать четыре иерархические структуры существует великое множество, но наиболее распространенные из них:
Вариант 1. Основное предназначение – контроль исполнения договора с заказчиком

Вариант 2. Основное предназначение – контроль получаемого продукта/изделия

В идеале, если структуру работ возможно динамически трансформировать к любой иерархической структуре, то решаются задачи контроля всех четырех составляющих. В программном продукте «GORIZONT.Professional» выделены четыре иерархических справочника для каждой составляющей, при формировании структуры работ проекта возможно добавлять составляющие данных справочников, при этом компоненты трансформируются в задачи проекта. Каждую задачу проекта возможно привязать ко всем четырем справочникам. Набором специальных отчетов по каждому разделу плана проекта возможно получить «вывернутую структуру» по нужной составляющей, например, построить план поступления денежных средств по компонентам продукта, оценить прибыльность каждого компонента продукта, оценить трудоемкость каждого элемента технологического цикла в иерархии, оценить трудоемкость управленческих работ и затрат по проектам.
Важно понимать, что в целом подход к построению структуры работ проекта в конкретной организации будет индивидуальный и может отличаться от похожих организаций в той же отрасли. Более того, со временем этот подход должен меняться, так как меняются окружающие условия: накапливается собственная база знаний, появляется опыт хороших решений и ошибок, персонал становится более квалифицированным, приходят новые сотрудники, заказчики более требовательными к отчетам и контролю, конкуренты более эффективными. Рекомендуем периодически пересматривать и корректировать/уточнять подходы к формированию структуры работ.
Если в Вашей организации только планируется начать применять проектный подход, то стоит начать с простой структуры: Этапы работ доходных контрактов-структура изделия. На первом этапе это уже даст колоссальный эффект для понимания того, каким образом будет выполняться проект. Со временем, потребность детализации структуры работ проектов проявится сама собой – нужны будут ответы на более детальные и конкретные запросы:

• Почему произошел срыв сроков, сколько было критических (существенных с точки зрения организации) переделок плана проекта;
• Откуда возникли накладки по срокам при выполнении работ;
• Сколько времени тратится на подготовку отчетности по проекту, как этим управлять;
• Почему фактические затраты не совпали с плановыми, что не учли;
• Сравнить проекты друг с другом по идентичным работам/компонентам;
• И прочее.

Главное правило при построении структуры работ – структура работ должна отражать все важные с точки зрения контроля события и работы. Если событие/работа не значимое, то не нужно его включать в структуру работ. Например, если за выполнение работы отвечает подрядчик, или отдельное структурное подразделение и с точки зрения проекта его услуга получается полностью, то детализировать эту работу до составных частей нет никакого смысла – это только утяжелит структуру работ, добавит необходимость планировать каждую составляющую, вести учет фактических данных по ней. Часто это просто физически невозможно получить от исполнителей задачи.
Контрольные точки(вехи) в структуре работ проекта являются желательными, но не обязательными. В основном контрольные точки нужны для следующих целей:

• Ввести внешние события для проекта. Например, получение документации от заказчика, завершение работы другого проекта, окончание ремонта ключевого оборудования, получение предоплаты от заказчика. После такого события начинаются определенные работы. Планировщик изначально предполагает дату события и от нее строит все зависимые задачи. Если в предполагаемую дату событие не свершилось, то планировщик вводит новую предполагаемую дату на основании внешних данных и пересчитываются сроки всех зависимых задач. Этот метод позволяет удобно и быстро актуализировать сроки задач.
• Контрольное событие по выполнению работ для контроля проекта вышестоящим руководством. Директор или руководитель проектного офиса для регулярного контроля использует вехи как высокоуровневый срез по проекту. Если веха просрочена и не выполнена, то требуется вмешаться и проверить все ли у руководителя проекта в порядке на проекте. Не рекомендуется перегружать структуру проекта контрольными событиями, так как контроль самого верхнего уровня «а успеваем ли сделать проект в срок» и контроль сроков этапов проекта, в принципе, решается сравнением сроков базового (контрактного плана) со сроками текущего плана.

Длительность задач проекта
Оценка длительности задач проекта возможна по всем описанным методикам. Рассмотрим более подробно каждую из них.

Экспертная оценка – классический универсальный метод, когда некий эксперт оценивает длительность операции. В роли эксперта может выступать и руководитель проекта, исполнитель или отдельный сотрудник, выполняющий именно данную функцию. В том, кто именно выполняет экспертную оценку кроется несколько важных моментов:

• Заинтересованность (положительная или отрицательная) эксперта в результатах проекта. Первоначальная оценка - самая важная, так как от нее зависит в принципе быть проекту или нет. Если оценку выполняет лицо, заинтересованное в том, чтобы проект был запущен, то оценка может быть занижена. Аналогична ситуация, если лицо не заинтересовано в запуске проекта или наоборот заинтересовано в увеличении срока проекта– оценка может быть дана завышенная. Могут быть лица, заинтересованные в запуске и невыполнении проекта (по срокам или по финансам), тогда будет дана заниженная оценка в надежде, что проект стартует и будет провален. Причины могут быть различные, но это необходимо учитывать. Нивелировать влияние заинтересованности возможно путем сбора нескольких оценок с разных экспертов. Об этом поговорим в отдельном разделе данной статьи.
• Независимость эксперта. В принципе зависимость/независимость очень похожа на заинтересованность/незаинтересованность, но отличается тем, что эксперт может быть индифферентен к наличию проекта в организации в принципе, но в случае его начала, так сказать, подстраховаться. Как правило, это справедливо к исполнителям, система мотивации которых завязана на их собственные оценки. Возможно при этом сама оценка будет оценкой трудоемкости задачи, но трудоемкость в принципе легко конвертируется в длительность.
• Чистота оценки. Важно понимать, что эксперт при проставлении оценки может учитывать или не учитывать дополнительные издержки на выполнение задачи. Например, если программист оценивает ТЗ, то он может не учитывать время на тестирование, документирование, демонстрацию и сдачу заказчику. Важно понимать, кто делает оценку и заранее оговаривать чистоту оценки. Руководитель проекта может изменить оценку (как правило, в большую сторону), так как учитывает дополнительные трудозатраты и соответственно длительность. При запросе на оценку указывайте оценивающему что включать, а что не включать в оценку или просите расшифровку.

Оценка по аналогам – в целом мало чем отличается от экспертной, так как сводится к способности эксперта провести аналогии между двумя разными проектами и преобразовать длительности ранее выполнявшегося проекта к планируемому проекту. Нужно помнить, что сравнение проектов в целом и сравнение частей проектов – это не одно и тоже, так как могут быть существенные зависимости между различными частями проектов. Например, если мы строим абсолютно одинаковые дома в одном коттеджном поселке, то сроки постройки коттеджей такого поселка будут схожи, но и проектом это уже назвать сложно, потому что продукт(коттедж) перестает быть уникальным, при этом сам поселок проектом является. Если же мы строим новый поселок, в котором будут разные коттеджи и один из них будет такой же, как и в предыдущем, то сроки его постройки будут похожи, но могут и существенно отличаться из-за логистики, очередности, материалов. Это необходимо учитывать при оценке по аналогам. В целом данный метод хорошо комбинируется с экспертной оценкой – полученные экспертные оценки сравниваются с ранее выполнявшимися аналогичными проектами и в случае существенных отклонений проводится анализ причин.

Параметрическая оценка – по сути метод также базируется на экспертной оценке, но к которой применяются различные математические операции. Чаще всего применяется в случае получения легко измеримого результата (в метрах, тоннах, штуках) и практически не примеряется, где результат заранее не измерим (документация, программный код, статьи).
Например, операция по рытью котлована 10*10 метров и глубиной 2 метра при производительности ресурса 20 куб. метров в час потребует 10 часов. Собственно, экспертность оценки кроется в оценке производительности ресурса.

Оценка по трем точкам (PERT) – аналогично базируется на экспертной оценке, но оценка осуществляется не в единственном варианте, а в трех:

• Пессимистичная
• Оптимистичная
• Реалистичная

Суть данного метода, по большому счету, сводится к тому, чтобы понять насколько конкретный эксперт, составляющий оценку, предполагает отклонения от своих реалистичных оценок. Однако, необходимо помнить о заинтересованности, независимости, чистоте оценки, которую дает эксперт.
В целом, метод полезен в первую очередь с точки зрения приобщения исполнителей (экспертов) к мышлению критически, к учету различных аспектов выполнения работ, к учету рисков и степени их влияния на ход работ по проекту.

Потребность в трудовых ресурсах
Для выполнения большинства задач проекта необходимы трудовые ресурсы. Собственно, это те, чьими силами выполняется работа, причем это не только сотрудники, но и машины и механизмы, использующиеся для выполнения работ.
Нужно понимать, что любую работу в проекте есть возможность выполнять собственными силами (трудовыми ресурсами организации) или купить у другой организации (отдать на подряд/субподряд). Решение о том делать задачу своими силами или покупать не тривиально и зависит от следующих факторов:

• Возможность выполнять работу своими силами в принципе с точки зрения закона (для лицензируемых видов деятельности);
• Наличие в организации ресурсов (трудовых и оборудования) которые могут выполнить требуемую задачу;
• При наличии ресурсов есть ли их достаточное количество на необходимый период выполнения задачи;
• Рентабельность выполнения задачи собственными силами или на подряде
• Повторяемость такого вида работы (если работа разовая или очень редкая, то выполнять своими силами не выгодно);
• Гарантийные обязательства по работам (как правило, гарантийные работы собственными силами делаются за счет организации, а выполненные подрядчиком – за счет подрядчика);
• Наличие подрядчиков требуемой квалификации;
• Риски работы с подрядчиком (нет оперативного контроля выполнения, его загрузка);
• Сезонные и погодные ограничения на выполнение работы;
• Стратегическая позиция организации на рынке (возможно нельзя отдавать на подряд работу, так как это будет поддержкой конкурентов);
• Прочие условия.

Для того, чтобы оценить потребность в ресурсах на конкретной задаче необходимо определить состав ресурсов и оценить их требуемое количество. Данная задача может иметь не одно, а множество решений, так как может быть несколько ресурсов способных выполнить одну и ту же работу, но с разной производительностью и разной стоимостью.
Оценка количества может быть выражена в различных единицах, но наиболее правильной и удобной единицей является час рабочего времени по следующим причинам:

• Разделение понятий трудоемкости и длительности (80 часов можно сделать за 2 недели 1 человеком при 8 часовом рабочем дне или, если это возможно двумя за 1 неделю). При этом оценка в часах отвязана от календаря и количества ресурсов, которые в момент проведения оценки обычно не известны;
• Возможность конвертации трудоемкости в длительность при заданном количестве ресурсов и рабочем календаре;
• Возможность конвертации в стоимость по норме стоимости 1 часа;
• Возможность применять параметризованную оценку и через производительность выражать также в необходимых часах рабочего времени. При этом производительность выражается в некоторых единицах в час;
• Сбор фактических данных также удобно собирать в часах (удобно с точки зрения табелирования, проверки полученных отчетов и их утверждения), что дополнительно позволяет производить план-фактный анализ плановых трудозатрат

В целом для оценки трудозатрат также можно применять методы и их комбинации:

• Экспертная оценка
• Оценка по аналогам
• Параметрическая оценка
• По длительности задачи, количеству ресурсов и календарю (пока задача длится, столько ресурсы и работают)
• По производительности ресурса, их количеству и требуемому объему выпуска (какой-то измеримой продукции)
• Оценка по трем точкам

Потребность в материалах
Для выполнения некоторых задач проекта могут требоваться материалы, расходуемые на выпуск продукции. Их перечень и оценка объема определяются аналогично трудовым ресурсам. Часть материалов может закупаться под конкретную задачу, а часть может быть уже куплена и храниться на складе, соответственно необходим резерв.
Потребность в материалах является отправной точкой для отела снабжения. На основании потребности осуществляются поиски поставщиков, проведение тендерных процедур, планируются поставки товаров, которые могут доставляться длительное время.

Выбор метода оценки
Идеальный вариант - к каждой задаче применить комбинированный полный подход, то есть сделать оценки различными методами (экспертно, по аналогам, параметрически), выполнить оценку несколькими сотрудниками и каждый из них сделал бы 3 вида оценки (реалистичный, пессимистичный и оптимистичный). Но на практике это крайне затратный вариант

Виды оценок
В зависимости от того на какой фазе находится проект требуются различные виды оценок. Принципиально можно выделить следующие виды:

• Оценка порядка – используется для грубого анализа для принятия принципиального решения интересен ли конкретный проект или по основным параметрам им заниматься не стоит (причем как для исполнителя, так и для заказчика). Лучшим методом для такой оценки – оценка по аналогам, потому что не трудоемкий, но дающий представление о основных параметрах проекта;
• Контрактная оценка – оценка, которая делается для составления коммерческого предложения и в последующем она должна лечь в основу контракта. На ее основе создаются и фиксируются контрактные версии планов проекта. Крайне важная оценка, так как от ее верности и точности зависит в целом успех проекта и прибыльность его для организации. Лучший вариант – комбинация всех методов оценки;
• Оперативная оценка – оценка, которая составляется и уточняется по ходу выполнения работ. На ее основе создаются, актуализируются и фиксируются оперативные планы проекта. Путем сравнения с контрактными планами можно понять отклонения основных параметров проекта (сроки, стоимость, объем ресурсов и материалов).

Заключение
В заключении стоит отметить важность сбора оценок при планировании проектов с исполнителей. В принципе, сама процедура оценки уже несет огромную пользу для организации, потому что исполнители задумываются о том, как они будут выполнять работу, сколько они на это потратят времени и ресурсов. На практике часто оценки не собираются вовсе или оценка проводится только на стадии продажи контракта, но при этом в оценке не принимают участие исполнители. Помните, способность оценивать – это ключевой навык в управлении проектами.

Как понять, есть ли эффект от реализации некоего социального проекта? В чем такой эффект может быть измерен и кем? В НИУ ВШЭ прошел научный семинар «Оценка в социальном проектировании - проблемы развития, профессионализации и обучения социально ориентированных НКО».

Участники семинара, теоретики и практики, обсудили не только основные проблемы и перспективы развития оценочной деятельности в социально-проектной работе российских социально ориентированных НКО (далее - СО НКО), но и результаты учебного курса по оценке социальных проектов, который был проведен Национальной ассоциацией благотворительных организаций при финансовой поддержке Минэкономразвития России и организационно-методическом содействии ВШЭ.

Открывая семинар, который состоялся 18 февраля, директор Центра исследований гражданского общества и некоммерческого сектора НИУ ВШЭ Ирина Мерсиянова отметила, что экспертиза социальных программ и проектов в настоящее время остается одной из наиболее актуальных тем и элементов современной социальной политики в России: «Возможно, мы стоим на пороге нового явления. Стремление к обеспечению роста эффективности проектов свидетельствует о возможности формирования сплоченной группы специалистов, готовых стать центром консолидации усилий активистов гражданского общества в создании нового для страны социального сообщества оценщиков подобного рода проектов. В 2014 году более чем 100 представителей социально ориентированных НКО из 44 субъектов РФ смогли повысить уровень своей проектной культуры в социальной сфере и подняться на новую профессиональную ступень в оценочной деятельности».

По теме семинара с докладами выступили директор НИУ ВШЭ Алексей Автономов и вице-президент Национальной ассоциации благотворительных организаций Нодари Хананашвили. На семинаре также было представлено авторское методическое пособие «Оценка социальных проектов», которое стало результатом более чем пятнадцатилетних теоретических изысканий, преподавания и практической деятельности докладчиков в сфере оценки социальных проектов.

В своем выступлении Алексей Автономов, в частности, подчеркнул, что оценка проектов - не новое явление для России. Еще в 1920-е годы государство было нацелено на решение не только экономических проблем. Скажем, ликвидация неграмотности может рассматриваться как один из наиболее масштабных проектов, реализованных в социальной сфере. Конечно же, все крупные начинания в экономической и социальной областях сопровождались планированием и оценкой. Периодом становления оценки проектов в стране можно считать время с начала 1920-х до середины 1930-х, когда вырабатывались методы оценки, внедрения их в практику, в связи с чем появилось и первое их теоретическое осмысление.

Середина 1950-х - середина 1970-х годов - это период активизации теоретических исследований в сфере оценки, выработки новых методов и инструментов оценки и попыток внедрения их в практику. Однако со временем планирование постепенно стало превращаться в начетничество, и если в Государственном комитете по планированию, возможно, и относились к планированию серьезно, то на местах старались иногда завысить план, но чаще занизить, причем «задним числом». В начале 1990-х от планирования вообще было решено отказаться, как от не отвечающего потребностям и реалиям, и к середине 1990-х оценочная деятельность, в которой нуждались и публичное управление, и развитие экономики, и некоммерческая деятельность - для того, чтобы быть эффективными - оказалась фактически заброшенной.

Первыми почувствовали потребность в освоении оценочной деятельности активисты неправительственных некоммерческих организаций, которые получали гранты от международных и западных организаций, готовые давать финансирование только под настоящие проекты, что, естественно, потребовало освоения проектного подхода, предполагающего также и соответствующую оценку проектов. С конца 1990-х годов начинается новый этап развития оценочной деятельности: периодически организуются обучающие семинары по оценке социальных проектов, в том числе два семинара состоялись по заказу правительства Москвы (в 2004 и 2009 годы). В 2004 году была издана монография «Социальные технологии межсекторного взаимодействия в современной России», в которой была глава, посвященная и оценке социальных проектов (Автономов А.С., Виноградова Т.И., Замятина М.Ф., Хананашвили Н.Л. Социальные технологии межсекторного взаимодействия в современной России. Учебник. Под общей редакцией А.С.Автономова. М.: Фонд «НАН», 2003. - с.с. 274-287). «Тот путь, который мы прошли, во многом был подкреплен сотрудничеством с Высшей школой экономики. Однако пока развитие оценочной деятельности в социальном проектировании в России идет весьма медленно», - заметил Алексей Автономов.

Оценка является одним из важнейших и обеспечивающих качество компонентов управления вообще и управления проектами в частности. Особенно заметен дефицит качества управления в периоды кризисов и экономической неустойчивости, когда управленческие недостатки оказывается затруднительным компенсировать «вливанием» дополнительных ресурсов. Необходимость комплексного подхода к решению социальных задач, сложность управления процессами в социальной сфере, разнообразие факторов, порождающих социальные проблемы, неоднозначность и трудная предсказуемость их последствий свидетельствуют о том, что многие ранее сформулированные и долгое время применявшиеся модели управления по каким-то причинам не срабатывают.

Значимость технологии оценки одновременно сопряжена с целым комплексом проблем на пути ее полномасштабного внедрения. Необходимо отметить, что «чаще всего социальные проекты оценивают на стадии заявки, а судить о достоинствах и недостатках такого проекта, делать выводы о степени годности для его реализации можно и в ходе его выполнения, и особенно важно - оценить эффективность проекта по его завершении». «Вместе с тем, - подчеркнул Алексей Автономов, - нельзя путать мониторинг с оценкой. При проведении мониторинга не выносится суждения о достоинствах и недостатках соответствующего проекта с выводом о ходе его реализации, о достигнутом результате, о полученном эффекте, хотя и собираются, и исследуются необходимые для этого данные».

Докладчик выразил уверенность, что сотрудничество Национальной ассоциации благотворительный организаций и Высшей школы экономики в образовательно-просветительской деятельности отразится на восполнении дефицита знаний, практических умений и навыков сотрудников СО НКО в социальном проектировании и приведет в итоге к более эффективному расходованию бюджетных средств, к конструктивному действию по планомерному улучшению ситуации.

В своем выступлении Нодари Хананашвили отметил, что проектная культура как один из инструментов культуры управления является чрезвычайно важной для страны, и выразил убеждение, что внедрение основ проектной культуры должно начинаться еще в школе. Необходимо преодолевать сложившиеся стереотипы сознания. В подавляющем большинстве отчеты о проделанной работе содержат сведения о затраченных средствах, количестве проведенных мероприятий, числе участников, но эти данные, формально-валовые показатели, далеко не всегда связаны с эффективностью проекта. В случае бизнес-проекта очевидно, что независимой оценкой эффективности может служить норма прибыли. По каким показателям можно судить об эффективности социального проекта? С учетом того, что проекты реализуются в социальной сфере, необходимо суметь оценить и происходящие в результате реализации проекта изменения; они могут иметь различные «единицы измерения»: снижение остроты проблемы, повышение способности целевой группы к самостоятельному решению своих проблем. Поскольку направлений для социальных инвестиций может быть очень много, как и нуждающихся в помощи групп населения, то и единиц измерения эффективности может быть очень много. Еще одна проблема, с которой сталкивается оценщик социальных проектов, заключается в периоде «окупаемости» таких социальных инвестиций. Например, меры по профилактике асоциального поведения детей и подростков могут принести результаты через несколько десятков лет. Докладчик более подробно остановился на реализации социального проекта «Формирование экспертно-аналитической гражданской сети», поддержанного субсидией Министерства экономического развития РФ.

Участники семинара обратили внимание, что для России проектов подобного масштаба по данной теме до настоящего времени не было. Базовый и системообразующий элемент проекта - 72-часовой очно-заочный обучающий курс по основам оценочной деятельности для представителей СО НКО, имеющих существенный практический опыт составления и выполнения (а иногда - и оценки) социальных проектов из восьми федеральных округов РФ.

Оценщики социальных проектов - не прокуроры и не судьи, в их задачу входит выявить факты, провести всесторонний анализ и в конечном итоге не огласить приговор, а сформулировать совокупность рекомендаций

Нодари Хананашвили
вице-президент Национальной ассоциации благотворительных организаций

Девятимесячный курс (с 1 марта по 30 ноября 2014 года), можно охарактеризовать как экспериментальный, многоформатный, практико-ориентированный. Необходимо отметить инновационную составляющую методологических рекомендаций и предложений в сфере менеджмента в проектном подходе, потому что в данной сфере правовая, процедурная, методическая регламентация сегодня почти отсутствует. Можно добавить, что по мере своего продвижения «проект оказался саморасширяющимся». «Важно, что оценщики социальных проектов - не прокуроры и не судьи, в их задачу входит выявить факты, провести всесторонний анализ и в конечном итоге не огласить приговор, а сформулировать совокупность рекомендаций», - заметил Нодари Хананашвили

Курс учебы прошли специалисты со всей России. Повышению культурно-просветительской составляющей курса способствовало то, проводились выездные мероприятия, а учебные группы были сформированы по «сдвоенным» округам - Дальневосточный и Сибирский федеральные округа, Уральский и Приволжский, Северо-Кавказский и Южный, Северо-Западный и Центральный. Каждый обучающий курс состоит из двух трехдневных очных семинаров и практической части (планируемой и осуществляемой созданными в ходе первого семинара малыми группами) по мониторингу реализуемых региональных проектов.

Структура курса состояла из основ экспертно-аналитической деятельности в области оценки заявок (взгляд на социальный проект, критерии оценки конкурсных заявок, экспертные формы, планирование мониторинга), мониторинга проектов, реализуемых в регионах на средства субсидий, выдаваемых Минэкономразвития России субъектам РФ для поддержки СО НКО, а также анализа результатов проведенных мониторингов и непосредственно оценки эффективности реализованных проектов.

Таким образом, на первом этапе участники овладевали оценочным инструментарием, а на втором происходил непосредственно мониторинг оцениваемых проектов. Авторы курса обратили внимание участников семинара на такую важную составляющую в оценке, как система обратной связи. Согласно правилам профессиональной этики, черновик отчета должен быть выслан непосредственно исполнителю проекта, вдруг при анализе информации не были учтены какие-либо важные факторы. Затем результаты мониторинга, отчет о его выполнении будут размещены на сайте Минэкономразвития России.

Многие темы могут служить дополнительными элементами основного курса. Например, структура оценки, алгоритмы оценочной деятельности; экспертиза документов и текстов, процедуры организации конкурса и место экспертизы и оценки. Важно научиться работать с бюджетом проекта, овладеть социальной технологией «прозрачный бюджет». Более подробно с дополнительными возможностями курса можно ознакомиться в презентации, размещенной на сайте Центра исследований гражданского общества и некоммерческого сектора ВШЭ.

По результатам проведенного курса были сформулированы конкретные рекомендации, адресованные Министерству экономического развития РФ, по повышению степени прозрачности и доступности информации о реализации в субъектах РФ программ поддержки СО НКО и о выработке единых требований к публикации информации о проектах-победителях (исполнителях). Также они касались системы критериев, действующих для конкурса СО НКО, в результате которой региональные и общероссийские или сетевые СО НКО оказываются в существенно неравном положении. Можно сделать вывод о неотложности внедрения процедур и механизмов внешних независимых мониторинга и оценки - на основе восстановительного (не «репрессивного») подхода. При этом значимость обучения очевидна не только для СО НКО, но и для представителей федеральной и региональных общественных палат, поскольку те, в соответствии с ФЗ «Об основах общественного контроля в Российской Федерации» вправе и будут осуществлять деятельность в сфере общественного контроля, а также - для органов государственной власти и местного самоуправления, разумеется, если они хотели бы осуществлять деятельность по поддержке СО НКО более эффективно.

Экспертно-аналитическая работа и практические задания, выполняемые слушателями в ходе обучения, способствуют формированию системы «обратной связи» для органов власти. Оценочная информация может оказаться весьма полезной для совершенствования системы управления общественными ресурсами, повышения эффективности такого управления, снижения коррупционных рисков, повышения доверия граждан к реализуемой государственной политике в социальной сфере. Что, собственно, и является основой технологии социального инвестирования, обеспечивающей позитивные социальные изменения и устойчивое социальное развитие.

Выступивший на встрече после основных докладчиков консультант Фонда Чарльза Стюарта Мотта Вячеслав Бахмин, в частности, отметил: «Обучение оценке проектов - чрезвычайно полезное начинание, так как уровень проектной культуры среди представителей НКО остается крайне низким. Но вдвойне важнее формулирование конкретных рекомендаций для Минэкономразвития России, и есть надежда, что критерии, которые искажают картину конкурса, будут изменены».

Эксперт-аналитик Филиала некоммерческой организации «Эволюшн энд Филантропи» Олег Казаков высказал сомнение в необходимости специальной профессиональной подготовки оценщиков, так как, с его точки зрения, такими навыками должен обладать любой грамотный управленец.

Мнение же подавляющего большинства аудитории выразила главный научный сотрудник Института социологии РАН Ирина Гаврилова: «Думаю, что оценке социальных проектов обязательно надо учить, и учить все слои общества - как управленцев, так и сотрудников НКО. Конечно, мы понимаем, что это сложная и объемная задача, у нас в стране очень не хватает оценщиков. В общении с коллегами часто выясняется, что оценка проектов проводится «на глазок», многими методиками специалисты не владеют, и им просто негде этому научиться. Как специалист, который не обучался оценке, но ее проводит, я понимаю, что мне еще очень многому надо учиться. И я рада выходу учебного пособия и, будучи доктором наук, обязательно буду изучать эту методику, чтобы использовать ее в своей работе».

Татьяна Богословская, Нодари Хананашвили, специально для новостной службы портала ВШЭ

А.А. Широбокова

О.В. Кривощекова

С.В. Уралова

Социальное проектирование

Часть II

Экспертиза социальных проектов

Учебное пособие

Издательство

Иркутского государственного технического университета

Рецензент: начальник управления Губернатора Иркутской области по связям с общественностью и национальным отношениям

Социальное проектирование. Ч. II. Экспертиза социальных проектов: учеб. пособие. – Иркутск: Изд-во ИрГТУ, 2007. – 90с.

Учебное пособие содержит теоретический и практический опыт экспертизы социальных проектов. Представленные в учебном пособии методические материалы содержат теоретические знания о методах оценки и способах ее применения в процессе социального проектирования. Дается представление мониторинга и оценки социальных проектов как социальной технологии. В пособии также представлены процедуры отбора заявок, образцы официальных документов, используемых для оценки заявок, порядок работы экспертов.

Учебное пособие является второй книгой из общей серии: социальное проектирование. Серия представлена четырьмя книгами.

Предназначено для организаторов и участников конкурсов, преподавателей, студентов, контролирующих органов и всех заинтересованных в тематике проведения грантовых конкурсов, общественного и иного контроля за ними.

Книга издана при поддержке Губернского собрания общественности Иркутской области

ISBN 978-5-8038-0482-6 © Широбокова А.А., Уралова С.В.,

Кривощекова О.В., 2007

© Байкальский региональный союз женщин «Ангара», 2007

© Иркутский государственный

технический университет, 2007

Предисловие

Содержание учебного пособия учитывает многолетнюю практику авторов в подготовке и реализации социальных проектов консультирования и экспертизы проектных заявок, преподавания специальных курсов, проведения тренингов по проблемам социального проектирования членам местных сообществ, в учебных заведениях, на специализированных курсах, курсах повышения квалификации государственных и муниципальных служащих и т.д. В пособии также учтен опыт международных и Российских экспертов по социальному проектированию, изложенный в различных изданиях, представленный на конференциях, форумах и пр.

Социальное проектирование является новым инструментом социальной политики России, механизмом социального партнерства, частия местных сообществ в социально-экономическом развитии своих территорий, высокоэффективным инструментом решения социальных проблем. Напряженной работы, ясного видения цели, организованности и желания изменить жизнь к лучшему часто бывает недостаточно, чтобы воплотить идеи преобразования. Как правило, недостающим звеном является финансирование. Поэтому все шире внедряется практика социального проектирования в реальную жизнь территорий не только через систему международных и российских Фондов, корпораций и т.д., но и через систему муниципальных, областных, региональных и общероссийских грантов, социальных заказов и пр.

Любой спонсор хочет знать, какой проект лучше всего отвечает условиям объявленного им конкурса, у какого грантозаявителя эффективнее конкретные результаты проекта. Именно поэтому он заказывает оценку проекта. И тогда возникает необходимость найти эксперта в области оценки проекта. Нужна оценка собственного проекта и грантзаявителю. Она поможет исправить возможные ошибки и избежать неудач на этапе реализации проекта. Надеемся, что рекомендации, содержащиеся в этом пособии, помогут нашим читателям получить знания в области оценки проектов и создадут условия для разработки и поддержки эффективных проектов.

Учебное пособие является второй частью из общей серии: социальное проектирование. Она предназначена для тех, кто хочет получить опыт экспертной оценки социальных проектов. В ней представлен теоретический и практический опыт экспертизы социальных проектов. Изложенные в ней материалы содержат теоретические знания о методах оценки и способах ее применения в процессе социального проектирования. Дается представление мониторинга и оценки социальных проектов как социальной технологии. В пособии также представлены процедуры отбора заявок, образцы официальных документов, используемых для оценки заявок, порядок работы экспертов.

Первая часть серии – «Социальное проектирование: пособие по составлению заявок на гранты» содержит практический опыт подготовки проектных заявок грантодателям, спонсорам, фондам и другим организациям, предоставляющим финансирование общественным и некоммерческим организациям, отдельным гражданам, инициативным группам граждан. Из нее читатель узнает, что такое социальное проектирование, какую роль играет оно в современной социальной политике, как писать проекты. Третья - «Активные методы обучения. Пособие для тренеров» предназначена для подготовки тренеров по социальному проектированию. В ней содержатся общие материалы по активным методам обучения, организации и проведению тренингов, методические разработки для проведения тренингов по социальному проектированию. В четвертой книге «Социальное проектирование: практический опыт» содержится положительный практический опыт социального проектирования общественных и некоммерческих организаций, граждан, инициативных групп граждан Иркутской области. В ней представлены проекты, получившие поддержку из различных источников финансирования.

Широко распространенная в последнее время форма привлечения ресурсов (материальных и кадровых) для решения социальных проблем различными зарубежными и отечественными фондами, а также органами власти различного уровня - от федерального до местного - грантовые конкурсы. Если есть конкурс, значит необходимо оценить проекты и выбрать те из них, которые наиболее эффективно и наименее затратно решают проблему. Кроме того, грантодателю не безразлично, каковы конкретные результаты проекта на определенный момент его реализации или по окончании проекта. Конечно, последнее можно увидеть по отчетам исполнителей проекта, но важно мнение и посторонних людей. Тогда спонсор заказывает оценку. И вот тогда для оценки проекта заказывают специалиста, который способен выполнить задачу эксперта в области оценки проекта.

Часто и самому исполнителю важно знать, как продвигается его проект, насколько он соответствует заявленным результатам. Своевременное выяснение этого позволит вовремя внести корректировки в реализацию проекта. Именно поэтому важно, чтобы среди исполнителей проекта был специалист, знакомый с оценкой проектной деятельности.

В данной книге рассматриваются различные аспекты оценки проектной деятельности. Вконце книги представлен библиографический список.

Экспертиза социальных проектов как форма оценки проектной деятельности

Почему грантовые конкурсы приобрели такую популярность в решении социально–экономических и гражданских проблем?

Грантовые конкурсы показали себя как наиболее эффективная форма распределения средств для решения этих проблем: финансирование проектов на конкурсной основе стимулирует привлечение дополнительных ресурсов самими организациями -участниками конкурсов в виде собственных материальных и профессиональных ресурсов, безвозмездной деятельности добровольцев. Как правило, одну треть от вложенных донором средств организация-грантополучатель вкладывает или привлекает самостоятельно.

Конкурсное финансирование позволяет оценить эффективность вложенных средств, так как предусматривает мониторинг процесса реализации грантовых проектов и отчетность организаций-грантополучателей по результатам проектной деятельности.

Грантовые конкурсы позволяют привлекать большой круг участников и выбирать из них тех, кто сможет наиболее эффективно и наименее затратно решить социальную проблему в сообществе. Следовательно, конкурсы развивают здоровую конкурентную среду в некоммерческом секторе.

Применение конкурсных технологий позволяет снизить затраты инвестора до 15-20%. Таким образом, введение стимулирующих конкуренцию механизмов способно давать ощутимый экономический эффект.

В грантовых конкурсах применяется проектная логика. Она позволяет целостно видеть и решать проблемы, а также достигать долгосрочного результата и социального эффекта. Проектирование является также мощным стимулом для развития деятельности организации, подающей заявку на грант. Даже если заявка отклоняется: написание проекта предполагает в числе прочего анализ собственной деятельности, имеющихся в ней недостатков и возможных путей усовершенствования. Таким образом, участие в грантовых конкурсах побуждает организацию постоянно совершенствоваться, стремиться к большей эффективности, к достижению долгосрочных, устойчивых результатов.

Грантовые конкурсы также способствуют развитию рынка социальных услуг, формируя последние в процессе осуществления проектной деятельности. Цель любого грантового конкурса такова: есть проблема, нуждающаяся в решении, и все проектные заявки, поданные на конкурс, предлагают разные варианты ее решения. Эти решения осуществляются, и наиболее эффективные закрепляются в виде услуг, для которых изыскиваются другие, регулярные источники финансирования. В результате появляются и закрепляются новые услуги, службы, модели, технологии по работе с целевыми группами, которые можно воспроизводить и тиражировать.

Грантовые конкурсы имеют широкий общественный резонанс, так как выполняемые социальные проекты являются интересным информационным поводом для СМИ, и жители территории начинают оптимистично смотреть на решение социальных проблем, что способствует формированию положительного общественного мнения.

Отдельно стоит выделить грантовые конкурсы, которые проводятся на бюджетные деньги органами власти разных уровней. Безусловно, это положительное явление. Используя все вышеперечисленные факторы эффективности конкурсов, органы власти, таким образом, выстраивают еще и конструктивное взаимодействие с гражданскими институтами.

В последнее время также распространяется практика проведения грантовых конкурсов на основе консолидированного бюджета, когда конкурсный фонд складывается из разных источников: какого-либо фонда, спонсорских вкладов, администрации. В таких конкурсах не только увеличивается конкурсный фонд, но и объединяются ресурсы (финансовые, профессиональные, методические, организационные, ресурсы влияния и т.д.) разных организаций для решения социальной проблемы.

Особое место занимают грантовые конкурсы при реализации механизмов социальной ответственности бизнеса. Именно они позволяют бизнес-сообществу эффективно вкладывать свои средства в развитие местных сообществ.

Если есть конкурс, значит необходимо оценить проекты и выбрать те из них, которые наиболее эффективно и наименее затратно решают проблему. И здесь возникает потребность в экспертах, способных грамотно провести оценку предложенных в проекте решений. Грантодателю также не безразлично, каковы конкретные результаты проекта на определенный момент его реализации или по окончании проекта. И здесь опять требуется специалист–эксперт в области оценки проекта.

Оценка – особый процесс, требующий специальных знаний. Именно поэтому сейчас все больше внимания уделяется подготовке специалистов по оценке вообще и в социальной сфере в частности. При этом важно отметить, что среди методов и приемов оценки есть и такие, которые могут быть достаточно легко освоены практиками и использоваться для экспертизы социальных проектов на определенных этапах его развития.

Проектная деятельность имеет определенную продолжительность, этапы своего развития. И на каждом этапе жизненного цикла проекта возникает необходимость оценки (*):

- Идея --* --Разработка --** --Вы -* -полне -* -ние --*--Воздействие --*

Поэтому существуют разные виды оценок. Каждый этап накладывает свои особенности на тот вид оценки, которая осуществляется на этом этапе. В данном учебном пособии особое внимание уделяется оценке, которая проводится до начала выполнения проекта, после его разработки и до утверждения финансирования спонсором. До утверждения проекта обычно проводится специальная оценка, которая называется экспертиза (**) . Делается заключение, в котором сопоставляются возможные результаты проекта и возможные затраты по его реализации. Выясняется соответствие проекта условиям спонсора. Более того, именно экспертиза определяет возможность эффективной оценки на последующих этапах проектной работы, так как на этапе экспертизы оцениваются базовые условия проектной деятельности. Для того чтобы контролировать ход проекта и достижение запланированного эффекта, обеспечивать условия для оценки проектной деятельности, при разработке проекта и оформлении проекта, как минимум, необходимо:

Оценить исходную ситуацию, на изменение которой проект будет направлен;

Определить, какие изменения исполнители проекта хотели бы получить «на выходе» - то есть после завершения проекта;

Разработать комплекс мероприятий, которые могли бы, по замыслу авторов, обеспечить такие изменения;

Сформировать систему отслеживания и оценки таких изменений.

О том, как это достигается, показано в I части учебного пособия по социальному проектированию - «Пособие по составлению заявок на гранты».

Виды оценки

Что такое оценка проектов

У разных людей могут быть самые разные представления, что такое оценка. Академический словарь русского языка дает такие определения:

Оценка – действие, направленное на формирование мнения, суждения о качестве, достоинстве, значении и т.п. чего-либо;

Оценивать – изучать и выносить взвешенное суждение.

Значение термина «оценка» со временем расширилось. Основные изменения произошли в течение последних 30 лет. Это связано с тем, что в мире резко возросло число социально ориентированных проектов и программ, направленных на позитивные изменения в различных областях жизнедеятельности (защита окружающей среды, образование, права женщин, поддержка людей с ограниченными возможностями и пр.). И в этом случае оценка приобретает расширенное значение. Именно поэтому ряд экспертов в области оценки привнесли в него новый аспект – цель оценки. Так, например, Кэрол Вайс (Carol Weiss) определила цель оценки как измерение результатов программы и сопоставление их с задачами, которые эта программа должна решать. Она определила оценку как одно из средств содействия последующему принятию решения относительно программы, а также улучшения процесса разработки программ в будущем. Систематический анализ результатов каждого проекта позволяет определить следующее:

Какие программы работали хорошо и должны быть расширены;

Какие программы не удались и должны быть прекращены;

Какие программы требуют модификации по различным причинам.

Особенностью такого похода к оценке является не только необходимость наличия цели оценки, но важна обратная связь – поступление информации к менеджерам, которые на ее основании должны принимать решения о будущем развитии или закрытии программы (проекта). При этом, как отмечает Роберт Стейк (Robert Stakе), оценка может иметь много различных целей. Вопросы оценки отражают различные цели и информационные потребности аудитории. При официально проводимой оценке лишь нескольким вопросам может быть уделено первостепенное внимание.

Исторически сложилось так, что основными потребителями оценки были те, кто оценку финансировал. Именно они формулировали вопросы оценки. Сегодня этот акцент начал смещаться. Общество начало осознавать, что существуют различные группы, которые имеют законное право или определенные потребности на информированность о результатах деятельности проектов (программ). Питер Росси (Peter H. Rossi) и Говард Фримен (Howard E. Freeman) указывают, что эксперты по оценке должны уметь понимать точки зрения всех заинтересованных сторон и учитывать их при планировании и проведении оценки.

Оценка и жизненный цикл проекта

Проект – это всегда гипотеза. С той или иной степенью уверенности предполагается, что разработанные в проекте действия приведут к ожидаемому результату. Множество факторов – как внутри организации, так и вне ее – оказывают влияние на эффективность деятельности по проекту. Необходимы специальные инструменты, позволяющие оценить эти влияния. Во многих странах мира для этих целей используются такие инструменты, как мониторинг и оценка проектов .

Оценка позволяет сформировать мнение, суждение о качестве, достоинстве, значении и т.п. проекта и его результатов. Задача эксперта в том и состоит, чтобы изучить и вынести взвешенное суждение о проекте или его реальных результатах.

Мониторинг - текущий контроль за результатами работы. Он позволяет определить, все ли запланированные мероприятия проведены? Во время ли? Охвачено ли запланированное количество участников проекта? Расходовались ли средства согласно бюджету? И т.д.

Проект – это развивающийся процесс, имеющий разные жизненные циклы (этапы), и на каждом этапе располагаются разные виды оценки. Связь этапов и видов оценок проектной деятельности представлена на схеме 2.

Идея--разработка--одобрение--выполнение--завершение--последействие

оценка экспертиза мониторинг оценка оценка

ситуации результатов воздействия

Оценка ситуации проводится до разработки проекта (заявки на конкурс), программы. Эту работу разработчики проекта должны выполнить до начала подготовки проекта, после того, как у них появилась идея написать проект. Как правило, этот этап оценки опускают. Данная проблема обсуждалась в части I книги «Социальное проектирование: пособие по составлению заявок на гранты» (глава 1.3. Пять циклов управления проектом).

Опираются на опыт коллег в других регионах;

Реализуют давнюю идею;

Готовят заявку, потому что объявлен конкурс, и тема попадает в сферу интересов деятельности организации;

Не имеют навыков оценки ситуации.

Однако сегодня именно этот вид оценки, часто включаемый отдельным разделом заявки, становится значимым при конкурсном отборе проектов. Поэтому задача эксперта - уметь оценить, насколько проработан этот вопрос в заявленном проекте. Ведь именно оценка ситуации позволяет:

Точно определять, в чем заключается проблема;

Выявлять соответствие деятельности представленным в проекте ресурсам (возможностям), миссии, целям и задачам;

Определять инвестиционную привлекательность проекта;

Видеть долгосрочность возможных результатов, перспектив проекта;

Формировать критерии эффективности;

Оценивать эффективность выбранной стратегии, реалистичность бюджета;
- оценивать квалификацию исполнителей;

Эффективно перераспределять ресурсы.

Существуют специальные методы, инструменты оценки, которые позволяют проводить оценку ситуации. Эти же инструменты используются и на других этапах оценки проектной деятельности. Более подробно эта тема рассматривается в главе 3 «Инструменты оценки» данного учебного пособия.

Экспертиза (предварительная оценка) . Эта оценка проводится на этапе одобрения проекта, при этом оценивается еще не реализованный проект. Проект, как предложение будущей работы. Экспертиза определяет качество проекта. Грантозаявитель, как правило, сталкивается с экспертизой, когда подает заявку на грант. В качестве экспертов грантодатель привлекает специалистов, имеющих опыт работы в оценке проектов и номинируемой сфере (социальной, гражданской, экономической и пр.). Эксперты читают заявки и определяют, стоит ли их поддерживать. В принципе, оценка может иметь много различных целей. Однако по большому счету, в данном случае экспертам необходимо ответить на два вопроса:

Может ли заявленный проект содействовать решению проблемы, которая является на данный момент приоритетом для того или иного донора;

Может ли этот проект быть реализован в данных условиях организацией-заявителем.

Эти вопросы включают в себя массу характеристик и критериев (достаточно ли качественно спланирован проект; имеет ли организация опыт в реализации проектов и сможет ли выполнить данный проект; обоснованы ли ресурсы проекта и т.д.). Важно отметить, что даже если организация не планирует представлять проект на грантовый конкурс, целесообразно провести его экспертизу. В качестве экспертов могут выступать коллеги, сотрудники организации. Сторонний взгляд опытного менеджера поможет заранее исправить возможные ошибки и избежать неудач на этапе реализации проекта.

В данном учебном пособии упор будет сделан именно на этом виде оценки. Однако без понимания общей картины оценочной деятельности эксперту сложно подготовить качественное и профессиональное заключение на заявку грантодателя.

Мониторинг является инструментом контроля, который позволяет отслеживать ход реализации проекта, степень достижения промежуточных результатов и вносить оперативные изменения с целью повышения эффективности проекта. Мониторинг проводится непрерывно, с определенной периодичностью или на заранее определенных этапах работы. Для его проведения необходимы объективные показатели, которые называют индикаторами. В главе 3.2. «Индикаторы» данного пособия это понятие будет рассмотрено подробнее.

Мониторинг, как инструмент контроля, чаще всего применяют сотрудники, реализующие проект. Грантодатель также может осуществлять мониторинг проекта, привлекая внешних оценщиков. Спонсор может включить в условия конкурса требование проведения мониторинга исполнителями проекта на определенных этапах его реализации. В последнем случае исполнитель проекта по результатам мониторинга готовит промежуточный отчет для грантодателя. Важно понимать, что результаты мониторинга так же важны для исполнителей проекта, как и для заказчиков мониторинга. Специалисты, осуществляющие мониторинг, выполняют эту работу для того, чтобы выявить сильные и слабые стороны проекта, помочь исполнителям скорректировать свои действия таким образом, чтобы проект был успешно реализован.

Использование мониторинга на этапе проекта обеспечивает возможность:

Скорректировать дальнейший ход проекта;

Выявить потенциальные проблемы реализации, установить их причины и своевременно решить их;

Определить уровень выполнения заявленных задач и спрогнозировать конечный результат;

Принять грамотные управленческие решения;

Обнаружить новые стороны проблемы;

Получить квалифицированные оценку и совет;

Проверить, насколько рационально используются ресурсы;

Выявить незапланированные результаты.

Ниже представлены базовые отличительные признаки мониторинга и оценки.

Таблица 1

Окончание табл. 1

Оценка результатов осуществляется в момент его окончания, при получении непосредственных результатов. Донор обязательно требует ее от грантополучателя в форме итогового отчета . Чтобы провести итоговую оценку, необходимо сравнить полученные результаты с заявленной моделью проекта. И вновь важное место отводится такому инструменту оценки, как индикатор. Как правило, грантодатель требует не только констатации достигнутых количественных и качественных показателей, но и дать оценку тому, как и почему это произошло. Таким образом, на данном этапе проектной деятельности оценка – это анализ и интерпретация фактов для того, чтобы сформулировать рекомендации для будущих программ и заявок.

Использование оценки на конечном этапе реализации проекта позволяет:

Понять, достигнуты ли цели проекта;

Извлечь уроки на будущее;

Лучше понять проблему;

Оценить персонал проекта;

Скорректировать стратегию на будущее;

Лучше понять сильные и слабые стороны проекта, цели и задачи;

Продолжить или повторить проект на лучшем уровне;

Поставить вопрос о дальнейшем финансировании;

Минимизировать риски.

Оценка долгосрочного воздействия (эффект проекта, оценка влияния). Она направлена на оценку изменений в проблеме/ ситуации в связи с реализацией проекта. В ходе подобной оценки обычно анализируются все (или почти все) изменения, вызванные проектом, и то, насколько они стабильны, то есть сохраняются ли изменения без дальнейшего воздействия со стороны проекта. Как правило, эффект проекта очень трудно планировать. Более того, его сложно оценить непосредственно после окончания проекта. Но проект можно считать действительно эффективным, если непосредственные результаты оказывают влияние на ситуацию в социуме. Фактически эффект проекта - это степень успешности проекта с точки зрения достижения цели. Но если авторы проекта не представляли себе достаточно четко, какого изменения ситуации они хотели добиться, невозможно сказать, после того как проект был завершен, удалось это или нет.

Часто параллельно с действиями исполнителей проекта реализуются и другие действия (проекты, программы) по решению той же проблемы. Поэтому даже если точно известно, чего пытались достичь исполнители проекта через несколько месяцев после окончания проекта, когда ситуация в действительности изменяется, будет сложно с уверенностью сказать, насколько велика в этом заслуга проекта. И тогда оценка долгосрочного воздействия, оценка влияния может помочь в ответе на этот вопрос.

Нетрудно заметить, что описанные выше виды оценки перекликаются друг с другом. В частности, оценка воздействия - это не что иное, как оценка ситуации с точки зрения того, как она изменилась после реализации проекта. Следовательно, эти два вида оценки - оценка ситуации и оценка воздействия должны использовать одинаковые инструменты оценки, иначе будет невозможно сравнить полученные результаты и понять, что именно изменилось.

Оценка деятельности организации и оценка проекта

В зависимости от того, что является объектом оценки, можно говорить об оценке деятельности организации и оценке проекта. Далее мы будем говорить об оценке проектов, но важно понимать, что и оценка деятельности организации может использовать методы и приемы, представленные в данной книге. Важно только понять, зачем нужна оценка деятельности организации.

С точки зрения самой организации она нужна потому, что:

· проводя оценку, эксперты углубятся в анализ деятельности организации; обратят внимание, как на успехи, так и на неудачи, то есть приблизятся к тому, чтобы в целом увидеть деятельность организации;

· эксперты смотрят на организацию как бы со стороны и имеют шанс избежать эффекта «замыленного глаза», отвлечься от повседневной «текучки» и стать более объективными по отношению к своей организации;

· сотрудники, добровольцы и получатели услуг (клиенты, подопечные) организации получат зримое подтверждение того, что организация работает на результат, на выполнение своих целей и задач, своей миссии;

· появляется возможность найти так называемые точки роста, моменты, оказывающие решающее влияние на качество и эффективность работы организации. В дальнейшем, воздействуя именно на эти точки, можно добиться существенных положительных изменений, тем самым сэкономив силы, время и ресурсы организации;

· оценка даст повод задуматься о стандартах качества, к которым следует стремиться организации.

С точки зрения среды, в которой действует организаци я:

· пользуясь результатами оценки, организация достаточно определенно может ответить на вопрос, насколько хорошо она работает;

· в переговорах со своими потенциальными донорами специалисты смогут привести факты и сравнительные характеристики, которые помогут понять, что же представляет собой заявитель как организация и насколько эта организация эффективно работает;

· периодическое проведение оценок делает организацию более привлекательным, более надежным партнером;

· некоторые типы доноров (например, грантодающие организации) требуют включать такой эта, как оценка деятельности организации в заявку на финансирование того или иного проекта.

Так или иначе, оценка помогает увидеть реальное положение дел в организации, определить пути закрепления успехов и исправления недостатков.

Внешняя и внутренняя оценка

Внешняя оценка проводится приглашеннымспециалистом. При этом важно, чтобы он не только не работал в организации, но и не был связан с ней отношениями, которые можно расценить как конфликт интересов. Например, такой специалист не должен быть:

Прямым родственником кого-либо из руководителей организации;

Одним из тех, кто получает от нее помощь;

Участником этой же программы, конкурса грантов.

Внешнюю оценку, проводимую приглашенным экспертом, еще называют независимой оценкой.

Есть несколько причин, по которым спонсоры, грантозаявители обращаются с просьбой о проведении оценки в ходе реализации проекта:

Отсутствие у них хороших информационных систем;

Имеющиеся у них информационные системы отвечают на вопрос "что происходит", но не отвечают на вопрос "почему";

Эксперты в области оценки обучены анализировать полную картину и видеть, каким образом элементы соотносятся друг с другом, - в то время как другие специалисты могут анализировать лишь часть общей картины;

У экспертов по оценке есть время для того, чтобы пообщаться с благополучателями проекта и задать вопросы, которые у сотрудников проекта могут и не возникнуть.

Внутренняя оценка , или самооценка, осуществляется теми же самыми людьми, которые работают в организации. Это проще и сложнее одновременно, потому что, с одной стороны, кто же знает организацию лучше, чем ее сотрудники, а с другой – проведение такой оценки потребует дополнительных усилий, а иногда и мужества, чтобы «подняться над ситуацией» и быть действительно объективными.

Что может быть проанализировано в ходе оценки

Все, что имеет отношение к проекту, может стать объектом оценки. Если же говорить о наиболее часто встречающихся моментах, которые подвергаются оценке, и о вопросах, которые при этом ставятся, то это, как правило:

финансовая эффективность проекта

Насколько приемлемо соотношение ресурсов, вовлеченных в проект (в целом и/или для осуществления отдельных этапов), и его результатов;

Можно ли добиться удешевления подобных проектов в будущем, сохранив то же качество и тот же объем результатов;

эффективность управления проектом

Соответствует ли выбранная схема управления типу проекта и осуществляемым видам деятельности;

Способствовала ли она успешной реализации проекта;

Достаточно ли гибко руководители проекта реагировали на изменения, влиявшие на ход проекта;

Насколько правильными (ошибочными) были принимаемые решения;

методология проекта

Все ли методы привели к достижению заявленных результатов;

Какие методы оказались наиболее (наименее) эффективными;

устойчивость проекта

Будет ли работать этот проект при его повторении в другом месте;

Сохранил ли проект актуальность, соответствует ли он текущему моменту;

Будет ли жизнеспособен проект после завершения его специального финансирования (как правило, этот вопрос особенно волнует фонды);

полнота решения проблемы или удовлетворения потребности

В какой мере проектом решена заявленная проблема;

Можно ли говорить о том, что проблема решена кардинально, то есть не появится вновь;

Достаточно ли полно удовлетворены потребности клиентов проекта (целевой группы, на которую направлен проект).

Инструменты оценки

Как осуществляются оценки

Независимо от вида оценки, существует определенный инструментарий, используемый экспертами и разработчиками проектов и программ. На разных этапах жизненного цикла проекта, в зависимости от цели оценки, используется различный инструментарий. Среди наиболее часто используемых инструментов оценки, особенно на этапах оценки ситуации и оценки долгосрочного воздействия, можно выделить следующие: анкетирование, опрос, наблюдение, интервьюирование, беседа, анализ прессы, анализ законодательства, анализ текстов (устных/письменных), SWQT-анализ, профиль сообщества/клиента и другие.

Каждый инструмент требует определенных навыков и знаний его использования. Рассмотрим общее представление о некоторых из них.

Анкетирование - это письменный опрос. Виды анкетирования могут быть зондажные или экспресс-опросы. В анкете содержится несколько пунктов основной информации, демографические характеристики опрашиваемых, другие обходимые для каждого конкретного случая характеристики. Формы проведения анкетирования могут быть разные:

Через прессу - удобно, но очень трудно получить заполненные анкеты от респондентов;

Телефонные или по почте (ожидается возвращение анкеты по почте по заранее оплачиваемому переводу);

На месте (анкетер сам собирает заполненные анкеты); раздаточное (по месту жительства, работы);

Групповое - до 40 человек, которых анкетер инструктирует и оставляет заполнять анкеты);

Индивидуализированные (индивидуально к респонденту) и пр.

Опрос - метод сбора первичной информации (совокупность вопросов, предлагаемых респонденту, ответы которого образуют необходимую информацию). Опрос - практически универсальный метод, но необходимо знать: кого спрашивать; о чем спрашивать; как спрашивать; где спрашивать; как обработать полученные данные; каким образом убедиться, что можно верить полученным ответам.
Вопросы могут быть: прямые / косвенные; открытые / закрытые / полузакрытые; личные / безличные; основные / контрольные; вопросы-«крючки» (чтобы поддержать интерес) / вопросы-«ловушки» / вопросы-
«фильтры». Опросы требуют привлечения большого количества людей, они затратны по времени, по финансам, а полученные данные требуют обработки и интерпретации.

Интервьюирование - это непосредственный, устный опрос (беседа, проводимая по определенному плану). Интервью бывает:

Свободное - длительная беседа без строгой детализации вопросов, но по общей программе;

Стандартизированное/формализованное - детальная разработка всей процедуры опроса, последовательности и конструкции вопросов (отклонения в формулировке вопросов и порядке их задавания не допускаются);

Полустандартизированное (допускаются уточняющие вопросы);

Нарративное - направляемый интервьюером свободный рассказ, подлежащий качественному анализу;

Ненаправленное – беседа, при которой инициатива практически полностью принадлежит респонденту;

Групповое;

Индивидуальное.

Наблюдение - качественный метод сбора первичной информации, основанный на индивидуальном восприятии. Этот метод хорош в совокупности с другими методами, так как он не всегда дает достаточный объем информации. Кроме того, наблюдение весьма субъективно, и данные, полученные при помощи наблюдения, требуют подтверждения.

Анализ прессы/ анализ законодательства/ анализ текстов . Несмотря на кажущуюся простоту, этот метод чрезвычайно трудоемкий и требует профессионального подхода. Впрочем, он достаточно дешев, но требует много времени. В результате использования этого метода возможно получить качественную, глубокую информацию, которую нужно будет затем верно интерпретировать.

SWOT-анализ . Этот подход широко используется во всем мире и является эффективным инструментом для начала работ над стратегическим планом или большим проектом, когда необходимы серьезные усилия разработчиков для эффективного решения поставленных задач. Используется он и для планирования развития организации, анализа новой идеи и пр. SWOT – это абривиатура:

«S» - означает преимущества, «W» - слабости организации (проекта, плана, идеи). Эти две характеристики описывают видение организации (проекта, плана, идеи) в настоящий момент.

«О» - это возможности, которые могут появиться, «Т» - угрозы, с которыми придется столкнуться. Используя схему SWOT-анализа, определяют, что можно сделать, чтобы преодолеть слабости. Проанализировав природу преимуществ, намечают мероприятия по их укреплению. Поняв угрозы, разрабатывают мероприятия по их минимизации или преобразованию в возможности и потенциально сильные стороны.

Фокус-группа - это групповое интервью. Модератор, т.е. человек, проводящий беседу, пишет заранее сценарий обсуждения, чтобы сфокусировать дискуссию на нужных проблемах. Фокус-группа интересна еще и тем для организаторов оценки, что в ней происходит активный обмен мнениями между людьми, отношение которых к данной проблеме требуется узнать. Полезно использовать фокус-группу и тогда, когда обмен мнениями между участниками может привести к более глубокому пониманию ими не только точки зрения участников, но и проблемы в целом. Например, в процессе работы в фокус-группе, возможно узнать, воспримут ли руководители общественных организаций, работающих по проблеме насилия, идею объединиться в коалицию, какие препятствия есть на этом пути. Если опросить группу руководителей и каждый из них услышит мнение других участников, руководители смогут более глубоко продумать идею и возможности ее использования для себя, а значит и процесс создания коалиции пройдет более успешно. Более того, в процессе опроса будут определены базовые технологии создания и развития коалиции.

Профиль сообщества - содержит информацию о местном населении и используется для определения потребностей местного сообщества. Его называют также «социальным паспортом». Профиль сообщества позволяет:

Получить нужную информацию для определения необходимых услуг и уровня их предоставления;

Определить целевые группы потенциальных получателей услуг;

Дать ясное понимание о людях, с которыми надо будет работать в процессе реализации услуг;

Дать качественную оценку ситуации;

Аргументировать цели и задачи проекта, социального решения;

Выбрать эффективную систему показателей, характеризующих изменение ситуации в результате реализации проекта (плана);

Обеспечить новые возможности для ведения социальной политики в местном сообществе.

Несомненно, серьезным вопросом при использовании этих инструментов становится вопрос получения достоверной информации, особенно при проведении достаточно сложных видов оценки на этапах оценки ситуации и оценки влияния. Конечно, эксперты-профессионалы без проблем смогут это сделать, но если нет возможности их привлечь, можно использовать следующие источники информации: статистика (официальная/неофициальная); слухи; официальные запросы; разного рода базы данных; СМИ; Интернет и др. Не все источники информации являются достоверными, поэтому необходимо проверять данные, прежде чем интерпретировать их.

Индикаторы

Выше уже отмечалось, что оценка позволяет сформировать мнение, суждение о качестве, достоинстве, значении, результатах и т.п. проекта (плана, программы, организации). Очевидно, для того чтобы провести оценку, необходимы некие критерии, при помощи которых возможно определить, хорошо ли выполняется или выполнен проект (программа, план), хорошо ли работает организация, способен ли заявленный проект изменить ситуацию к лучшему по заявленной проблеме, оценить успех. Критериями выступают так называемые индикаторы (показатели) эффективности деятельности. Для более точного уяснения достаточно сложного понятия «индикатор» обратимся к примеру. Какой индикатор позволяет с точной уверенностью сказать, что человек имеет нормальную температуру? Это термометр. Термометр - это достоверный, нейтральный, практичный, недвусмысленный, надежный индикатор, который позволяет точно установить температуру тела. Какие индикаторы позволяют судить о здоровье человека? Температура, давление, пульс, цвет кожных покровов. Известны базовые значения этих индикаторов, которые можно измерить. В социальной сфере определение индикаторов – не такое простое дело. Тем не менее, и здесь всегда можно найти простой способ измерить результаты деятельности.

Измерение – это процесс преобразования/уточнения информации.

Необходимые условия для организации этого процесса:

Определение того, что именно (какой параметр) будет измеряться;

Согласованное и понятное определение измеряемого параметра;

Наличие адекватных инструментов для перевода неколичественных данных в количественные.

Измерение должно обеспечить: достоверность, надежность адекватность, точность собираемой информации.

Хороший индикатор должен обладать следующими характеристиками:

Измеряемость. Индикатор поддается количественному измерению в любой определенный момент времени;

Ориентированность на результат. Индикатор характеризует результат, а не процесс, в ходе которого этот результат получен;

Достоверность. Индикатор на самом деле оценивает именно то, что необходимо оценить. Это истинный показатель для оценки предполагаемого результата;

Надежность. Индикатор даст тот же самый результат при повторном применении - на следующий день или год спустя - будет ли его оценивать тот же самый человек или кто-то другой. Процесс измерения может быть повторен. Любые изменения в ответах происходят в силу изменений в измеряемом предмете, а не в инструменте измерения;

Нейтральность. Индикатор "объективен", а не "субъективен". Как сторонник, так и скептически относящийся человек примут ответ, полученный в результате оценки, как правильный;

Недвусмысленность. Индикатор имеет четкое, одинаково понятное любому определение;

Практичность. Индикатор практичен в том смысле, что он экономически доступен, т.е. не требует много затрат для его применения и позволяет действительно провести оценку.

Таким образом, при определении индикатора важно ясно и четко определить базовые составляющие индикатора: определение (формулировка понятия/параметра таким образом, чтобы его можно было сосчитать); источник информации; периодичность; точка отсчета; целевое значение; единица измерения.

Так, например:

Востребованность ресурсного центра можно измерять количеством клиентов; количеством заявок, на ту или иную консультацию и т.д.;

Эффективность семинара по написанию заявки на грант можно ценить при помощи количества заявок, поступивших на конкурс; качества проектов, поданных на конкурс (при помощи среднего балла, набранного участниками семинара при проведении теста проверки) и пр.

Для более полного уяснения понятия «индикатор», в Приложении 1 пособия представлены индикаторы Целей Тысячелетия, выработанные ООН на Саммите Тысячелетия и гендерные индикаторы, определяющие гендерное развитие по каждой Цели Тысячелетия.

Иногда эксперт или разработчик обнаруживает, что для показателей, которые он хочет измерить, нет "мерных линеек". Задачи проекта, которые сосредоточены на качестве результата или на отношении людей к новой услуге, - это задачи, для которых может не быть удобного "индикатора". При возникновении таких ситуаций нужно уметь создать соответствующие "измерители". Наиболее обычным видом "измерителя", который создают разработчики проектов и эксперты в области оценки, когда им нужны новые "измерители», являются шкалы, или рейтинговые шкалы. Например:

Качество тренингов, проведенных в рамках проекта, может быть оценено как: наивысшее, хорошее, среднее, ниже среднего, некачественное;

Отношение к новой услуге в области здравоохранения:

очень удовлетворен, удовлетворен, не знаю, не удовлетворен, крайне не удовлетворен.

Подсчитав количество участников, определивших результаты деятельности проекта в соответствии с рейтинговой школой, можно дать количественную оценку качества результата или отношения людей к новой услуге

Похожая информация.