Позитивные изменения, Том 3 №1, 2023. Positive changes. Volume 3, Issue 1 (2023) [Редакция журнала «Позитивные изменения»] (fb2) читать онлайн

Редакция журнала "Позитивные изменения" Позитивные изменения, Том 3 №1, 2023. Positive changes. Volume 3, Issue 1 (2023)

От редакции

Когда заходит речь об оценке социального воздействия проектов и программ – в бизнесе или некоммерческом секторе – возникает вопрос о том, кто же те «судьи», готовые определить, какой проект действительно меняет этот мир, а какой дает ложные надежды на такие изменения. И что это должны быть за специалисты, если им удается находить ответы на такие сложные вопросы?

Сфера оценки социальных проектов и программ в разных ее проявлениях – в виде экспертной или эмпирической, оценки непосредственных результатов или оценки импакта, основанной на выявлении причинно-следственных связей или определении вклада проекта в изменение жизни благополучателей, и многих других – объединяет широкий круг специалистов. Наборы диагностических инструментов таких специалистов часто индивидуальны и сильно отличаются: от «разговора по душам» до сложных методов эконометрического моделирования. Да и названия у этих специалистов тоже разные – это аналитики, социологи, психологи, методисты, независимые консультанты и многие другие. Объединяет это сложноорганизованное сообщество идея того, что «проектная рефлексия», направленная на вынесение суждений об эффективности, устойчивости и адекватности проекта или программы, является важным элементом в реализации проектной деятельности, способным значимо ее улучшить.

Обсуждению вопросов, связанных с такой важной, интересной, и еще только зарождающейся областью профессиональной деятельности – оценки социальных проектов и программ – посвящен первый выпуск 2023 года журнала «Позитивные изменения». Мы пригласили ведущих российских и зарубежных экспертов к обсуждению широкого спектра вопросов – о методах, видах оценки, об импакте самой профессии, а также о том, является ли вообще оценка проектов и программ областью профессиональной деятельности.

Нам кажется, что оценка – это во многом про осознанность и ответственность. Если даже взмах крыла бабочки способен вызвать изменения на соседних континентах, что уж говорить о целенаправленной деятельности. Оценка – про то, что ты всегда включен в систему отношений с людьми и природой и влияешь на нее, вплоть до масштабов всей планеты. И каждый человек, а тем более проектная команда, способны внести позитивные изменения в жизни не только благополучателей, но и сообществ, а также общества и мира в целом.

From the Editor

When it comes to evaluating the social impact of projects and programs – be it in a commercial company or in the non-profit sector – one wonders who the “judges” are that are there to determine which project is truly changing the world and which one is merely providing false hope for such change. And what kind of training do they have to receive, to be able to find answers to such difficult questions?

The field of evaluation of social projects and programs, in its various manifestations – in the form of expert or empirical review, direct evaluation of the results or impact evaluation based on identifying causal relationships or determining the project’s contribution to changing the beneficiaries’ lives, and many others – brings together a wide range of specialists. These specialists often have highly customized and very diverse diagnostic toolkits: from informal “heart-to-heart” conversations to complex econometric modeling methods. These specialists also come under different names: analysts, sociologists, psychologists, methodologists, independent consultants, and many others. What unites this complexly organized community is the idea of “project reflection”, that is, making judgments about the effectiveness, sustainability, and adequacy of a project or program, which makes it an important element in implementing project activities, one that can meaningfully improve them.

The first issue of the Positive Changes Journal in 2023 is devoted to the discussion of issues related to an important, interesting, and still nascent area of professional activity – evaluation of social projects and programs. We invited leading Russian and foreign experts to talk on a wide range of questions – about methods, types of evaluation, the impact of the profession itself, and whether project and program evaluation is even an actual area of professional activity.

It seems to us that evaluation is largely about awareness and responsibility. Even the flutter of a butterfly's wings can ultimately cause a typhoon halfway around the world, let alone targeted activity. Evaluation is about being permanently included in the relations with people and nature and influencing it, up to the scale of the whole planet. And every person, more so a project team, can bring a positive change not only in the lives of the beneficiaries, but also in the lives of communities, the society and the entire world.

Гость номера / Special Guest

«Если ты используешь оценку, то принимаешь решения лучше и помогаешь людям больше». Интервью с Майклом Пэттоном

Наталья Гладких

DOI 10.55140/2782–5817–2023–3–1–4–15

Майкл Куинн Пэттон – один из наиболее известных экспертов в мире в области оценки проектов и программ^[1]. В этой сфере он работает с 1970-х годов, когда оценка в некоммерческом секторе была относительно новым явлением. Доктор Пэттон – автор известных концепций оценки, которые используют специалисты по всему миру, обладатель нескольких международных премий за выдающийся вклад в развитие этой области, автор 18 книг по различным вопросам практического использования оценки^[2]. В интервью главному редактору журнала Майкл Пэттон рассказал о взглядах на профессию оценщика^[3], импакте профессии, трендах развития сферы оценки, «золотом стандарте» методологии проведения оценки, а также о том, какое будущее ждет эту сферу.

Майкл Пэттон

Наталья Гладких

к. психол. н., ведущий эксперт Института социально-экономического проектирования НИУ ВШЭ

Какие наиболее значимые изменения в сфере оценки проектов и программ вы можете отметить за свой долгий путь в профессии?

Я уже больше 50 лет в оценке. За эти годы данная сфера стала очень разнообразной. Подобно тому, как существует множество программ, существует множество видов оценки. И самая сложная задача – согласовать их между собой.

Изменилось ли за это время восприятие профессии специалиста по оценке проектов и программ?

Я надеюсь, что в общественном восприятии эта область стала более профессиональной, ведь сейчас существует более 100 национальных организаций, таких как сообщество оценщиков в России, Европейская ассоциация оценщиков и другие. У них есть стандарты, программы обучения, публикации. По нашим данным, в мире сейчас насчитывается около 75 000 специалистов по оценке программ. Конечно, все это говорит о том, что сфера профессионализируется.

А изменились ли требования к специалистам по оценке?

Каковы сейчас требования к профессиональным оценщикам?

В большинстве стран отсутствует сертификация специалистов по оценке. В Канаде существует программа сертификации через Канадское общество оценки. В Новой Зеландии и Японии есть ряд сертификационных программ. Американская ассоциация оценки не имеет официальной программы сертификации.

Проверять квалификацию и определять, обладает ли оценщик необходимыми навыками, приходится тем, кто нанимает оценщиков.

Если брать пример Канады, есть ли в этой стране программа высшего образования (например, магистратуры) или это сертификация профессиональной ассоциации? Каков процесс получения сертификата?

Канадское общество оценки организует тренинги. Люди участвуют в них, завершают обучение, представляют примеры сделанных ими работ по оценке. Получая сертификат Канадского общества оценки, они становятся так называемыми сертифицированными оценщиками.

Не существует «золотого стандарта» оценки. Главное – это адаптивность, уместность, соответствие потребностям конкретной программы.

По вашему мнению, какой вариант лучше – сертификация или отсутствие сертификации, когда заказчик решает, является ли конкретный оценщик наилучшим специалистом для этого конкретного проекта?

Я думаю, что иметь сертификат полезно, потому что это позволяет людям, которые не очень глубоко разбираются в оценке, понимать, что перед ними человек, прошедший подготовку. Однако область оценки в США и в Европе настолько разнообразна, что до сих пор не удалось прийти к общему пониманию, в чем заключаются азы профессии. В Канаде смогли договориться о базовых понятиях, которые оценщик обязан знать, поэтому там возможна сертификация оценщиков. Маловероятно, что это случится в США, потому что там эта сфера слишком разнообразна.

Поговорим о методологии оценки. Произошли ли какие-то изменения в этой сфере?

Конечно. Появился искусственный интеллект (ИИ), большие данные и их источники. Пандемия принесла с собой большие перемены: благодаря онлайн-ресурсам стало возможным проводить интервью и фокус-группы онлайн. По-новому стали использоваться спутниковые снимки. Например, благодаря спутникам теперь не нужно ехать куда-то в поля, чтобы проверить, используется ли там новая сельскохозяйственная техника. Если мы хотим узнать, сколько детей находится в школе в развивающейся стране, опять же можно использовать спутниковые снимки.

Дистанционный сбор данных, ИИ, big data, интернет, большее количество методик визуализации данных позволяют лучше коммуницировать. Стало проще распространять результаты оценки благодаря развитию интернета и социальным сетям, находить людей для интервью, следить за человеком в социальных сетях. Все эти технологические новинки проникают в сферу оценки.

Столько изменений и столько возможностей. Должен ли каждый специалист по оценке знать обо всех этих новинках? Каковы важнейшие качества хорошего оценщика и требования к нему, и можно ли говорить о «золотом стандарте» оценщика?

Как мне кажется, мы решили, что «золотым стандартом» является способность делать правильную оценку программы, соответствовать потребностям конкретной программы. Не существует методологического «золотого стандарта». Я не считаю, во всяком случае, что рандомизированные контролируемые исследования лучше других методик, потому что главное заключается в потребностях программы, и потому что такие явления, как пандемия, изменение климата, политическая нестабильность в мире, рост числа беженцев, голод и засуха, скорость изменения мира вокруг нас, рождают необходимость в таких подходах к оценке, которые могут быстро адаптироваться к новым условиям, подобно тому, что потребовала пандемия.

Должны меняться программы и должна меняться оценка. Не существует одного метода, который являлся бы «золотым стандартом». Главная задача и сложность – это адаптивность и уместность. Нужно понять, что необходимо для конкретной программы в конкретный момент времени.

Если, например, оценка предполагает использование продвинутого социологического инструментария, а у меня как оценщика таких знаний, предположим, нет, я ведь не смогу провести оценку на должном уровне?

Именно так. Отчасти поэтому так важны профессиональные ассоциации. Сегодня благодаря им, социальным сетям, нетворкингу можно найти кого-то, кто поможет тебе освоить эти методы. Сегодня множество оценок проводится коллективно, поэтому ни один оценщик не будет владеть всеми необходимыми методиками и навыками. Но если вы можете находить нужных людей через ассоциацию, интернет и соцсети, вы сможете найти оценщиков, обладающих этими навыками.

Можно ли сказать, что сегодня большинству клиентов требуется использование продвинутых методов социологического анализа?

Им необходимо иметь возможность получить обратную связь от благополучателей, если вы это имеете в виду под социологическим анализом. Программы должны иметь хорошие возможности для получения высококачественных реальных данных от участников программ, чтобы можно было выяснить, что происходит на самом деле. Возможно, самое важное и самое распространенное заключается в том, что оценщики получают прямую, независимую и настоящую обратную связь от целевых аудиторий, вовлеченных в программу – насколько хорошо работает эта программа, получают ли они помощь, что можно улучшить.

Для этого нужно быть хорошим интервьюером, уметь делать опросы, пользоваться соцсетями, получать данные напрямую от людей.

Вы профессиональный социолог. По вашему опыту, широко ли распространено среди оценщиков наличие социологического или психологического образования, профессиональное владение SPSS и аналогичными программами, или это на самом деле необязательно?

К счастью, существует дополнительная подготовка. Значительная часть моего социологического образования была очень академичной, и мне пришлось учиться оценке на практике. Когда я начинал, не существовало никаких курсов, никаких семинаров. Мне пришлось взять социологические методы интервьюирования и опросов и адаптировать их к оценке, психологам приходилось делать то же самое с тестами, а экономистам – с анализом экономической эффективности. Работа в оценке требует умения адаптировать эти академические исследовательские методики. Это ключевой навык.

Сегодня оценка – это не только методики, но еще и межличностные отношения. Оценщики должны уметь хорошо слушать, уметь работать с людьми, принадлежащими к разным культурам, хорошо коммуницировать, устанавливать связи, решать проблемы и управлять конфликтами.

Поговорим о так называемых «мягких навыках» («soft skills»). Действительно ли они важны для оценщика?

Это хороший вопрос. Американская ассоциация оценки закрепила набор компетенций, которыми должен обладать оценщик. Разумеется, там есть методологическая компетентность, управление проектами, знание профессионально-этических стандартов.

А есть еще межличностные компетенции. Оценщики должны уметь хорошо слушать, уметь работать с людьми, принадлежащими к разным культурам. Относиться к людям с уважением. Уметь устанавливать связи, хорошо коммуницировать, решать проблемы и управлять конфликтами.

Одна из моих последних книг посвящена соответствующим навыкам: как работать с заинтересованными лицами различных уровней. Это важное изменение, сегодня оценка – это не только методики, но еще и межличностные отношения.

В некоторых публикациях вы упоминали концепцию оценочного мышления, и вы предлагаете делиться этим типом мышления с рабочей группой проекта, с клиентом. Не угрожает ли это существованию профессии оценщика? Не станет ли оценка всего лишь управленческой функцией?

Я не думаю, что такая опасность существует. Вы очень хорошо описали ситуацию, но оценочное мышление в управлении означает лишь то, что у вас улучшается коммуникация, потому что вы говорите на одном языке. Люди понимают концепции логических моделей, теорий изменений, SMART-целей, различных видов оценки для различных целей, но для того, чтобы провести собственно оценку, необходим свежий взгляд, необходимы люди, которые могут посмотреть на вещи по-другому.

Когда люди действительно имеют оценочное мышление, то они начинают ценить наличие специалиста, который помогает им посмотреть на происходящее глазами человека со стороны. Это то, что я часто делаю. Как специалист по оценке, я помогаю управленцам и сотрудникам, и даже участникам, понять, как оценщики думают, как определить критерии, как интерпретировать данные, как делать выводы – но им все равно нужен оценщик, чтобы это было проще делать, необходима еще одна пара глаз, чтобы посмотреть на вещи с другой точки зрения. Помогать думать оценочно – это про улучшение коммуникаций и понимание происходящего.

То есть вы не считаете, что оценка станет лишь частью менеджмента, так как специалист по оценке имеет иные функции помимо того, что позволяет понимать, что происходит на самом деле.

Да. Оценщики также дают дополнительную точку зрения. Даже там, где есть внутренние оценщики в составе руководства, их задача – проводить оценку и обеспечивать наличие хороших данных и убедиться, что люди тратят время на их интерпретацию. Я считаю, что функция оценщика сохранится, но чем лучше менеджмент понимает оценку, тем лучше будет коммуникация и использование результатов оценки.

В статье «Будущее оценки программ», опубликованной в 2009 г., вы писали, что в следующие десятилетия будет активно обсуждаться «золотой стандарт» методик оценки. Можем ли мы говорить о существенных изменениях в ответе на этот вопрос сегодня? Или у нас все тот же лидер – рандомизированные контролируемые исследования?

Споры продолжаются, но становится все более ясно, что в быстро меняющемся мире нужны методики с быстрым оборотом, позволяющие получить реальные данные в режиме реального времени. Рандомизированные контролируемые исследования на самом деле не очень полезны в сложном, динамичном, быстро меняющемся мире. Они лучше всего работают в стабильной ситуации, когда имеются четкие фиксированные вмешательства.

В быстро меняющемся мире нужны методики с быстрым оборотом, позволяющие получить реальные данные в режиме реального времени и так же быстро предоставлять их людям.

Если вам нужно работать с темами пандемии, изменения климата или гражданских волнений, когда все быстро меняется, то рандомизированные контролируемые исследования не подходят, они слишком жестки и требуют слишком много времени.

Скорость изменений означает, что оценка должна позволять получать результаты быстро, в режиме реального времени, и так же быстро предоставлять их людям, которым надо принимать решения в условиях ограниченного времени.

Профессия оценщика меняется в ответ на происходящее вокруг, но и сами оценщики меняют мир. Что эта профессия, на ваш взгляд, уже дала миру?

Мне кажется, мы живем во времена, когда во всем мире идет битва между подходами, основанными на доказательствах, фактах и науке, и той частью мира, которая их игнорирует и лишь стремится продвигать идеологию. Оценка является частью таких всемирных данных. Оценка показала, что если ты пользуешься данными, то принимаешь решения лучше и помогаешь людям больше.

Мы видели, как это работает с людьми, отказывавшимися от вакцинации против COVID, не верящих данным о пандемии и вакцинации. В так называемом мире постправды или антинауки, где люди могут говорить что угодно, во что они верят, и считать, что это правда, оценщики помогают людям ценить важность доказательств, смотреть на реальность и работать с ней, а не с субъективными представлениями и убеждениями. В этом наш вклад.

Вы автор множества концепций оценки программ, используемых оценщиками по всему миру. Мы хотели бы обсудить некоторые из них. Первый вопрос касается концепции оценки с ориентацией на использование. В ней вы подчеркиваете роль клиента и его интерес, его желание участвовать в использовании результатов оценки. В настоящее время инвесторы социальных проектов и даже государство (как, например, в модели облигаций социального воздействия, SIB), часто становятся клиентами оценки. Они не вовлечены в сам проект, но являются ее заказчиками.

В так называемом мире постправды или антинауки оценщики помогают людям ценить важность доказательств, смотреть на реальность и работать с ней.

Возможно ли использовать принцип оценки с упором на использование в этой ситуации? Есть ли особенности ее применения в этом случае?

Это важный вопрос. Оценка с упором на использование требует учитывать различные уровни и различные типы заинтересованных лиц – мы называем их предполагаемыми пользователями. Для кого предназначена оценка? Если предполагаемые пользователи – это инвесторы в социальные проекты, то я захочу привлечь их к определению критериев, которые они ищут. Что они хотят узнать, чтобы лучше вложить свои инвестиции?

Когда я работаю с социальными инвесторами, отчасти я помогаю им понять как клиентам, что есть разные способы проведения оценки, потому что существует много разных видов программ. Например, когда я работаю с советами директоров, инвестирующих в социальные проекты, или благотворительными фондами, я делаю с ними такое упражнение. Я составляю список разных видов финансовых инструментов: акции голубых фишек, быстрорастущие акции, недооцененные акции, то есть акции компаний, находящихся в переходном периоде или испытывающих сложности, долгосрочные облигации, краткосрочные облигации, паевые инвестиционные фонды. Эти люди хорошо знают различные виды финансовых инструментов и их отличия в доходности. Затем я беру набор проектов и провожу параллели между разными видами проектов и разными видами финансовых инструментов.

Голубые фишки – это очень хорошо известные программы вроде Всемирной продовольственной программы или ЮНИСЕФ, они известны, стабильны и обладают хорошей репутацией. Эквивалентом быстрорастущей акции финансового рынка является программа, стремящаяся к масштабированию, к распространению на другие территории внутри страны или за ее пределами.

Недооцененная акция – это программа, находящаяся в переходном периоде и нуждающаяся в помощи, чтобы пройти его и адаптироваться. Долгосрочные облигации – это эквиваленты операционной поддержки программы без уточнения, какой конкретный проект программа будет реализовывать.

Это упражнение помогает инвесторам социальных проектов понять, что они оценивают различные финансовые инструменты по-разному. Они смотрят на разные виды акций, инвестиционных фондов, облигаций, используя различные критерии, и мы тоже оцениваем различные программы при помощи различных критериев в зависимости от характера программы и характера инвестиций. Использование логики оценки финансовых инструментов помогает им понять логику оценки программ.

Теория трансформации, пытающаяся изменять системы, должна состоять из множества различных теорий изменений. Оценка Blue Marble связана с теорией трансформации: как только мы начинаем иметь дело с крупными системами, мы имеем дело с глобальными воздействиями.

У инвесторов социальных проектов тоже есть внутренние сети и они тоже разработали ряд методологических подходов. Например, они очень любят метод социального возврата на инвестиции (SROI). Иногда он даже принимается как единственно возможный и безальтернативный для оценки любых результатов любого проекта. Это выглядит несколько противоречиво со взглядами специалистов по оценке – если опять же, исходить из концепции оценки, ориентированной на использование.

Социальную эффективность инвестиций все равно нужно интерпретировать и адаптировать, смотреть, идет ли речь о долгосрочной социальной эффективности инвестиций или краткосрочной, об инновационных высокорискованных программах, высокорискованных программах с высоким потенциалом эффективности или программах с низким риском и низкой отдачей. Когда я говорю о параллелях между различными видами финансовых инструментов и различными видами программ, я говорю о том, какой объем риска инвесторы социальных проектов готовы брать на себя, насколько инновационными они хотят быть, каков временной горизонт инвестиций и отдачи, ищут ли они несколько разных показателей или только один показатель успеха.

Здесь много о чем нужно договариваться и многое адаптировать, даже при общем критерии инвестирования в социальные проекты. Еще нужно определить, что означает инвестирование в социальные проекты и эффективность таких инвестиций в конкретной ситуации. И здесь как раз нужна оценка с упором на использование, потому что она обеспечивает диалог с клиентами и помогает им сформулировать сроки, критерии, степень риска, которую они готовы принять, и требуемый уровень отдачи инвестиций.

Использование логики оценки финансовых инструментов помогает инвесторам социальных проектов понять логику оценки программ.

Следующий вопрос касается теории трансформации. В чем разница между предложенным вами термином «теория трансформации» и теорией изменений?

Отличный вопрос. Идею теории изменений предложила в 1995 году социолог Кэрол Вайс, которая наблюдала, как фонды начали реализовывать программы, не зная, какие данные об эффективности показывали исследования. Они не знали о достижениях социальных наук, о том, как бороться с бедностью или с наркозависимостью.

Теперь мы перешли к попыткам изменить целые системы (климатические, сельскохозяйственные, продовольственные, здравоохранения). Когда вы начинаете изменять систему, вы выходите за рамки одного конкретного проекта.

Теория изменений рассматривает индивидуальный проект или программу, а теория трансформации, пытающаяся изменять системы, должна состоять из множества различных теорий изменений. Например, в кампании по борьбе с курением не одна теория изменений. Вам нужно просвещать людей о вреде курения, работать с рекламой и маркетингом, со здравоохранением. Вам нужны нормативно-правовые акты и стимулирующие меры, активная работа с производителями табачной продукции, с молодежью, с пожилыми людьми.

Существует много разных подходов к борьбе с курением, каждый из которых имеет собственную теорию изменений, а теория трансформации пытается интегрировать все эти разные теории изменений, чтобы добиться общего системного воздействия.

Мне кажется, это касается и концепции Blue Marble^[4], над которой вы сейчас работаете. Не могли бы вы кратко описать основные идеи этой концепции?

Оценка Blue Marble связана с теорией трансформации: как только мы начинаем иметь дело с крупными системами, мы имеем дело с глобальными воздействиями. Например, на состояние сельского хозяйства в любой стране влияют изменение климата, мировые рынки, политика правительства, политика международных агентств, торговля, транспорт. Идея оценки Blue Marble заключается в том, что мы должны понимать не только то, что происходит в конкретной локальной программе, но и как на эту программу влияют глобальные и международные тенденции, например, пандемия или изменения климата.

Концепция оценки Blue Marble соединяет локальное с глобальным. В английском для этого есть слово «glocal», сочетающее слова «local» и «global», «локальный» и «глобальный». Оно означает поиск взаимодействий и взаимосвязей локального и глобального, таким образом наше понимание на глобальном уровне основано на понимании локальных процессов, а понимание происходящего на локальном уровне обусловлено пониманием глобальных тенденций.

Давайте поговорим о реализации этой концепции в практической работе оценщиков. Например, если оценщик решает использовать концепцию оценки Blue Marble в своей работе, с чего ему надо начинать?

Давайте в качестве примера снова возьмем инвестирование в социальные проекты. Для любой инвестиции в социальный проект важно рассмотреть конкретный проект, в который будут вкладываться средства, однако с точки зрения Blue Marble оценщики также должны знать, чем занимаются другие инвесторы социальных проектов. Что происходит в других странах? Каковы мировые тенденции в инвестировании в социальные проекты? Какие сети задействованы? Чем больше денег поступает в социальные проекты на глобальном уровне, тем важнее применять к каждому конкретному проекту глобальные тенденции и шаблоны.

Работа оценщика в этом случае включает не только разработку оценки конкретного социального воздействия, но и знание глобального контекста, что происходит в других проектах оценки социального воздействия, чему можно у них научиться, какие там показатели, как это связано с целями устойчивого развития. Например, связана ли конкретная инвестиция в социальный проект с одной целью устойчивого развития или несколькими целями устойчивого развития? Конкретно это означает, что оценщику необходимо научиться помещать отдельный проект в широкий глобальный контекст.

Есть ли у вас руководство или список вопросов, которые специалист по оценке должен задать? Например, чтобы не забыть про климат и другие глобальные вопросы.

Да, такой список вопросов есть. Как вы предположили, первая часть вопросов относится к климату – как проект соотносится с устойчивым развитием, восстановлением, смягчением последствий изменения климата? Потому что мы находимся в чрезвычайной климатической ситуации, и любые наши действия могут оказать на нее влияние.

Еще одна группа вопросов касается социальной справедливости, потому что разрыв между богатыми и бедными людьми, между более богатыми и более бедными странами не прекращает увеличиваться. Есть этический критерий – как конкретный проект поддерживает гендерное и социально-экономическое равенство, расовую справедливость. Таким образом, вопросы социальной справедливости и равенства и вопросы воздействия на изменение климата стали универсальными, они должны учитываться во всех оценках программ.

Мой последний вопрос – о будущем. Если попытаться заглянуть в ближайшее будущее оценки программ, какие изменения мы можем ожидать?

Я думаю, будет больше сетей оценщиков, обменивающихся данными и коммуницирующих друг с другом, потому что мы занимаемся системными изменениями. Например, я работаю с Глобальным альянсом за будущее продовольствия, это 30 благотворительных фондов на 4 континентах. Это фонды из Северной Америки, Европы, Южной Америки и Азии.

Для решения глобальных проблем и отслеживания системных изменений требуется совместная работа команды оценщиков из разных стран, говорящих на разных языках и имеющих разные методологические навыки. В прошлом году я с командой оценщиков Blue Marble участвовал в оценке Саммита ООН по продовольственным системам.

Сейчас я работаю с новой академией международной оценки, и у нас есть участники из всех стран мира, я вхожу в российское общество оценщиков и оказываю содействие Международной организации по сотрудничеству и оценке. Международные и глобальные сети и группы оценщиков станут частью нашего будущего.

“If You Use Evaluation You Make Better Decisions and Help People More.” Interview with Michael Patton

Natalia Gladkikh

DOI 10.55140/2782–5817–2023–3–1–4–15

Michael Quinn Patton is one of the world’s most renowned experts in project and program evaluation^[5]. He has been working in this field since the 1970s, when evaluation in the nonprofit sector was a relatively new phenomenon. Dr. Patton is the creator of well-known evaluation concepts that are used by specialists around the world. He received several international awards for outstanding contributions to the field, and he wrote 18 books on various issues related to practical use of evaluation^[6]. In an interview with our Editor-in-Chief, Michael Patton shared his views on the profession of an evaluator^[7], the impact of the profession, trends in evaluation, the “gold standard” of evaluation methodology, and what the future holds for this field.

Michael Patton

Natalia Gladkikh

PhD in Psychology, Leading Expert Institute of Social and Economic Design at the Higher School of Economics

What are the most significant changes in project and program evaluation over your long professional journey?

I’ve been in evaluation for over 50 years. The field has grown very diverse in this time period. Just as there are many programs, there are many types of evaluation. And the most difficult task is to coordinate them with each other.

Has the perception of the profession of project and program evaluator changed during this time?

I hope that this area has become more professional in the public perception, because there are now more than 100 national organizations, such as the Association of Specialists in Program and Policy Evaluation in Russia, the European Association of Evaluators, etc. They have established standards, training programs, publications. According to our data, there are now about 75,000 program evaluators worldwide. Of course, all these facts suggest that the field is getting more professional.

Have the requirements to evaluators changed over time? What are the requirements to professional evaluators today?

Most countries do not certify evaluators. Canada has a certification program through the Canadian Evaluation Society. There are a number of certification programs in New Zealand and Japan.

The American Evaluation Association has no formal certification program. It is up to those who hire evaluators to verify their qualifications and determine if the evaluator has the necessary skills.

If we take Canada as an example, does this country have a higher education program (such as a master’s degree), or is it a certification program run by a professional association? What is the process for obtaining a certificate?

The Canadian Evaluation Society organizes trainings. People attend the trainings, complete the curriculum, and present examples of past evaluation work. By acquiring certification from the Canadian Evaluation Society, they become certified evaluators.

There is no “gold standard” for evaluation. The main challenge is adaptability, appropriateness, also the program needs are the key.

In your opinion, when a customer decides whether a particular evaluator is the best person for their particular project, which option is better – certification or no certification?

I think having a certificate helps, because it allows customers, who may not be very proficient in evaluation, to understand they are dealing with someone who has been trained. But the field of evaluation in the United States and in Europe is so diverse that it has not been possible so far to achieve a common understanding of the basics of this profession. In Canada, we were able to agree on the basic concepts that an evaluator must be familiar with, that is why certification is possible there. It is unlikely to happen in the U. S. because the field is too diverse there.

Let’s talk about evaluation methodology. Have there been any changes in this area?

Of course. Artificial intelligence (AI), big data and its sources have emerged. The pandemic brought forth great changes: online services have enabled conducting interviews and focus groups remotely. Satellite imagery has been used in new ways.

For example, thanks to satellites, it is no longer necessary to go somewhere in the field to check whether new agricultural equipment is being used there. If we want to know how many children attend a school in a developing country, we can use satellite imagery again.

Remote data collection, AI, big data, the Internet, and new data visualization techniques allow for better communication. It has become easier to distribute evaluation results thanks to the development of the Internet and social media, to find people to interview, to follow a person on social networks. All of these technological advances are making their way into the field of evaluation.

So many changes and so many possibilities. Does every evaluator need to be familiar with all these new products? What are the most important qualities and requirements for a good evaluator, and can we talk about the “gold standard” of an evaluator?

The way I see it, we have defined the “gold standard” as the ability to evaluate a program in the proper way, which meets the needs of that specific program. Methodologically, there is no “gold standard.” In any case, I do not believe that randomized controlled trials are better than other methodologies, because the program needs are the key, and because such phenomena as the pandemic, climate change, global political instability, growing numbers of refugees, famine and drought, the speed of change in the world around us, create the need for evaluation approaches that can adapt quickly to new conditions, similar to those caused by the pandemic.

Programs need to change, and so does evaluation. There is no single method that would represent the “gold standard.” The main challenge and difficulty is adaptability and appropriateness. You need to understand what a particular program needs at a particular point in time.

If an evaluation involves, for example, the use of advanced sociological tools, which I am not familiar with as an evaluator, I would not be able to conduct an evaluation at the proper level, would I?

Absolutely. This is partly why it is so important to have professional associations. Today, thanks to them, to social media, to networking, you can always find someone to help you learn these methods. Many evaluations these days are done collectively, so no single evaluator would have all the necessary techniques and skills. However, if you can find the right people through an association, the Internet, or social media, you can find evaluators with all those skills.

Would you say that most clients today require the use of advanced sociological analysis methods?

They need to be able to get feedback from the beneficiaries, if that’s what you mean by sociological analysis. Programs should have good opportunities to get high-quality, real-world data from program participants, so they can find out what is really going on. Perhaps the most important and most common thing is that evaluators get direct, independent and real feedback from the target audiences involved in the program – how well the program is working, whether they are getting the help they need, and what can be improved.

You need to be a good interviewer, to know how to do surveys, use social networks, and get data directly from people.

You are a professional sociologist. In your experience, is it common for evaluators to have a background in sociology or psychology, a professional mastery of SPSS and similar programs, or is it really not necessary?

Fortunately, there is additional training available. Much of my sociological education was strictly academic, and I had to learn evaluation by doing. When I started, there were no courses, no seminars. I had to take interviews and surveys as sociological methods and adapt them to evaluation. Psychologists had to do the same with tests, and economists with cost-benefit analysis. Working in evaluation requires the ability to adapt these academic research methodologies. This is a key skill.

Today evaluation is not only about techniques, but also about interpersonal relationships. Evaluators must be good listeners, able to work with people from different cultures, be able to make connections, communicate well, solve problems and manage conflicts.

Let’s talk about the so-called “soft skills.” Are they really important to the evaluator?

That’s a good question. The American Evaluation Association has established a set of competencies that are essential to an evaluator. Of course, these include methodological competence, project management, knowledge of professional and ethical standards.

And then there are interpersonal competencies. Evaluators must be good listeners, able to work with people from different cultures. They must treat people with respect. Be able to make connections, communicate well, solve problems and manage conflicts.

One of my recent books focuses on the relevant skills for working with stakeholders at various levels. This is an important change, as evaluation today is not only about techniques, but also about interpersonal relationships.

In some of your publications, you mentioned the concept of evaluative thinking and suggested sharing this type of thinking with the project team, with the client. Doesn’t this threaten the existence of the evaluators as a profession? Wouldn’t evaluation become just a management function?

I don’t consider this a danger. You described the situation very well, but evaluative thinking in management only means that you have better communication because you speak the same language. People understand the concepts of logical frameworks, theories of change, SMART goals, different types of evaluation for different purposes, but in order to do the actual evaluation, you still need a fresh perspective, you still need people who can look at things differently.

When people do have an evaluative mindset, they begin to appreciate having a specialist who helps them look at things through the eyes of an outsider. It is something I do often. As an evaluator, I help managers, employees and even shareholders understand how evaluators think, how they define criteria and interpret data, how they draw conclusions – but they would still need an evaluator to make their job easier, to have another pair of eyes to look at things from a different perspective. Helping to think in an evaluative way is about improving communication and understanding of what’s going on.

So you don’t think that evaluation will become just a part of management, because the evaluator has other functions besides allowing you to understand what’s really going on.

Yes, that’s right. Evaluators also give an additional point of view. Even where there are internal evaluators in the management, their job is to do the evaluation and make sure there’s good data and make sure people take the time to interpret it. I believe the evaluator function will remain, but the better management understands evaluation, the better communication and use of evaluation results will be.

In your 2009 article, “The Future of Program Evaluation,” you wrote that the “gold standard” of evaluation methodologies would be hotly debated over the next few decades. Can we say that the answer to this question has changed significantly since then? Or do we still have the same leader – randomized controlled trials?

The debate continues, but it’s becoming increasingly clear that in a rapidly changing world, we need fast-turnaround techniques that produce real data in real time. Randomized controlled trials are really not very useful in a complex, dynamic, rapidly changing world. They work best in a stable situation where there are clear fixed interventions.

In a rapidly changing world, we need fast-turnaround techniques that produce real data in real time and provide them just as quickly to people.

If you have to work on topics like pandemics, climate change, or civil unrest when things are changing rapidly, randomized controlled trials are not appropriate – they are too rigid and too time-consuming.

The speed of change means that the evaluation must produce results quickly, in real time, and provide them just as quickly to people who need to make decisions in a time-constrained environment.

The evaluator’s profession is changing in response to what is going on, but evaluators themselves are also changing the world. What do you think this profession has already given to the world?

I think we are living in a time of a worldwide battle between approaches based on evidence, facts, and science, on the one hand, and a part of the world that ignores them and only seeks to promote ideology. Evaluation is part of this worldwide data. Evaluation proves that if you use data, you make better decisions and help people more.

We’ve seen it work with people who refused COVID vaccination, who don’t believe the pandemic and vaccination data. In the so-called post-truth or anti-science world, where people can say whatever they believe and assume it to be true, evaluators help people appreciate the importance of evidence, looking at reality and working with it rather than with subjective perceptions and beliefs. This is our contribution.

In the so-called post-truth or anti-science world evaluators help people appreciate the importance of evidence, looking at reality and working with it.

You are the author of many program evaluation concepts used by evaluators around the world. We would like to discuss some of them. The first question concerns the concept of utilization-focused evaluation. In it, you emphasize the client’s role and interest, their desire to participate in the use of the evaluation results. Nowadays, investors in social projects and even the state (as in the social impact bond model, SIB), often become the evaluators’ clients. They are not involved in the project itself, but are its customers. Is it possible to use the evaluation principle with an emphasis on its use in this specific situation? Are there any peculiarities of its application in this case?

This is an important question. Utilization-focused evaluation requires considering different levels and different types of stakeholders – we call them intended users. Who is this evaluation for? If the intended users are social investors, then I would want to engage them in defining the criteria they are seeking. What do they want to know to make a better investment?

When I work with social investors, part of what I do is help them understand as clients that there are different ways to do evaluation, because there are many different types of programs. For example, when I work with boards of directors investing in social projects or charitable foundations, I do an exercise with them. I make a list of different types of financial instruments: blue chip stocks, high growth stocks, undervalued stocks, that is, stocks of companies in transition or struggling, long-term bonds, short-term bonds, mutual funds. These people are well aware of the different types of financial instruments and the differences in their profitability. Then I take a set of projects and draw parallels between different kinds of projects and different kinds of financial instruments.

Blue chips are well known programs like the World Food Program or UNICEF; they are world-famous, stable, and have a good reputation. A program that seeks to scale, to enter other territories within or outside the country is the equivalent of high-growing stock in the financial market.

Undervalued stock is a program that is in transition and needs help to get through and adapt to change. Long-term bonds are the equivalent of operating support for a program without specifying what specific project the program will implement.

This exercise helps social investors understand that they value different financial instruments differently. They look at different types of stocks, investment funds or bonds using different criteria, and we also evaluate different programs using different criteria depending on the nature of the program and the nature of the investment. Using the logic of evaluating financial instruments helps them understand the logic of evaluating programs.

The theory of transformation, trying to change systems, must consist of many different theories of change. The Blue Marble evaluation is related to the theory of transformation: once we start dealing with large systems, we are dealing with global impacts.

Investors in social projects also have internal networks and have developed a number of methodological approaches. For example, they are very fond of the social return on investment (SROI) method. Sometimes it is even taken as the only possible, no-alternative method for evaluating the results of any project. This seems to go at odds with the evaluation specialists’ views – again, based on the utilization-focused evaluation concept.

The social effectiveness of investments still needs to be interpreted and adapted, depending on whether we are talking about long-term or short-term social effectiveness of investments, about innovative high-risk programs, high-risk programs with high performance potential, or low-risk, low-return programs. When I talk about parallels between different kinds of financial instruments and different kinds of programs, I’m talking about how much risk social project investors are willing to take, how innovative they want to be, what the time span is for investment and return, whether they are looking for several different indicators or just one measure of success.

There is a lot to negotiate and a lot to adapt, even with the general criteria of investing in social projects. It is also necessary to determine what it means to invest in social projects and the effectiveness of such investments in a particular situation. And this is where utilization-focused evaluation is needed, because it provides a dialogue with clients and helps them articulate the timing, the criteria, the degree of risk they are willing to accept, and the required level of return on investment.

Using the logic of evaluating financial instruments helps social investors understand the logic of evaluating programs.

The next question concerns the theory of transformation. What is the difference between your proposed term “theory of transformation” and theory of change?

That’s a great question! Theory of change was a concept suggested in 1995 by sociologist Carol Weiss, who observed how foundations began to implement programs without knowing what data on effectiveness the studies showed. They didn’t know about advances in social sciences, about how to fight poverty or drug addiction.

Now we have moved on to trying to change entire systems (climate, agriculture, food, healthcare). When you start changing the system, you go beyond one particular project.

The theory of change looks at an individual project or program, while the theory of transformation, trying to change systems, must consist of many different theories of change. For example, the anti-smoking campaign has more than one theory of change. You need to educate people about the dangers of smoking, work with advertising and marketing, with healthcare. You need regulations and incentives, active work with tobacco manufacturers, with young people, with the elderly.

There are many different approaches to fighting smoking, each with their own theory of change, and the theory of transformation attempts to integrate all of these different theories of change to achieve an overall systemic impact.

I think this also applies to the Blue Marble concept^[8] that you’re working on right now. Could you briefly describe the main ideas of this concept?1

The Blue Marble evaluation is related to the theory of transformation: once we start dealing with large systems, we are dealing with global impacts. For example, the state of agriculture in any country is affected by climate change, world markets, government policies, the policies of international agencies, trade, and transportation. The idea behind the Blue Marble evaluation is that we need to understand not only what is happening in a particular local program, but also how that program is affected by global and international trends, such as pandemics or climate change.

The Blue Marble evaluation concept connects the local with the global. The English word for this is “glocal,” which is a portmanteau of “local” and “global.” It means looking for interactions and interconnections between the local and the global, so that our understanding at the global level is based on an understanding of local processes, and our understanding of what is happening at the local level is conditioned by an understanding of global trends.

Let’s talk about the implementation of this concept in the evaluators’ practical work. For example, if an evaluator decides to use the Blue Marble concept in his work, where should they begin?

Let’s take investing in social projects as an example again. For any social project investment, it is important to consider the specific project towards which the funds will be invested, but from the Blue Marble perspective, evaluators also need to know what other social project investors are doing. What is happening in other countries? What are the global trends in social project investment? What networks are involved? The more money goes into social projects on a global level, the more important it is to apply global trends and patterns to each specific project.

The work of the evaluator in this case includes not only developing a specific social impact evaluation, but also knowing the global context, what is going on in other social impact evaluation projects, what can be learned from them, what the indicators are, and how this relates to the sustainable development goals. For example, is a particular social project investment linked to one sustainability goal or several sustainability goals? Specifically, this means that the evaluator needs to learn how to place the individual project in a broader global context.

Do you have a manual or a list of questions that the evaluator should ask? Like not forgetting climate change and other global issues, for example.

Yes, I do have such a list of questions. As you suggested, the first part relatesto climate – how does the project relate to sustainable development, recovery, climate change mitigation? The thing is that we are living in a climate emergency, and any action we take can have an impact on it.

Another set of questions concerns social justice, because the gap between rich people and poor people, between richer and poorer countries, keeps growing endlessly. There is an ethical criterion for how a particular project supports gender, social and economic equality and racial justice. Thus, social justice and equity issues and climate change impacts have become universal aspects to be considered in all program evaluations.

My final question is about the future. If we try to look into the near future of program evaluation, what changes can we expect?

I think there will be more networks of evaluators exchanging data and communicating with each other, because we are dealing with systemic change. For example, I work with the Global Alliance for the Future of Food, which combines 30 charities on four continents. This includes foundations from North America, Europe, South America and Asia.

Solving global problems and tracking systemic change requires a collaborative team of evaluators from different countries, speaking different languages and with different methodological skills. Last year, me and a team of Blue Marble evaluators participated in the evaluation of the UN Food Systems Summit.

Currently I am working with the new International Evaluation Academy, which has participants from all over the world. I am part of the Russian Association of Specialists in Program and Policy Evaluation, and I’m assisting the International Organization for Cooperation and Evaluation. International and global networks and evaluation teams are definitely part of our future.

Экспертные мнения / Expert Opinions

Без стандартов, но по призванию. Является ли оценка проектов и программ профессией?

Юлия Вяткина

DOI 10.55140/2782–5817–2023–3–1–16–27

Тема профессионализации оценки проектов и программ (в социальной сфере, культуре, науки, экологии и т. д.) существует в повестке международных организаций второй десяток лет, в российской практике – около десяти. Появляется много публикаций, проводятся дискуссии, специалисты по оценке обсуждают статус ее как профессии на региональном и международном уровне. В нашей стране эта тема рассматривается на ежегодных конференциях Ассоциации специалистов по оценке программ и политик (АСОПП). Так является ли оценка проектов и программ профессией, и если да, то как это можно понять и узнать?

Юлия Вяткина

Редактор журнала «Позитивные изменения»

СТАДИИ ПРЕВРАЩЕНИЯ ЗАНЯТИЯ В ПРОФЕССИЮ

Прежде чем начать разговор о профессионализации оценки (здесь и далее под оценкой мы будем понимать оценку проектов и программ – прим. ред), рассмотрим, каким образом то или иное занятие превращается в профессию.

Американский социолог Гарольд Виленски, исследовавший функционирование различных организационных структур в современном обществе, предложил в 60-х гг. прошлого века модель, согласно которой формирование профессии проходит несколько стадий^[9].

Все начинается с того, что некое занятие приобретает статус полной занятости. Т. е. достаточно много людей занимаются некой деятельностью с утра до вечера и зарабатывают этим на жизнь. Полная занятость – это отправная точка, иначе занятие не может превратиться в профессию. Кроме того, она возможна, когда есть спрос на услуги.

Вторая стадия – это появление школы профессиональной подготовки людей, которые занимаются этим видом деятельности. Такая школа чаще всего ассоциирована с университетами. Далее появляется профессиональная ассоциация – объединение людей, которые занимаются этой деятельностью на постоянной основе. Ассоциация делает определенные шаги, чтобы со стороны государства были приняты какие-то нормативные документы, которые бы позволяли в установленном порядке лицензировать, сертифицировать деятельность, чтобы появилась своего рода профессиональная монополия. Также профессиональная ассоциация влияет на профподготовку специалистов, появляется теория, методы, стратегии деятельности и компетенции специалистов.

Следующий шаг – этический кодекс, который обеспечивает предотвращение злоупотреблений авторитетом и властью. Профессиональные ассоциации демонстрируют общественности, что они контролируют соблюдение этического кодекса и являются саморегулируемыми.

Еще один этап – формирование позитивного имиджа в обществе. Когда имидж есть, можно говорить о том, что появляется профессия.

ЧТО ТАКОЕ ПРОФЕССИЯ?

Есть два подхода к определению профессии. В первом случае ее обозначают как деятельность, занятие, работу. Во втором – как группу людей.

Профессия как деятельность – это оплачиваемая работа, особенно та, которая предполагает длительное обучение и формальную квалификацию. Соответственно, профессионал – это человек, который прошел такое обучение, получил подтверждение своей квалификации и занимается такой работой.

Генеральный директор и старший вице-президент по оценке в Группе Всемирного банка Кэролайн Хайдер выделяет важные черты состоявшихся профессий^[10]:

• Существует установленный порядок получения высшего образования, обязательного для каждого члена профессии, а для некоторых профессий требуется регулярное обновление знаний и навыков.

• Профессия требует, чтобы новые выпускники практиковали в тесном сотрудничестве и под наблюдением более опытных практиков.

• Есть сильные, признанные профессиональные ассоциации, которые обеспечивают соблюдение и укрепление стандартов.

• Имеется законодательство, устанавливающее требования и обеспечивающее основу для обращения в суд в случае злоупотребления служебным положением.

ОЦЕНКА – ЭТО ПРОФЕССИЯ?

Мы решили провести собственное небольшое исследование и обратились к экспертам, которые в теме оценки уже достаточно давно. Наши спикеры ответили, что пока еще рано говорить о том, что оценка – это зрелая профессия. Причем степень ее зрелости в разных странах отличается.

«Мне кажется, что эта профессия в стадии становления. Есть много признаков, свидетельствующих об этом. Если взять процент тех, кто закончил высшие учебные заведения по специальности «Оценка», в мире таких специалистов немного. В России пока нет такой специализации. Люди приходят в оценку из разных сфер деятельности с разным бэкграундом», – говорит генеральный директор компании «Процесс Консалтинг» Алексей Кузьмин.

Всегда стоит помнить о том, что когда мы говорим про профессию, то мы должны понимать, что у нее должен быть целый ряд атрибутов. В России часть из них есть, а другой части нет, обращает внимание Ирина Ефремова-Гарт, первый заместитель директора Форума Доноров.

Одним из основных признаков профессионализации той или иной деятельности является самоорганизация сообщества. Например, в нашей стране в 2014 году создана Ассоциация специалистов по оценке программ и политик (АСОПП), миссия которой – развитие и продвижение оценки как профессии в России. Сибирским центром поддержки общественных инициатив и Центром социальных технологий «Гарант» проводятся летние школы по оценке, активно работает клуб PROОЦЕНКУ, на заседаниях которого коллеги обмениваются наработанными практиками и уроками. Не менее важным атрибутом профессионализации является наличие принципов и стандартов, сформулированных сообществом специалистов. В России, как и в других странах, где работают профессиональные ассоциации, такие принципы были разработаны и приняты АСОПП^[11]. Их отличительной чертой является то, что каждый из шести принципов содержит рекомендации не только для специалистов по оценке, но и для заказчика, и участника оценки. Еще один признак профессионализации – система сертификации, когда специалист, обладающий опытом и знаниями в сфере оценки, получает официальное подтверждение этому факту. В нашей стране сертификации специалистов по оценке нет, в то же время этого нет во многих странах мира, за исключением Канады и Японии.

В список признаков можно включить и рост интереса вузов к профессиональной подготовке специалистов по оценке: например, в Московском государственном психолого-педагогическом университете появилась магистерская программа «Доказательное проектирование и оценка программ в области управления социальными рисками в сфере детства». Одним из факторов, способствующих развитию оценки в России, стала организация и проведение стратегического аудита со стороны Счетной палаты Российской Федерации. Он проводится в целях оценки реализуемости, рисков и результатов достижения стратегических целей, а также оценки влияния внешних и внутренних факторов на уровень достижения стратегических целей.

«Все это свидетельствует о том, что оценка развивается как профессия», – резюмирует Ирина Ефремова-Гарт.

Президент Сибирского центра поддержки общественных инициатив (СЦПОИ) Елена Малицкая отмечает, что в нашей стране появляется запрос со стороны государства на специалистов по оценке. «Правда, этот запрос специфический – на определенный тип оценки, который связан с экспертизой заявок, проектов и программ», – говорит Елена Малицкая.

С возросшим запросом на специалистов и обучение оценке согласна и Марина Михайлова, директор центра «Гарант».

«Пока что оценка – это экспертная область, а не профессия. Но если лет 15–20 назад это был разговор между специалистами, которые этим занимаются, то сейчас ситуация сильно изменилась. С одной стороны, про оценку стали гораздо больше говорить. С другой стороны, всем, кто подается на конкурсы Фонда президентских грантов и другие, необходимо оценивать результаты проектов. Кроме того, стало больше образовательных продуктов, которые учат самооцениванию», – говорит Марина Михайлова.

По ее словам, появились конкурсы, которые награждают людей и организации, которые уделяют внимание оценке. Сообщество экспертов стало обращать внимание на годовые отчеты, есть ли там информация про оценку результатов работы организации. Также пришло понимание того, что оценка – это не удел единичных суперспециалистов, а то, чем все так или иначе занимаются. Просто иногда сотрудники организаций не отдают себе в этом отчет.

Оценка прошла приличный путь профессионализации, но в то же время ей еще далеко идти вперед, считает Наталья Кошелева, президент Ассоциации специалистов по оценке программ и политик, консультант по мониторингу и оценке программ и проектов социальной направленности.

«Любая профессия постоянно куда-то развивается. Профессии становятся все более нишевыми, оценка – в том числе. Это маленькая профессия, но довольно быстрорастущая», – говорит она.

ОТКУДА БЕРУТСЯ СПЕЦИАЛИСТЫ ПО ОЦЕНКЕ?

Во всем мире людей, которые получили диплом по специальности «Оценка» не так много, как юристов или экономистов. У западных коллег есть программы магистратуры и PhD по оценке, но с учетом того, что оценка – профессия междисциплинарная, то количество профессионалов в этой области не определяется числом тех, кто получил диплом в вузе, считают эксперты.

Так откуда же появляются специалисты и как они строят профессиональную карьеру? Алексей Кузьмин говорит, что в американской, канадской, европейской ассоциации специалистов по оценке, насчитывающих несколько тысяч человек, состоят люди с очень разным бэкграундом.

«Давайте, я перечислю: по базовому образованию это психологи, социологи, педагоги, медики, инженеры, специалисты по компьютерным технологиям, экономисты, менеджеры, статистики. Конечно, если ты закончил университетскую программу, где было обучение методам социологических исследований, то это хорошее подспорье», – говорит он.

Сам эксперт пришел в оценку в конце 1990-х гг. из сферы консультирования в области организационного развития. В 1999 году стал членом Американской ассоциации оценки, посещал за рубежом конференции и семинары, читал литературу на английском языке, а в 2001 г. решил пойти на программу PhD в Штатах и закончил ее со специализацией в области организационного поведения и оценки программ.

«У многих людей за рубежом, которых я знаю, профессиональная карьера складывается как у специалистов по оценке внутри организаций. Это в больших структурах, конечно, происходит. Общий знаменатель для всех историй – в какой-то момент человек сталкивается с необходимостью проведения оценки, что-то внутри резонирует, ему это кажется интересным. И дальше начинается разворот в этом направлении, поиск информации, обучение, поиск специалистов, которые этим занимаются», – говорит Алексей Кузьмин.

Елена Малицкая также называет 1998–1999 год, когда ее работа стала тесно связана с оценкой. «Мы сами тогда, как Сибирский центр поддержки общественных инициатив, проводили грантовые конкурсы. И у нас возникла потребность в мониторинге, оценке и обучении. И мы просто начали внедрять оценку в свою работу и работу членов нашей сети ресурсных центров. А в 2000 году мы провели первую школу и международную конференцию в Новосибирске по оценке, которые позже стали регулярными», – говорит Елена Малицкая.

Руководитель ресурсно-методического центра Благотворительного фонда «Дорога к дому», член правления Ассоциации специалистов по оценке программ и политик Алена Богомолова – одна из тех, кто проходил обучение от СЦПОИ и «Гаранта» на Международной школе оценки. По своему основному образованию Алена Богомолова – социолог. По ее словам, в период обучения в университете у нее было много практических проектов, которые так или иначе были связаны с оценкой, только тогда это называлось по-другому. «В начале 2000-х, во всяком случае у нас в Череповце, это называлось «социологическое сопровождение». И включало в себя комплекс мероприятий, которые сейчас мы понимаем под оценкой или под дизайном оценки. Я училась, учусь и дальше буду учиться, потому что оценка – это очень живая профессия», – говорит она.

Ирина Ефремова-Гарт и Наталья Кошелева получили образование в магистратуре американских университетов. Ирина получила степень MPA (Master of Public Administration), закончив School of Public Administration в Университете Делавера.

«За два года обучения в моем расписании были классы по различным методам исследования, по оценке, по оценке в деятельности некоммерческих организаций. И это было настолько вкусно, интересно, зажигательно, что все мои планы заниматься госуправлением ушли в самый низ листа приоритетов. И, вернувшись в Москву, я понимала, что буду заниматься оценкой и некоммерческими организациями», – говорит эксперт.

По ее словам, она побывала в разных ролях: заказчиком оценки, внутренним оценщиком, внешним оценщиком. А работа в IBM позволила сделать интересные наблюдения: некоммерческие организации, умеющие работать с данными и пользующиеся цифровыми технологиями, значительно чаще достигают своей миссии, могут доказательно рассказать, какой вклад они вносят в решение социальной проблемы.

Наталья Кошелева узнала об оценке, еще обучаясь в магистратуре в School of Public and Environmental Affairs (Школе общественных и экологических вопросов) Университета Индианы.

«Это было в марте 1996 года. Мне попалось объявление, что нужен человек для оценки двух проектов экологической направленности, которые финансировал IREX (Совет международных научных исследований и обменов – прим. ред.). Я тогда первый раз увидела, что есть такая штука, как оценка. Прелесть американского университета в том, что там есть открытая библиотека. Я просто пошла, нашла книжки по этой теме, почитала, поняла общий принцип, и подала заявку. И меня взяли», – рассказала Наталья Кошелева.

Специалист по оценке эффективности проектов и программ Международной организации труда (МОТ) Ирина Синелина получила степень магистра в США по специальности Nonprofit Management, проходила стажировку в некоммерческой организации в Нью-Йорке. И потом вернулась в Москву, где работала сначала в некоммерческой организации, где нужен был анализ результатов воздействия тренингов, а потом пришла в Международную организацию труда, где появилась позиция evaluation officer.

«В МОТ, как и во всех организациях ООН, существует определенная система проведения оценки. Это делается с целью подотчетности донорам, увеличения опыта и совершенствования работы. Мы работаем, как и вся ООНовская система, по стандартным критериям Организации экономического сотрудничества и развития – ОЭСР (the Organisation for Economic Co-operation and Development, OECD). Их базовых пять: актуальность, эффективность, действенность, устойчивость и воздействие. А два года назад еще была добавлена согласованность», – рассказывает Ирина Синелина.

Марина Михайлова училась принципам и подходам к оценке у «Процесс Консалтинг» и у Сибирского центра поддержки общественных инициатив, на международных школах, в том числе по оценке организационного развития и оценке персонала.

«Из разных кусочков потихоньку складывался уже теоретический опыт. И на практике – это, во-первых, большой опыт оценки проектов, поданных на грантовые конкурсы. Потому что мы, как «Гарант», были организаторами таких конкурсов с 2001 года в Архангельской области. Потом было участие в экспертизе за явок в рамках других конкурсов, оценка результатов тех проектов, которые были нами же поддержаны. Также у меня был небольшой опыт в оценке, когда я была директором кадрового агентства, это оценка персонала и оценка системы управления в организации», – говорит Марина Михайлова.

ЗНАНИЯ И КОМПЕТЕНЦИИ

Тема знаний и компетенций в оценке тесно связана с темой обучения. Если мы знаем, какие должны быть компетенции, мы знаем, чему учить и как сформулировать должностные инструкции.

С конца 80-х гг 20 века разные профессиональные объединения специалистов по оценке стали публиковать перечни компетенций. Так, Группа оценки ООН считает, что специалист по оценке должен обладать: базовыми профессиональными компетенциями, техническими навыками, навыками управления, межличностными навыками, продвигать культуру оценки.

Канада – страна, в которой есть сертификация специалистов по оценке, – предложила следующие сферы компетенций для практического осуществления оценки^[12]:

1. Рефлексивная – компетенции, относящиеся к фундаментальным нормам и ценностям в сфере оценки, а также осознанию уровня собственной экспертизы и потребностей в профессиональном росте.

2. Техническая – компетенции, относящиеся к специфическим аспектам оценки: планирование, сбор данных, анализ данных, подготовка отчета.

3. Ситуативная – компетенции, относящиеся к оценочному мышлению, применяемому для анализа и учета специфических для каждой оценки интересов, проблем и обстоятельств.

4. Управленческая – компетенции, относящиеся к процессу управления проектом/оценкой (бюджетирование, ресурсное обеспечение, руководство).

5. Межличностная – компетенции, относящиеся к коммуникации, переговорам, разрешению конфликтов, сотрудничеству. Ассоциация специалистов по оценке программ и политик пока такой список компетенций не имеет. Президент АСОПП Наталья Кошелева из основных компетенций специалистов по оценке в России выделяет понимание того, как работают программы и проекты. Не менее важно умение собирать, анализировать и представлять данные. Для тех, кто занимается внешней оценкой, необходимы коммуникационные и межличностные компетенции. И сейчас все больше требуются навыки визуальной коммуникации.

Алена Богомолова говорит о том, что специалисту по оценке необходима возможность обмена мнениями, знаниями.

«Нужны группы людей или площадки, где ты можешь говорить о том, что у тебя получается/не получается и обсуждать еще на старте оценки, как лучше поступить, какие вопросы сформулировать, какой дизайн использовать. Нужна возможность разговаривать про это с другими людьми. Потому что в вакууме развиваться очень сложно. Что еще очень важно? На мой взгляд, иметь свою ценностную профессиональную позицию, исходя из которой ты будешь делать оценку», – говорит она.

С ней солидарна Марина Михайлова: «Чтобы быть хорошим специалистом, надо быть внутри профессионального сообщества, обмениваться опытом, учиться у других, общаться. И важно, чтобы люди, которые хотят быть оценщиками, соблюдали этические нормы. Все-таки оценка – это не аудит, не ревизия. И здесь важно, что оценка проводится не для того, чтобы поставить двойку или пятерку, а для того, чтобы ответить на какие-то вопросы и принять нужные решения. Специалист по оценке – это человек, который пришел помочь разобраться», – поясняет Марина Михайлова.

Сфера оценки невероятно интересная, отмечает Ирина Ефремова-Гарт, потому что, когда мы говорим про те навыки, которыми специалист по оценке должен обладать, они далеко не из одной сферы.

«Ты должен на высочайшем уровне владеть навыками проведения разных исследований, уметь работать с данными. У тебя должны быть очень хорошие управленческие навыки. Потому что оценка силами одного человека делается очень редко. Обычно это команда и ты должен уметь правильно выстроить процессы, распределить роли в команде и управлять результатами. У тебя должны быть навыки рефлексии, критического мышления», – говорит эксперт.

Ирина Синелина считает, что важно иметь хорошее базовое гуманитарное образование, которое формирует аналитические способности, и знание английского языка, потому что большое количество материалов про оценку написаны на английском. Дальнейшему можно научиться на практике.

ПРОФЕССИОНАЛЬНЫЙ СТАНДАРТ

Как уже говорилось ранее, один из этапов развития профессии – это профессиональный стандарт. Зачем вообще профстандарт нужен в любой деятельности? Как отмечается в Постановлении Правительства РФ от 22 января 2013 г. № 23, профессиональные стандарты применяются^[13]: при формировании кадровой политики, разработке должностных инструкций, образовательных программ и стандартов.

Как рассказал Алексей Кузьмин, в 2015 году была предпринята попытка разработки профстандарта для специалиста по оценке программ и политик в социальной сфере. Инициатором стал независимый бизнес-эксперт Александр Овчинников. Заявка на эту разработку была зарегистрирована на сайте Минтруда России. Была сформирована рабочая группа, в которую входили представители компании «Процесс Консалтинг» и АСОПП, проведены первичные исследования и анализ вида профессиональной деятельности, разработана первая редакция профстандарта, проходило общественное обсуждение, однако на одном из этапов работа над документом остановилась, и профстандарт не был утвержден министерством.

«Я думаю, сегодня еще немного преждевременно создание такого профстандарта. Профессии пока нет, она еще не сформировалась. В должных масштабах, как это видит Минтруд, на эту профессию пока нет ни спроса, ни предложения», – объясняет Алексей Кузьмин.

Наталья Кошелева предполагает, что у министерства были задачи сделать профстандарты на базовые профессии, а специалист по оценке программ и политик таким пока не является.

«У Минтруда тогда были другие ожидания, и у него была задача покрыть все массовые профессии. Наша точно не массовая. Я думаю, что с этим все было связано. Но стандарт в какой-то момент действительно может появиться, на уже более поздних стадиях развития профессии. Когда мы станем настолько заметными, что государство решит нас урегулировать. Это как история с лицензированием всякой деятельности. Чтобы вас видели, вас должно быть достаточно много», – говорит Наталья Кошелева.

Проекты профессиональных стандартов в России также рассматривает Национальный совет при Президенте Российской Федерации по профессиональным квалификациям. На основании заключений Национального совета принимается решение об утверждении профессиональных стандартов. Как пояснил Артем Шадрин, генеральный директор АНО «Национальное агентство развития квалификаций», при разработке профстандарта важно не дублировать уже существующие, которые утверждены под схожим названием. Хорошо бы заручиться поддержкой авторитетных организаций, которые работают в этой сфере, а также профильного федерального министерства, которое бы подтвердило целесообразность разработки такого документа.

Когда профстандарт согласован Минтрудом России, дальше он направляется в Национальный совет при Президенте Российской Федерации по профессиональным квалификациям. И в случае одобрения Национальным советом, в котором представлены ведущие организации работодателей, такие как РСПП, Торговопромышленная палата, профсоюзы и федеральные министерства, этот профстандарт утверждается приказом Минтруда России, регистрируется в Минюсте России.

Почему не все до конца доводят историю с профстандартами? Какие могут быть причины?

«Во-первых, может не поддержать Минтруд, сказать, что такой профстандарт не нужен. Это такая классическая нерешенная задача. Например, нет профстандарта предпринимателя. Это, вроде, не трудовая функция, но, с другой стороны, можно считать, что это вид профессиональной деятельности. И Минтруд пока не согласовал создание такого профстандарта», – говорит Артем Шадрин.

По его словам, также бывает, что инициативной группе по разработке профстандарта не удается согласовать его с профильным министерством или получить поддержку профессиональных ассоциаций.

«Не имея консенсуса в профессиональном сообществе, не получится утвердить стандарт. В этом сложность, что разработка профстандарта – это поиск общего. Его разработка – это длинная история, но, тем не менее, нет ничего невозможного. Было бы желание и поддержка профильного министерства, это всегда важно», – говорит Артем Шадрин.

ЧТО ПРОФЕССИЯ СПЕЦИАЛИСТА ПО ОЦЕНКЕ СТРЕМИТСЯ ДАТЬ ОБЩЕСТВУ?

Американский философ Томас Швандт в 2017 году написал статью, в которой обозначил необходимость обсуждения этоса оценивания^[14]. Т. е. стиля жизни общественной группы, которая ассоциирует себя с оценкой. По его словам, сейчас в основном в профессиональном сообществе говорят лишь о компетенциях и об обучении. В частности, он пишет:

«…Наиболее вопиющим является отсутствие активных дискуссий о том, что означает профессионализм в оценке и что сама профессия стремится принести обществу»… «Критический вопрос для глобального сообщества оценщиков как это сообщество понимает свою роль по отношению к своим клиентам и обществу в целом».

Что на этот счет думают представители российского сообщества специалистов по оценке программ и политик и как они сами отвечают на вопрос, поставленный Томасом Швандтом?

«Для меня профессия оценщика – это объективность и грамотный подход к принятию управленческих решений. Потому что в оценке есть принцип триангуляции. Прежде чем принять какое-то решение, посмотри с разных сторон на свой вопрос. Бывает триангуляция по признаку, по методу, по источнику данных. На основе какого-то одного факта принимать решение не нужно», – говорит Алена Богомолова.

Ирина Ефремова-Гарт считает, что оценка дает обществу чувство уверенности в качестве управления и надлежащем уровне эффективности программ, которые реализует государство, компания, некоммерческая организация.

«Если говорить о некоммерческом секторе, то увидим, что часто внимание сфокусировано на том, сколько проектов поддержано, какое количество благополучателей и сколько грантов выдано. Это важные индикаторы, но они не дают нам никакой информации о том, какие изменения происходят благодаря работе НКО. В лучшем случае это характеристики продуктивности работы грант-менеджера. Но не характеристики того, как наша жизнь или жизнь отдельных групп меняется к лучшему», – говорит эксперт.

Когда у тебя есть доказательная база, и ты можешь показать, что сделано для решения той или иной социальной проблемы в обществе и с каким эффектом, то это очень ценно, потому что помогает укрепить доверие в обществе.

Ирина Синелина из Международной организации труда полагает, что общественное благо, которое дает оценка, – это подотчетность в использовании денег.

«МОТ, как международная организация, использует деньги налогоплательщиков разных стран. Оценка – это возможность понимать, насколько хорошо были потрачены средства, и как можно в дальнейшем их лучше потратить, как усовершенствовать проекты, что-то видоизменить. Собираем данные, узнаем, изучаем степень полезности нашей деятельности. Дальнейшие решения принимаем с учетом этих знаний», – говорит Ирина Синелина.

Наталья Кошелева согласна с тем, что оценка помогает более эффективно использовать ресурсы для улучшения жизни людей. Она напомнила, что оценка социальных проектов и программ появилась в США и впервые была использована в проектах, направленных на борьбу с бедностью и преодоление социального неравенства.

«Глобально, оценка – это же про улучшение жизни наиболее уязвимых групп людей. Я когда на оценке стала специализироваться, поняла, что это действительно анализ, который позволяет улучшить качество программы. Это инструмент повышения осознанности деятельности, извлечения уроков из опыта и усовершенствования на основе эмпирических данных. Так как это не просто оценка, а оценка социальных проектов, это более эффективное использование ресурсов и повышение эффективности социальных проектов», – говорит она.

БУДЕТ ЛИ ОЦЕНКА ВОСТРЕБОВАНА В БУДУЩЕМ

Профессия специалиста по оценке, безусловно, будет востребована в будущем во всем мире, отмечают эксперты. «Это уже сейчас золотой стандарт в государственном и частном секторе», – говорит Ирина Синелина.

«Оценка не просто может, а станет обязательно профессией. Но это происходит эволюционным способом, путем накапливания знаний, понимания, зачем это нужно, формированием запроса на этих специалистов, формированием сообщества, которое может растить профессионалов, появлением образовательных продуктов», – говорит Марина Михайлова.

Будущее часто отождествляют с искусственным интеллектом. «Кто такой специалист по оценке проектов и программ?», – спросили мы у ChatGPT. И вот, что он нам ответил: «Специалист по оценке проектов и программ – это профессиональный эксперт, занимающийся оценкой стоимости проектов и программ. Он может работать в различных секторах экономики, а также на правовом рынке. Для успешной работы специалисту необходимо иметь образование и опыт в области финансовой аналитики, уметь работать с различными формами активов, уметь разрабатывать модели оценки, анализировать информацию, разрабатывать рекомендации для улучшения стоимости имущества».

Как видим из этого определения, нейросеть пока не понимает разницу между оценщиком имущества и специалистом по оценке проектов и программ. А значит у российского сообщества специалистов еще много работы, чтобы заявить о себе. Ведь профессия только зарождается. А путь ее становления по формированию спроса, полной занятости специалистов, школ профессиональной подготовки, разработки и утверждения профессионального стандарта, этического кодекса, формирования имиджа еще достаточно длинный. Как говорится, время покажет, как будет развиваться профессионализация оценки и сможет ли искусственный интеллект с ней конкурировать.

При подготовке статьи были использованы презентации Алексея Кузьмина и видеозапись с конференции АСОПП «Оценка в меняющемся мире: партнерства и инфраструктура», сессия «Профессионализация оценки в России и мире».

No Standards, Just Calling. Is Project and Program Evaluation a Profession?

Yulia Vyatkina

DOI 10.55140/2782–5817–2023–3–1–16–27

The topic of professionalizing project and program evaluation (in the social sphere, culture, science, environment, etc.) has been on the agenda of international organizations for more than a dozen years, or about ten years in the Russian practice. There are numerous publications and discussions between evaluation specialists talking about the status of evaluation as a profession at the regional and international level. In our country, this topic is addressed at the annual conferences of the Association of Specialists in Program and Policy Evaluation (ASPPE or ASOPP). So is project and program evaluation a profession, and if so, how can we find out and tell?

Yulia Vyatkina

Editor, Positive Changes Journal

THE STAGES OF TURNING AN OCCUPATION INTO A PROFESSION

Before we start talking about the professionalization of evaluation (referring specifically to evaluation of projects and programs), let us consider how an occupation becomes a profession.

Harold Wilensky, an American sociologist who studied the functioning of various organizational structures in the modern society, proposed in the 1960s a model describing the formation of a profession in several stages^[15].

The process starts with a certain occupation acquiring full-time status. That is, with enough people engaged in some kind of activity from morning till night and making a living off of it. Full-time employment is the mandatory starting point, otherwise the occupation cannot turn into a profession. In addition, it is possible when there is a demand for services.

The second stage is the emergence of a school of professional training for the people engaged in this type of activity. Schools like this are often associated with universities. The next step is a professional association – an association of people engaged in this activity on a permanent basis. The association takes actions forcing the state to adopt certain regulations establishing the procedure for licensing and certifying activities, thus establishing a kind of professional monopoly. Also, the professional association affects the professional training of specialists, promoting the development of a theory, methods, strategies of activity and competences of the specialists.

Next, a code of ethics is developed, which helps prevent abuse of authority and power. Self-regulated professional associations demonstrate to the public that they control the code of ethics.

The final step is the formation of a positive image in the society. When you have established an image, you can say that you have a new profession.

WHAT IS A PROFESSION?

There are two approaches to defining a profession. In the first case, it is defined as an activity, an occupation, a job. In the second, as a group of people.

A profession as an activity is a paid job, especially one that involves lengthy training and formal qualifications. Accordingly, a professional is a person who has undergone such training, received confirmation of his/her qualifications and is engaged in that job.

Caroline Heider, former Director General and Senior Vice President, Evaluation, World Bank Group, highlights the key features of established professions^[16]:

• There is an established stream through the tertiary education system that each member of the profession has to complete, and some professions require regular training to update knowledge and skills;

• The profession requires that new graduates practice in close collaboration and under the supervision of more experienced practitioners;

• There are strong, recognized professional associations that enforce and reinforce standards;

• Legislation is in place that sets out requirements and provides the basis for legal recourse in the case of malpractice.

IS EVALUATION A PROFESSION?

We decided to do a little research of our own and turned to experts who have been working in evaluation for quite a long time. Our speakers responded that it is too early to call evaluation a mature profession yet. By the way, its degree of maturity varies from country to country.

“I think it is a profession in its nascent stages. There are many signs indicating this. If you look at the percentage of those who graduated from higher education institutions and majored in «Evaluation», that number is really small anywhere in the world. Russia does not have such specialization at all. People come to evaluation from different fields and have different backgrounds,” says Alexey Kuzmin, Owner, Process Consulting Company.

It’s always worth remembering that when we talk about a profession, we have to understand that it has to have a number of attributes. Some of these are present in Russia, some are not, says Irina Efremova-Garth, First Deputy Director of the Donors Forum.

One of the key signs of professionalization of an activity is the self-organization of the related community. For example, in Russia we have the Association of Specialists in Program and Policy Evaluation (ASPPE or ASOPP), established in 2014 with the mission to develop and promote evaluation as a profession. The Siberian Civic Initiatives Support Center and the Garant Center of Social Technologies hold summer schools on evaluation; the PROOCENKU Club has been working actively, with the colleagues actively sharing their experiences and lessons learned during its meetings. An equally important attribute of professionalization is the existence of principles and standards formulated by the specialist community. In Russia, as in other countries where professional associations operate, these principles have been developed and adopted by the ASPPE^[17]. Their distinctive feature is that each of the six principles contains recommendations not only for evaluators, but also for the clients and the participants of the evaluation process. Another sign of professionalization is the certification system, wherein a specialist in the field of evaluation would receive official confirmation of his/her experience and knowledge. There is no certification of evaluators in our country; at the same time, it does not exist in many countries of the world either, with the exception of Canada and Japan.

The list of signs can also include growing interest of universities in the professional training of evaluation specialists: for example, Moscow State Psychological and Pedagogical University has launched a Master’s degree program “Evidence-Based Design and Evaluation of Programs in the Field of Social Risk Management in Childhood”. One of the factors contributing to the development of evaluation in Russia was the strategic audit organized and conducted by the Accounts Chamber of the Russian Federation. It is carried out to assess the feasibility, risks and results of achieving strategic goals, as well as the impact of external and internal factors on the progress towards these strategic goals.

“All these facts serve as an evidence that evaluation is developing as a profession,” Irina Efremova-Garth summarizes.

Elena Malitskaya, president of the Siberian Civic Initiatives Support Center (SCISC) notes that there is a growing demand from the state for specialists in evaluation in the country. “However, this demand is quite narrow – for a specific type of evaluation only, related to a review of applications, projects and programs,” Elena Malitskaya says.

Marina Mikhailova, director of the Garant Center, agrees that the demand for specialists in evaluation and the respective training is growing.

“So far, evaluation remains an expertise, not a profession. But 15–20 years ago, it was merely a discussion between specialists; today the situation has changed greatly. On the one hand, there is a lot more talking about evaluation. On the other hand, every applicant in the presidential and other grant competitions needs to evaluate the results of their projects. In addition, there are more educational products that teach self-evaluation,” Marina Mikhailova says.

There are contests rewarding people and organizations that pay attention to evaluation, she continues. The expert community started looking at the annual reports to see whether they contain information about the evaluation of the organization’s performance. They also started realizing that evaluation is not the tool of a few super-specialist, but something everyone has to do, one way or another. Sometimes employees of organizations are just unaware of this.

Evaluation has come a long way towards professionalization, but it still has a long way to go, says Natalia Kosheleva, president of the Association of Specialists in Program and Policy Evaluation, a consultant on monitoring and evaluation of socially oriented programs and projects.

“Any profession is constantly evolving in some direction. Professions are becoming more and more niche, evaluation is no exception. It’s a small profession, but it’s growing pretty fast,” she says.

WHERE DO EVALUATION SPECIALISTS COME FROM?

There are not as many people around the world with a degree in evaluation as there are lawyers or economists. Our colleagues in the West have Master’s and PhD degree programs in evaluation, but given its interdisciplinary nature, the number of people in this profession is not determined by the number of those who received a University degree, experts say.

So where do specialists in evaluation come from, and how do they build a professional career? Alexey Kuzmin says that the Association of American, Canadian, and European specialists in evaluation, which has several thousand members each, consists of people with very different backgrounds.

“Let me list: just in terms of the underlying education, there are psychologists, sociologists, educators, medics, engineers, computer technology specialists, economists, managers, statisticians. Of course, if you graduated from a University program where you received training in sociological research methods, it’s a good help,” he says.

The expert himself came to the evaluation in the late 1990s from organizational development consulting. In 1999 he became a member of the American Evaluation Association, attended conferences and seminars abroad, read literature in English, and in 2001 he decided to attend a PhD program in the United States, specializing in organizational behavior and program evaluation.

“A lot of people overseas that I know of have professional careers as internal evaluation specialists. This is, of course, common in large companies. The common denominator for all stories is that at some point a person faces the need for evaluation, and something resonates inside, they find it exciting. And that’s where you start a turn in this direction – searching for information, training, searching for specialists who do this,” says Alexey Kuzmin.

Elena Malitskaya also cites 1998–1999 as the years in which her work became closely tied to evaluation. “At that time, we at the Siberian Civic Initiatives Support Center were conducting our own grant competitions. So we had a need for monitoring, evaluation and training. We just started integrating evaluation into our work routine and into the work of our network of resource centers. In 2000, we held the first school of evaluation and international conference in Novosibirsk, which eventually grew into regular activities,” Elena Malitskaya says.

Alena Bogomolova, head of the Resource and Methodological Center of the Road Home Charitable Foundation and a board member of the Association of Specialists in Program and Policy Evaluation, is one of those who received training from SCISC and The Garant Center at the International School of Evaluation. Alena Bogomolova is a sociologist by education. She says she had done many practical projects during her University years that were related to evaluation in one way or another, except that it was called differently at the time. “It was called sociological support in the early 2000s, at least in Cherepovets. But the set of activities was the same as what we now call evaluation, or evaluation design. I have studied before, I am studying now, and I will continue to study, because evaluation is a constantly evolving profession,” she says.

Irina Efremova-Garth and Natalia Kosheleva received their Master’s degrees from American universities. Irina earned her MPA (Master of Public Administration) from the School of Public Administration at the University of Delaware.

“In my two years of training, my schedule included classes on various research methods, on evaluation in general, on evaluation in nonprofit organizations. It was so delicious, so interesting, and so exciting that all my plans to go into the government went straight to the bottom of my priority list. I returned to Moscow realizing that I would be involved in evaluation and nonprofit organizations,” the expert continues.

She says she has been in different roles: the customer of evaluation, internal evaluator, and external evaluator. Her work at IBM had given her some interesting insights: data-savvy and digitally savvy nonprofits are much more likely to achieve their mission, to be able to prove their contribution to addressing the social problem at hand.

Natalia Kosheleva learned about evaluation during her Master’s degree studies at Indiana University’s School of Public and Environmental Affairs.

“It was March 1996. I came across a vacancy announcement for a specialist to evaluate two environmental projects funded by IREX (International Research and Exchanges Board). That was the first time I saw evaluation might be a thing. The beauty of an American university is that it has an open library. I just went in, found some books on the topic, read them, got an idea about the general principle, and applied. And they hired me,” Natalia Kosheleva explains.

Irina Sinelina, a specialist in program and project evaluation at International Labor Organization (ILO), received her Master’s degree in Nonprofit Management in the United States and interned at a nonprofit organization in New York. Then she returned to Moscow and got her first job at a nonprofit organization, where she was to analyze the effectiveness of trainings, before coming to work at the International Labor Organization, as an evaluation officer.

“Like all UN organizations, ILO has an internal evaluation system. This is done for the purpose of donor accountability, increased experience, and work improvement. Like the rest of the UN system, we follow the standard criteria developed by the Organization for Economic Co-operation and Development (OECD). There are five basic principles: relevance, effectiveness, efficiency, sustainability, and impact. Two years ago, another one was added – coherence,” Irina Sinelina says.

Marina Mikhailova learned the principles and approaches to evaluation (including organizational development evaluation and personnel evaluation) from Process Consulting and the Siberian Civic Initiatives Support Center, and international schools.

“All the small pieces got together, one after another, to build the big theoretical experience. In practice, it is, first of all, extensive experience in evaluating projects submitted for grant competitions. We, at the Garant Center, have been organizing these contests since 2001 in Arkhangelsk Region. Later I took part in reviewing applications for other contests and evaluating the results of the projects we had supported. I also had some experience in evaluation from the times I was the director of a recruitment agency. as such, I had to evaluate personnel and the management system in the organization,” Marina Mikhailova continues.

KNOWLEDGE AND COMPETENCIES

The topic of knowledge and competencies in evaluation is closely related to the topic of learning. If we know what the competencies are needed, we know what to teach them, and how to write job descriptions.

Since the late 1980s, various professional associations of evaluators started publishing lists of competencies. For example, the UN Evaluation Group believes that an evaluator should have basic professional competencies, technical skills, management skills, interpersonal skills, and promote a culture of evaluation.

Canada, a country that has established a certification system for evaluators, suggests the following areas of competence for a practicing evaluation specialist^[18]:

1. Reflexive – competencies related to fundamental norms and values in the field of evaluation, as well as awareness of one’s own expertise and needs for professional growth.

2. Technical – competencies related to specific aspects of evaluation: planning, data collection, data analysis, reporting.

3. Situational – competencies related to evaluative thinking applied to analyze and consider the interests, problems, and circumstances specific to each evaluation.

4. Managerial – competencies related to the project/evaluation management process (budgeting, resourcing, management).

5. Interpersonal – competencies related to communication, negotiation, conflict resolution, cooperation.

The Association of Specialists in Program and Policy Evaluation has not yet produced a similar list of competencies. Natalia Kosheleva, ASPPE President, emphasizes an understanding of how programs and projects work as one of the core competencies of evaluation specialists in Russia. Equally important is the ability to collect, analyze and present data. Communication and interpersonal competencies are necessary for those involved in external evaluations. Finally, visual communication skills are increasingly demanded lately.

Alena Bogomolova says that an evaluator needs to be able to exchange opinions and knowledge freely.

“You need groups of people or platforms where you can talk about what you’re getting/not getting and discuss everything before embarking on the journey of evaluation: the best ways to proceed, questions to formulate, design to use. You need to be able to talk to other people about it. Because it is very difficult to develop in a vacuum. What else is important? In my opinion, it is vital to have your own value-based professional position, from which you will make an evaluation,” she says.

Marina Mikhailova agrees: “To be a professional, you have to be part of the professional community, sharing experiences, learning from others, communicating. And it is important that would-be evaluators follow ethical standards. Still, evaluation is not an audit, not an inspection. And here it is important to remember that evaluation is not about giving an A or an F; it is about answering the right questions and making the right decisions. An evaluator is a person who has come to help sort things out,” Marina Mikhailova explains.

Evaluation is an incredibly interesting field, Irina Efremova-Garth notes, because an evaluator must have skills from many different areas.

“You have to be extremely proficient at doing different kinds of research, extremely good at data crunching. You must have very good management skills. After all, evaluation is rarely done by just one person. It usually requires a team, so you have to be able to build processes properly, allocate roles in the team and manage results. You have to have reflection, critical thinking skills,” the expert adds.

Irina Sinelina believes that it is important to have a good basic education in liberal arts, which builds analytical skills, and a good knowledge of English, because much of the material about evaluation is written in English. The rest you can learn by practice.

PROFESSIONAL STANDARD

As mentioned earlier, one of the stages in the development of a profession is a professional standard. Why do we need a professional standard in any activity? As noted in Decree No.23 of the Russian Government dated January 22, 2013 professional standards are applied^[19]:in developing the personnel policy, preparing job descriptions, in developing vocational education programs and standards.

According to Alexey Kuzmin, an attempt was made in 2015 to develop a professional standard for a specialist in program and policy evaluation in the social sphere. It was initiated by an independent business expert, Alexander Ovchinnikov. The application for development was registered at the Ministry of Labor of Russia website. A working group was established, including representatives of Process Consulting Company and ASPPE, basic research and analysis of the professional activities were conducted, the first draft of the professional standard was developed, and a public discussion took place; however, the work on the document was halted at some point, and the professional standard was not approved by the Ministry.

“I think it is a little premature to develop such a professional standard today. There is no profession yet, it has not yet been established. The big picture, as seen by the Ministry of Labor, still lacks both supply and demand for this profession,” Alexey Kuzmin explains.

Natalia Kosheleva suggests that the ministry’s job was to develop professional standards for basic professions, something that a program and policy evaluation specialist clearly isn’t so far.

“The Ministry of Labor had different expectations at the time, and it had a mission to cover all mass occupations. Ours is definitely not one of those. I think that was the reason. But the standard may indeed emerge at some point, as the profession develops further. When we gain enough visibility for the state to decide we need regulation. It’s like the story of licensing all kinds of activities. To be seen, there must be a lot of you,” says Natalia Kosheleva.

The National Council for Professional Qualifications under the President of the Russian Federation also reviews drafts of professional standards in Russia. Based on the National Council’s conclusions, a decision is made to approve professional standards. As explained by Artem Shadrin, General Director of the National Agency for the Development of Qualifications, when developing a professional standard, it is important not to duplicate existing ones, approved under a similar name. It would be good to get the support of some reputable organizations working in this area, as well as the relevant federal ministry, which would confirm the need for developing such a document.

Once a professional standard has been approved by the Ministry of Labor of Russia, it is then sent to the National Council for Professional Qualifications under the President of the Russian Federation. If approved by the National Council, which represents leading employers’ organizations, such as the Russian Union of Industrialists and Entrepreneurs, the Chamber of Commerce and Industry, trade unions and federal ministries, the standard is then enacted by order of the Ministry of Labor and registered with the Ministry of Justice.

Why does the professional standard story remain unfinished? What could be the reasons?

“First, the Ministry of Labor may see no need for such a professional standard. This is a classic unsolved problem. For example, as for a director per se, there is no such professional standard, and the ministry believes that it is not necessary. Likewise, there is no professional standard for an entrepreneur. On the one hand, this doesn’t seem like a job function; but, on the other hand, it can be considered a type of professional activity. The Ministry of Labor has not yet agreed to develop a professional standard for this activity,” Artem Shadrin says.

He explains it may also happen that an initiative group tasked with developing a professional standard fails to have it approved by the relevant ministry, or the project might not win support from professional associations.

“You cannot get a standard approved without a consensus in the professional community. That’s the challenge: developing a professional standard is a search for touching points. Its development is a long story, but nevertheless, nothing is impossible. As long as there is a desire and support from the relevant ministry, which is always important,” Artem Shadrin adds.

WHAT DOES THE EVALUATION SPECIALIST AS A PROFESSION STRIVE TO GIVE TO THE SOCIETY?

The American philosopher Thomas Schwandt wrote an article in 2017, in which he outlined the need to discuss the ethos of evaluation^[20]. That is, the lifestyle of a social group that associates itself with evaluation. According to him, right now, most of the professional community is just talking about competencies and training. Specifically, he writes:

“…Most glaring is the lack of active discussion about what professionalism in evaluation means and what the profession itself seeks to bring to the society.”… “The critical question for the global evaluation community is how that community understands its role in relation to its clients and the society at large.”

What do members of the Russian program and policy evaluation community think about this, and how would they answer the question posed by Thomas Schwandt?

“To me, the profession of an evaluator means objectivity and a competent approach to management decision-making. Because evaluation is based on the principle of triangulation. Before you make any decisions, you have to consider your issue from different perspectives. There is triangulation by attribute, by method, by data source. You cannot make a decision based on any single fact,” Alena Bogomolova reasons.

Irina Efremova-Garth believes that evaluation gives the public a sense of confidence in the quality of management and the appropriate level of effectiveness of the programs implemented by the state, a company, or a nonprofit organization.

“If we talk about the nonprofit sector, the focus is often on how many projects have been supported, how many beneficiaries are covered, and how many grants have been awarded. These are important indicators, but they don’t give us any information about what changes are taking place because of that nonprofit’s work. At best, these numbers only describe the grant manager’s performance. But they do not explain how our lives or the lives of certain groups change for the better,” the expert says.

When you have the evidence base and can show what actions have been taken to address a social problem and what their effect was, this is a highly valuable step, because it helps build confidence in the society.

Irina Sinelina of the International Labor Organization believes that the public benefit provided by evaluation is the accountability in the use of money.

“The ILO, as an international organization, uses taxpayers’ money that comes from different countries. Evaluation is an opportunity to understand how well the funds were spent, and how they can be spent better in the future, how the projects can be improved, and how change can be effected. We collect data, we learn, we study the degree of usefulness of our activities. This knowledge guides our future decisions”, Irina Sinelina explains.

Natalia Kosheleva agrees that evaluation helps use resources more effectively to improve people’s lives. She recalls that evaluation of social projects and programs originated in the United States and was first used in projects aimed at fighting poverty and overcoming social inequality.

“Globally, evaluation is about improving the lives of the most vulnerable people. When I began to specialize in evaluation, I realized it was really an analysis that allowed me to improve the quality of the program. It is a tool for informing your actions, learning from experience, and improving from empirical data. After all, this is not just any evaluation: this is about evaluating social projects, ensuring a more efficient use of resources and a higher effectiveness of social projects,” she says.

WILL THE EVALUATION BE DEMANDED IN THE FUTURE

The profession of evaluator will certainly be in demand in the future all over the world, the experts agree. “It’s already the gold standard in the public and private sector,” Irina Sinelina says.

“Evaluation has everything it takes to become a profession, and it will certainly become one. But this will be the result of an evolutionary process, through accumulation of knowledge, understanding of the reasons why it is needed, the growing demand for evaluation professionals, establishment of a community that can raise those professionals, and the emergence of educational products,” Marina Mikhailova forecasts.

The future is often associated with artificial intelligence. “Who is a project and program evaluator?”, we asked ChatGPT. This is what the AI told us: “A project and program evaluator is a professional expert engaged in assessing the value of projects and programs. He or she can work in various sectors of the economy, as well as in the legal market. To be successful, the professional needs to be educated and experienced in financial analytics, be able to work with various forms of assets, to develop valuation models, analyze information, and produce recommendations on improving property values.”

As we can see from this definition, the neural network does not yet understand the difference between a property evaluator and a project and program evaluator. This means that the Russian professional community still has a lot of work to do to make itself known. After all, the profession is still in its infancy. And it still has a long journey ahead, building the demand, ensuring full employment of specialists, setting up professional training schools, developing and approving professional standards, the code of ethics, and establishing an image for itself. As they say, time will tell how the professionalization of evaluation will develop and whether artificial intelligence can compete with it.

This article was written using presentations by Alexey Kuzmin and a video from the ASPPE conference “Valuation in a Changing World: Partnerships and Infrastructure”, session “Professionalization of Evaluation in Russia and the World”.

Оценка в настоящем и будущем: взгляд грантодающих организаций

Ирина Ефремова-Гарт, Татьяна Печегина

DOI 10.55140/2782–5817–2023–3–1–28–33

Какие значимые изменения произошли в 2022 году в сфере оценки в целом и в практике проведения оценки в грантодающих организациях? Каким вопросам стоит уделить внимание профессиональному сообществу в 2023 году? Редакция журнала «Позитивные изменения» спросила об этом представителей Форума Доноров – ассоциации крупнейших грантодающих организаций, системно занимающихся благотворительностью, и чья работа направлена на повышение прозрачности фондов и НКО.

Ирина Ефремова-Гарт

Первый заместитель директора Форума Доноров

Татьяна Печегина

Журналист

ТРЕНДЫ, СФОРМИРОВАВШИЕСЯ В 2022 ГОДУ

В современном обществе в последние годы происходит трансформация социальной сферы – все чаще стали говорить о социальном воздействии, качественных изменениях в обществе и эффективных результатах реализации соответствующих проектов и программ.

2022 год продемонстрировал реальный потенциал и пользу оценки. На сегодняшний момент доноры рассматривают ее как инструмент, позволяющий сделать выводы об эффективности поддержанной или самостоятельно реализованной проектной деятельности. При этом у большинства уже есть понимание, что оценка – это в первую очередь источник информации для разработки дальнейшей стратегии: развитие или прекращение проектной деятельности, сонастройка с меняющимися внешними условиями, обеспечение устойчивости имеющихся позитивных изменений и возможности тиражирования технологий, успешно прошедших стадию пилотирования.

Неизменно растет число доноров, умеющих описывать ожидаемые результаты программ в измеряемых и конкретных формулировках, с привязкой к определенному сроку. Еще одним качественным изменением стала практика разработки цепочки результатов: от немедленных к долгосрочным, что позволяет отследить последовательность позитивных изменений, которые происходят во внешней среде благодаря поддержке донора.

Всё чаще стал встречаться гибридный подход к процессу оценки, когда сторонние эксперты участвуют в разработке методологии, анализе данных и выработке рекомендаций, а сбор информации, интерпретация данных, презентация результатов коллегам и контроль за процессом их использования остается за заказчиком. Ранее внешние специалисты привлекались преимущественно на полный цикл.

Что касается использования донорами результатов оценки, то чаще всего они направлены на повышение эффективности программной деятельности. Чуть реже их применяют для пересмотра целей программы или направлений деятельности, зафиксированных в программных портфелях. Наиболее серьезным был скачок, произошедший за последние несколько лет, в использовании результатов оценки для уточнения стратегических приоритетов. Сегодня для этой цели ее используют подавляющее большинство крупных донорских структур, то есть она становится не только инструментом оперативного, но и стратегического управления благотворительной деятельностью и социальными инвестициями.

Еще одним трендом, оформившимся в течение 2022 года, стало внимание доноров к оценке институционального развития НКО. Все чаще они оказываются готовы инвестировать в укрепление и развитие организационного потенциала НКО, а не только в проектную деятельность, поскольку очевидно, что сильные проекты не может делать слабая организация. Но и в вопросе финансирования проектов доноры стали обращать внимание на уровень организационной зрелости потенциальных партнеров и грантополучателей из числа некоммерческих организаций. Как отстроены процессы стратегического планирования и управления операционной деятельности, процессы фандрайзинга, внешних и внутренних коммуникаций, управления человеческими ресурсами и их развитием – все это является крайне важным. При этом оценка может быть проведена как самим донором или нанятыми им внешними экспертами, так и НКО, претендующей на получение финансирования. Это не только вносит вклад в формирование культуры оценки в НКО, но помогает ей определить зоны своего организационного развития.

Важно отметить, что до сих пор многие организации ошибочно считают социальный эффект от реализации программ синонимом оценки социальных результатов. Эти понятия, безусловно, взаимосвязаны. Социальный эффект – это изменения в сообществе и качестве жизни благополучателей, которые могут произойти благодаря достижению запланированных социальных результатов. В связи с этим особую важность приобретает умение декомпозировать цели благотворительных инициатив со стратегического уровня до проектного. Еще один важный признак оценки социального эффекта – возможность отнести происшедшие изменения на счет программы. Но, к сожалению, методологию сбора данных, позволяющую доказательно подтвердить это, пока используют лишь единицы.

Неизменно растет число доноров, умеющих описывать ожидаемые результаты программ в измеряемых и конкретных формулировках, с привязкой к определенному сроку. Еще одним качественным изменением стала практика разработки цепочки результатов.

ОБНОВЛЕНИЕ ПОЗИЦИИ ПО РАЗВИТИЮ КУЛЬТУРЫ ОЦЕНКИ

Результатом сформировавшихся в 2022 году трендов, а также требующих оперативного реагирования сложностей, с которыми столкнулось сообщество грантодающих организаций, стала актуализация «Позиции по развитию культуры оценки в донорском сообществе». Это документ, разработанный и принятый членами Форума Доноров в 2015 году, в Международный год оценки, когда ей были посвящены ежегодная конференция и первое в России исследование о ее месте и роли в фондах. Роль эта велика, учитывая, что для донорских организаций оценка – это непрерывный процесс получения новых знаний о реализуемых программах и проектах и возможность улучшения благотворительной деятельности и социальных инвестиций. В Позиции отражены основные направления приложения усилий доноров по формированию и продвижению культуры оценки у них самих и в организациях, которым они оказывают поддержку. За несколько лет из разовых разрозненных инициатив оценка стала инструментом управления не только отдельными программами и проектами, но и всем портфелем.

Растет внимание доноров к оценке институционального развития НКО. Все чаще они оказываются готовы инвестировать в укрепление и развитие организационного потенциала НКО.

За прошедшее с момента принятия документа время оценка перестала восприниматься как просто «проверка», став важным элементом дизайна проектов. Уровень экспертизы сотрудников стал значительно выше, появились новые зоны роста. Исходя из важности формирования и продвижения культуры оценки и значимости развития ее потенциала и среди донорских организаций, и среди их грантополучаталей, членами Форума Доноров было принято решение актуализировать положения Позиции по ключевым, критически важным направлениям^[21].

А именно:

• Интеграция оценки в деятельность донорских организаций Фонды или компании, занимающиеся благотворительностью и социальными инвестициями, будут стремиться сделать оценку неотъемлемой и естественной частью своей деятельности, разрабатывать и внедрять практики и системы оценки, адаптированные к специфике своей деятельности, и продвигать оценку среди своих партнеров и грантополучателей.

• Повышение полезности оценки, практическое использование ее результатов

Оценка имеет смысл лишь в случае, если используется для принятия решений и усиления достигаемых эффектов. Ее результаты должны приносить максимальную пользу всем стейкхолдерам программы, включая самого донора, грантополучателей, благополучателей и других партнеров.

• Создание возможностей для роста компетентности в области оценки

Сотрудники, ответственные за реализацию программ, должны получать и развивать знания и навыки, необходимые для качественного планирования и проведения оценки. В интересах организации создать необходимые условия для этого.

В российском и в международном донорских сообществах формируется тренд на повышение внимания к качеству управления воздействием.

• Развитие оценочного потенциала грантополучателей

Донорские организации будут стремиться к созданию условий для усиления оценочного потенциала грантополучателей. В случае недостаточности ресурсов последних донорская организация будет стараться предоставить им доступ к недостающим ресурсам через дополнительное финансирование, обучение и консультации, и привлечение профильных специалистов по оценке.

• Соблюдение и продвижение профессиональных принципов и стандартов

Организации, внедряющие у себя систему оценки, должны руководствоваться профессиональными принципами и стандартами, среди которых: открытость процесса оценки, обеспечение безопасности ее участников, уважение их достоинства и особенностей.

• Развитие и обмен знаний об использовании результатов проведенных оценок и практиках оценки

Для формирования культуры обмена знаниями и повышения синергетического эффекта от проведения оценки донорские организации будут стремиться сделать информацию открытой, доступной и понятной широкому кругу заинтересованных сторон. Также важно организовать обмен опытом с донорским сообществом, грантополучателями и профессиональными тематическими сообществами.

Безусловно, культура оценки должна быть сонастроена с миссией организации и более широкой организационной культурой, поэтому к работе по ее продвижению предполагается привлекать всех ключевых стейкхолдеров благотворительности и социальных инвестиций, включая учредителей, сотрудников, грантополучателей и партнеров по реализации социальных и экологических программ и проектов.

ЗОНЫ РОСТА В 2023 ГОДУ

Сегодня буквально на наших глазах в российском и в международном донорских сообществах формируется тренд на повышение внимания к качеству управления воздействием. Фонды и социально ответственный бизнес, инвестирующие в снижение уровня бедности, улучшение доступа к услугам и ресурсам, сохранение и защиту окружающей среды, заинтересованы в оценке эффективности своей работы. Подобный анализ дает понимание, достигаются ли поставленные цели, какие механизмы и технологии максимально эффективны, каковы критерии достижения запланированного воздействия.

Также наблюдается тренд использования прогностической оценки, для разработки инструментов которой доноры работают в партнерстве с экспертным сообществом. Решения, разрабатываемые специалистами, используются не только для оценки фактически достигнутого результата, но и для анализа потенциала организаций и проектов, желающих снизить риски и гарантировать высокую эффективность инвестиций.

К примеру, проводится анализ потенциального воздействия не только на уровне проекта непосредственно для его заинтересованных сторон, но и на уровне рынка в целом. Оцениваются вклад проекта в создание системных рыночных эффектов, показатель уровня интенсивности – иными словами то, как проект способен устранить обозначенную проблему. Анализируется ситуация, которая имела бы место, если бы проект не был реализован (фактор контрфактуальности), оценивается потенциальный негативный эффект.

Безусловно, такие методики и решения нельзя отнести к категории простых, их использование потребует отдельных инвестиций, но потенциальная польза и эффект от их внедрения гарантируют достойный возврат на эти инвестиции.

Еще один аспект, которому доноры в настоящее время стали уделять все больше внимания, – использование принципов справедливой оценки (equitable evaluation). Подход позволяет осознавать и учитывать всю сложность человеческого опыта, накопленного в процессе преобразований, инициированных деятельностью донорских организаций. Соблюдение этих принципов, их сонастроенность с российской действительностью дает возможность максимально вовлечь благополучателей и другие заинтересованные стороны в процесс анализа эффективности потенциального и фактически произведенного воздействия. Это необходимо, чтобы учитывать их ценности и видение, а также свое временно включать их в дизайн проектов и стратегию работы фондов и социально ответственных компаний.

The Present and the Future of Evaluation: The Donors’ View

Irina Efremova-Garth, Tatiana Pechegina

DOI 10.55140/2782–5817–2023–3–1–28–33

What significant changes have taken place in 2022 in the field of evaluation in general and in the practice of evaluation in donor organizations? What issues should the professional community pay attention to in 2023? The Positive Changes Journal editors asked these questions to the participants of the Donors Forum, a association of major donor organizations that systematically engage in charitable activities and whose work is aimed at improving the transparency of foundations and non-profit organizations.

Irina Efremova-Garth

First Deputy Director of the Donors Forum

Tatiana Pechegina

Journalist

THE TRENDS OF 2022

The contemporary society is experiencing a transformation of the social sphere in recent years, as more and more people are talking about social impact, qualitative societal changes and effective implementation of relevant projects and programs.

2022 has shown that evaluation is a very useful instrument with high potential. Donors currently see it as a tool enabling them to draw conclusions about the effectiveness of the project activities being supported or independently implemented. At the same time, most already have an understanding that evaluation is primarily a source of information for further strategy development: deciding whether to continue or stop project activities, adjusting to the changes in the environment, managing the sustainability of existing positive changes and the possibility of replicating the technologies that have successfully passed the piloting stage.

The number of donors who are able to describe expected program results in measurable and specific terms, with a specific timeframe, is steadily growing. Another qualitative change is the practice of developing a chain of results: from immediate to long-term, which makes it possible to track the sequence of positive changes that occur in the external environment thanks to that donor’s support.

A hybrid approach to the evaluation process is becoming increasingly common, with outside experts participating in the methodology development, data analysis and providing recommendations, leaving it up to the client to collect information, interpret data, present the results to colleagues, and manage their implementation. Previously, external specialists were mainly engaged for the full cycle.

As for the use of evaluation results by donors, these are most often aimed at improving the effectiveness of program activities. They are used less often to revise program goals or activities set forth in program portfolios. The most dramatic leap of the past few years is related to the use of evaluation results to refine strategic priorities. Today it is used for this purpose by the overwhelming majority of large donor organizations; that is, it becomes a tool not just for day-to-day steering, but also for strategic management of charitable activities and social investment.

Another trend that took shape during 2022 was the donors’ focus on evaluating the institutional development of nonprofits. Increasingly they are willing to invest in building and developing the organizational capacity of the nonprofits rather than merely in project activities, since it is obvious that a weak organization is not in the position to do strong projects. But donors have also started to pay attention to the organizational maturity of prospective partners and grantees from non-profit organizations when it comes to financing projects. It is extremely important to see how the strategic planning and operations management processes, fundraising, external and internal communications, human resource management and development are built up. Evaluation can be carried out by the donor directly, by third-party experts hired by the donor, or by the actual non-profit organization applying for funding. This not only contributes to the development of an evaluation culture in the world of nonprofits, but also helps the organizations to identify priorities of their organizational development.

It is important to note that many organizations still mistakenly consider the social effect of their programs to be synonymous with the evaluation of social results. These concepts are certainly interrelated. Social effect is the change in the community and the quality of life of the beneficiaries that can occur thanks to the achievement of planned social outcomes. In this regard, it is particularly important to be able to decompose the goals of charitable initiatives from the strategic realm to the project detail. Another important feature of social impact evaluation is the ability to attribute changes to the program. Unfortunately, only a few organizations are actually using the data collection methodology that can convincingly prove this.

The number of donors who are able to describe expected program results in measurable and specific terms, with a specific timeframe, is steadily growing. Another qualitative change is the practice of developing a chain of results.

UPDATING THE POLICY STATEMENT ON DEVELOPING THE EVALUATION CULTURE

As a result of the trends that emerged in 2022, as well as the challenges faced by the donor community that require an immediate response, we have updated our Policy Statement on Developing the Evaluation Culture in the Donor Community. This is a document developed and adopted by the members of the Donors Forum in 2015, the International Year of Evaluation, when it was the subject of an annual conference and the first study in Russia on its place and role in foundations was conducted. This role is great, given that for donor organizations evaluation is a continuous process of gaining new knowledge about ongoing programs and projects and an opportunity to improve their charitable activities and social investment.

The Policy Statement reflects the donors’ efforts to build and promote an evaluation culture among themselves and the organizations they support. In just a few years, evaluation has gone from being a one-time, isolated initiative to a management tool, not just for individual programs and projects, but for the entire portfolio.

The donors’ focus on evaluating the institutional development of nonprofits is growing. Increasingly they are willing to invest in building and developing the organizational capacity of the nonprofits.

In the time since the document was adopted, evaluation has ceased to be perceived as just a “check”, and has become an integral element of project design. The employees’ expertise level has grown significantly, and new growth areas have emerged. Based on the importance of building and promoting an evaluation culture and the importance of developing its potential among both donor organizations and their grantees, members of the Donors Forum decided to update the provisions of the Policy Statement on key areas of critical importance^[22].

Namely:

• Integrating evaluation into the activities of donor organizations

Foundations or companies engaged in philanthropy and social investment will strive to make evaluation an integral and natural part of their activities, develop and implement evaluation practices and systems tailored to their specific activities, and promote evaluation among their partners and grantees.

• Improving the effectiveness of evaluation and ensuring practical use of its results

Evaluation only makes sense if it is used to guide decision-making and reinforce the effects achieved. Its results should be of maximum benefit to all stakeholders in the program, including the donor, grantees, beneficiaries, and other partners.

• Creating opportunities for the growth of evaluation competence

The staff responsible for implementing programs must acquire and develop the knowledge and skills necessary for quality planning and evaluation. It is in the interest of the organization to create the prerequisites for this growth.

A new trend is appearing right before our eyes, as both Russian and international donor communities are starting to focus more on the quality of impact management.

• Developing the grantees’ evaluation capacity

Donor organizations will seek to create conditions to enhance the grantees’ evaluation capacity. If the latter do not have sufficient resources for that, the donor organization will try to provide them with access to the missing resources through additional funding, training and consultations, and the involvement of specialist evaluators.

• Adherence to and promotion of professional principles and standards

Organizations that implement an evaluation system must be guided by professional principles and standards, including: openness of the evaluation process, ensuring the safety of its participants, and respect for their dignity and distinctions.

• Developing and sharing knowledge about the use of evaluations and evaluation practices To build a culture of knowledge-sharing and enhance synergies in evaluation, donor organizations will strive to make information open, accessible, and easily digestible for a wide range of stakeholders. It is also important to share experiences with the donor community, the grantees, and professional specialist communities.

Definitely, an evaluation culture must be aligned with the organization’s mission and the overall organizational culture, so all key stakeholders of charity and social investment, including founders, employees, grantees and partners in social and environmental programs and projects, are expected to be working to promote it.

GROWTH AREAS IN 2023

Today, a new trend is appearing right before our eyes, as both Russian and international donor communities are starting to focus more on the quality of impact management. Foundations and socially responsible businesses that invest in reducing poverty, improving access to services and resources, and preserving and protecting the environment are all interested in evaluating their performance. Such an analysis provides an understanding of whether there is a progress towards achieving the goals, what mechanisms and technologies are most effective, and what the criteria are for achieving the planned impact.

There is also a trend toward the use of predictive evaluation, with donors working in partnership with the expert community to develop new tools for it. The solutions developed by specialists are used not only to evaluate the actual results achieved, but also to analyze the potential of organizations and projects seeking to mitigate risks and guarantee high investment efficiency.

For example, potential impact is analyzed not only at the project level, specifically for its stakeholders, but also at the level of the market as a whole. The evaluation looks at the project’s contribution to developing systemic market effects, to the intensity level indicator – in other words, how the project is able to address the problem identified. The evaluation looks at what the situation would have been if the project had not been implemented (counterfactual factor) and considers the potential adverse effects.

Of course, such methods and solutions cannot be classified as simple, and their use will require separate investments; however, the potential benefits and effects of their implementation guarantee a decent return on this investment.

Another aspect the donors are now increasingly focusing on is the use of equitable evaluation principles. The approach makes it possible to recognize and account for the complexity of human experience accumulated in the process of transformations initiated by the activities of donor organizations. Adherence to these principles and their alignment with the Russian reality provides an opportunity to maximize the involvement of beneficiaries and other stakeholders in the process of analyzing the potential and actual impact. This is necessary in order to take account of their values and vision, as well as to incorporate them promptly into the project design and strategy of foundations and socially responsible companies.

Экспертные статьи / Expert Publications

«Сделай сам»: как НКО оценивать проекты своими силами

Алексей Кузьмин

DOI 10.55140/2782–5817–2023–3–1–34–43

Многие эксперты считают, что самооценивание – одна из ключевых тенденций развития оценки. Между внешней оценкой и самооцениванием есть и сходство, и существенные различия. В статье обсуждается значение принципов для проведения оценки, а также даются рекомендации для ситуации само оценивания НКО.

Алексей Кузьмин

PhD, генеральный директор ООО «Компания «Процесс Консалтинг», Член Совета Международной Академии оценки

ИСТОРИЯ ОДНОГО ПРЕДСКАЗАНИЯ

В 2012 году американский специалист по оценке Джон Гаргани, который чуть позже стал президентом Американской ассоциации оценки, назвал в своем блоге 10 предсказаний относительно будущего оценки программ и проектов. Первое из них звучало так: «Оценки, по большей части, станут внутренними» (Gargani, 2012).

О чем здесь шла речь?

Начнем с того, что оценка программы (проекта) состоит в «систематическом сборе информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее» (Patton, 2008).

Предположим, что некая организация выполняет проект. Оценка этого проекта может проводиться силами внешних по отношению к организации специалистов. Такую оценку называют внешней. Оценка проекта также может быть произведена силами специалистов самой организации. В этом случае её принято называть внутренней. Иногда во внутренней оценке особо выделяют самооценивание, когда проект оценивают те же люди, которые его реализуют.

Оценка проектов и программ социальной направленности начала активно развиваться в США в 60-е годы прошлого века. Требование проводить оценку было «спущено» сверху поначалу в учреждения образования, а затем и в другие сферы. Это было нововведением, и проведение оценки было исключительно уделом внешних консультантов, обладавших соответствующими компетенциями.

Вскоре стало понятно, что организациям следует развивать собственный потенциал в области оценки. В течение 10–15 лет накопился соответствующий практический опыт. На конференции Американской ассоциации оценки 1982 года развитие практики внутренней оценки стало одной из центральных тем (McClintock, 1983).

Канадец Арнольд Лав (A. J. Love, 1983) отмечал, что внутренняя оценка выполняет две основные функции: во-первых, она позволяет получить релевантную и своевременную информацию для принятия управленческих решений; а во-вторых, сам процесс проведения внутренней оценки положительно влияет и на принятие решений, и на качество работы организации. Лав предполагал, что «в течение следующих нескольких лет мы можем ожидать продолжения роста и изменений во внутренней функции оценки» (A. J. Love, 1983). Кстати, этот прогноз был опубликован за 30 лет до предсказания Джона Гаргани.

Примерно в то же время Эрнест Хаус (House, 1986) заметил, что в практике государственных организаций в США происходит переход от внешних оценок, которые проводились преимущественно университетами и частными компаниями, к внутренним оценкам, проводимым специально созданными для этого подразделениями. При этом большая часть имевшихся на тот момент публикаций относилась именно к внешней оценке. Потому выход в свет книги А. Лава «Внутренняя оценка: построение организаций изнутри» (A. J. Love, 1991) стал заметным событием. Автор этой книги является одним из самых цитируемых и по сей день, когда речь идет о внутренней оценке.

Таблица 1. Преимущества и ограничения внешней и внутренней оценки

Прошло 20 лет, и в серии «Новые направления в оценке»^[23] вышел сборник под названием «Внутренняя оценка в 21 веке». Такое вот новое старое направление…

В интервью с редактором сборника (Volkov, 2011) Арнольд Лав вспоминает, что в 90-е годы до 60 % оценок, проводившихся в США, были внутренними. При этом в разных странах внутренняя оценка развивалась по-разному. В частности, в Канаде федеральное правительство еще в конце 70-х приняло решение о том, что оценки государственных программ должны быть преимущественно внутренними, а Японское общество оценивания в 2006 году сообщило, что в их стране 99 % оценок – внутренние.

Несмотря на то, что внутренняя оценка активно внедряется во всем мире, число исследований и публикаций на эту тему и во второй декаде 21 века по-прежнему весьма ограничено (Volkov & Baron, 2011). Однако вопросы развития внутренней оценки в небольших организациях с ограниченными ресурсами обсуждаются все чаще (Baron, 2011; Rogers, McCoy, & Kelly, 2019).

Практика показывает, что внутренняя оценка благополучно сосуществует с внешней оценкой, и большинство специалистов сегодня сходится во мнении, что это не взаимоисключающие, а взаимодополняющие подходы (см. Таблицу 1).

Теперь вернемся к предсказанию Джона Гаргани (Gargani, 2012). Он предположил, что внутренняя оценка в США в течение 10 лет должна в значительной мере вытеснить внешнюю оценку. Таким образом, в 2022 году оценки программ и проектов в США по большей части должны были бы стать внутренними. Судя по всему, этого пока не произошло, но можно определенно констатировать, что внутренняя оценка развивается и в государственных, и в негосударственных организациях США, Канады, Японии и многих других стран. Не стала исключением и Россия.

ВНУТРЕННЯЯ ОЦЕНКА В РОССИИ

Не вдаваясь в исторические детали, отметим, что, в России всё началось с внешней оценки, которую «импортировали» к нам в начале 90-х вместе с программами международной помощи многочисленные зарубежные организации (Kuzmin et al., 2007). Постепенно оценку стали осваивать и российские специалисты. При этом развитие оценки шло по двум направлениям: формировался рынок услуг по проведению внешней оценки и развивалась функция внутренней оценки.

Необходимость развития собственного потенциала российских НКО в сфере оценки была продиктована, как минимум, двумя факторами: 1) требованиями финансирующих организаций и 2) необходимостью выстраивания систем управленческого контроля в связи с усложнением деятельности НКО и расширением ее масштабов (Кузьмин, 2020). Однако развитие компетенций в сфере оценки на протяжении длительного времени не было приоритетом для большинства российских НКО. Ситуация стала меняться лишь в последние годы:

• заметно вырос спрос на обучение руководителей и сотрудников НКО в сфере оценки;

• НКО научились намного эффективнее собирать и обрабатывать данные;

• в целом ряде НКО появился успешный опыт проведения внутренней оценки;

• финансирующие организации все чаще требуют от НКО предоставления аналитических отчетов;

• на ежегодных конференциях Ассоциации специалистов по оценке программ и политик (АСОПП)^[24] заметен рост числа выступлений об опыте развития внутренней оценки и ее значении для качественного управления организацией.

Шесть лет тому назад, наблюдая эти процессы и сравнивая их с происходящим за рубежом, я предположил, что к 2026 году в России будет отмечаться «рост потенциала различных организаций в сфере оценки, развитие внутренней оценки и самооценивания» (Кузьмин, 2016). Похоже, что этот прогноз сбывается. Еще одно подтверждение тому – создание в 2021 году Альянса PROОЦЕНКУ^[25] и открытие одноименного онлайнового клуба, ориентированного преимущественно на развитие внутренней оценки и самооценивания:

«Клуб PROОЦЕНКУ – это постоянно действующая онлайновая дискуссионная площадка для всех, кто интересуется оценкой. Лозунг клуба: «Интересная беседа в хорошей компании». Задача клуба – поддерживать сообщество практиков, занимающихся внедрением оценки в деятельность социально-ориентированных организаций. Для участия в заседаниях не требуется ничего кроме желания. Образование, уровень подготовки в сфере оценки, опыт практической деятельности не имеют значения»^[26].

ПРИНЦИПЫ САМООЦЕНИВАНИЯ ПРОГРАММ И ПРОЕКТОВ В НКО

АСОПП разработала и опубликовала ряд важных для развития профессии специалиста по оценке материалов. В их числе «Принципы оценки программ и политик» (АСОПП, 2017).

Принципы профессиональной деятельности рождаются из практики и определяют, как следует себя вести представителям профессии в ситуациях сложного выбора. Принципы нельзя придумать до того, как будет накоплен реальный опыт: это естественный эволюционный процесс. Когда профессия достигает определенного уровня зрелости и формируется профессиональное сообщество (ассоциация), это сообщество приходит к согласию относительно принципов. Поэтому принципы оценки программ и политик, принятые АСОПП, важны не только как руководство к действию, но и как свидетельство становления профессии специалиста по оценке в России.

Эти «принципы разработаны с учетом того, что в оценке – в общем случае – могут принимать участие три стороны:

• Заказчик – представитель организации, которая инициирует оценку, ставит задачу на ее проведение и будет основным пользователем ее результатов.

• Специалист по оценке – человек, который привлекается заказчиком для ее проведения.

• Участники оценки – люди, которые в ходе оценки предоставляют информацию, и зачастую являются сотрудниками или руководителями программ, являющихся объектом оценки (АСОПП, 2017).

Рисунок 1. Самооценивание: три в одном

АСОПП предлагает руководствоваться при проведении оценки следующими принципами:

1. Ориентация на практическое использование результатов.

2. Компетентность исполнителей.

3. Корректность методологии.

4. Открытость.

5. Безопасность.

6. Адаптивность.

«Общий случай», для которого разработаны принципы АСОПП, представляет собой внешнюю оценку (см. Рис. 1).

Самооценивание программы (проекта) – это систематический сбор информации о деятельности в рамках программы (проекта), ее характеристиках и результатах, который проводится командой программы (проекта) для того, чтобы вынести суждение о программе (проекте), повысить эффективность программы (проекта) и/или разработать планы на будущее. Отличие этого определения от общего обозначения оценки, приведенного в начале статьи, выделено курсивом: здесь все делает сама команда проекта. Люди, реализующие проект, сами ставят задачу на проведение оценки, сами планируют проведение оценки, сами собирают данные (будучи при этом еще и важными источниками информации), сами анализируют эти данные, формулируют результаты оценки и используют их. Получается, что при самооценивании команда проекта является и заказчиком, и исполнителем, и участником оценки (см. Рис. 1).

Применимы ли принципы оценки АСОПП в ситуации самооценивания?

В 2022 году в рамках заседаний клуба PROОЦЕНКУ^[27] мы провели серию обсуждений этого вопроса. В них приняли участие, в общей сложности, более 40 человек, представляющих в основном некоммерческие организации из многих регионов России.

Итоги этих обсуждений можно сформулировать так:

1. Принципы оценки, предложенные АСОПП, применимы для самооценивания НКО.

2. Краткие формулировки этих принципов также применимы для ситуации самооценивания.

3. Рекомендации по использованию принципов в практике самооценивания требуют существенной корректировки и упрощения.

Мы разработали и обсудили рекомендации для ситуации самооценивания. Так появились «Принципы самооценивания программ и проектов в НКО» (Альянс PROОЦЕНКУ, 2023). Текст этих принципов с рекомендациями по их применению приводится ниже. Полагаю, он может быть полезен любым НКО вне зависимости от их специализации.

Принцип 1. Ориентация на практическое использование результатов.

Весь процесс самооценивания должен быть ориентирован на получение полезной для вас информации.

Рекомендации:

• Надо максимально конкретно для самих себя определить, зачем вы затеваете самооценивание. Хорошо продумайте и обсудите постановку задачи на проведение самооценивания. Сформулируйте вопросы, на которые вам нужно получить ответы, а также обсудите, кто и каким образом эти ответы будет использовать.

• Если непонятно, кто и как станет использовать ответы на какие-то из предлагаемых вопросов, исключите эти вопросы из задания.

• Включайте в задание только такие вопросы, ответы на которые вам неизвестны или, по крайней мере, для вас неочевидны.

• Проверьте, нельзя ли получить ответы на интересующие вас вопросы более простым способом, чем проведение самооценивания.

• Постарайтесь свести число вопросов задания к минимуму. Оставьте только самые важные для вас.

• По завершении самооценивания проведите совещание по обсуждению его результатов и планированию действий по использованию этих результатов (со сроками и ответственными).

• Подумайте о том, могут ли какие-то из результатов вашего самооценивания пригодиться кому-то еще кроме вас.

Принцип 2. Компетентность исполнителей.

Сотрудники НКО, проводящие самооценивание, должны обладать необходимыми и достаточными для этого знаниями и умениями.

Рекомендации:

• Самооценивание проводится по определенным правилам. Вам не обязательно становиться экспертами в сфере оценки, но знать основы необходимо. Для этого можно почитать специальную литературу или направить кого-то из сотрудников на курсы повышения квалификации.

• Имейте в виду, что всегда есть возможность консультаций со специалистами в тех сферах, где собственных знаний и умений вам не хватает. Например, можно обратиться в местный университет либо в профессиональное объединение специалистов по оценке.

• Рассматривайте самооценивание как возможность обучения через практику. Обсуждайте приобретаемый опыт и извлекайте из него уроки.

Принцип 3. Корректность методологии.

Выбор общего подхода к самооцениванию и методов его проведения должны быть хорошо обоснованы с учетом имеющихся ограничений. Использование различных методов должно осуществляться с соблюдением соответствующих процедур и стандартов.

Рекомендации:

• При планировании самооценивания учитывайте ограничения, касающиеся имеющихся ресурсов и времени. Принимайте во внимание, что в сфере оценки вы знаете и умеете не всё.

• Важно иметь представление о сильных сторонах и ограничениях различных подходов к проведению оценки проектов и программ.

• При выборе методов и инструментов самооценивания следует исходить из того, что лучше сделать просто и правильно, чем сложно и неправильно.

• Если у вас возникают сомнения в возможности либо правильности использования того или иного инструмента, необходимо проконсультироваться со специалистом либо отказаться от использования этого инструмента.

• Помните, что известность и распространенность методик не гарантируют, что они подойдут для самооценивания конкретного проекта в заданных условиях.

• От ошибок никто не гарантирован. Важно извлекать из них уроки и не повторять.

Принцип 4. Открытость.

Самооценивание осуществляется открыто: все стороны, участвующие в нём, должны быть информированы о целях, методологии и планируемом использовании его результатов.

Рекомендации:

• Позаботьтесь о том, чтобы все участники процесса самооценивания имели достаточную информацию о нём и соглашались предоставлять данные добровольно (соблюдение принципа «информированного согласия»).

• Результаты самооценивания предназначены только для вас. Для всех остальных они могут быть либо открыты частично (по вашему решению), либо полностью закрыты.

• Нужно учитывать вероятность вашей предвзятости по отношению к собственному проекту и утраты свежести восприятия проекта («замыливание» взгляда): эти вопросы должны открыто обсуждаться участниками самооценивания.

• Поскольку вы проводите самооценивание для себя, а не для кого-то другого, вы заинтересованы в том, чтобы увидеть свой проект таким, какой он есть. В такой ситуации приукрашивание попросту не имеет смысла. Поэтому не следует рассматривать ситуацию самооценивания как потенциальный конфликт интересов и беспокоиться по этому поводу.

Принцип 5. Безопасность.

Самооценивание должно проводиться с уважением достоинства всех его участников независимо от их роли, социального статуса и индивидуальных особенностей. При проведении самооценивания следует учитывать возможные негативные последствия, которые оно может иметь как для отдельных людей, так и для организаций. Риск возможных негативных последствий должен быть сведен к минимуму, а участники самооценивания должны быть о них проинформированы.

Рекомендации:

• Обсудите, может ли получиться так, что самооценивание навредит кому-то. Если такая возможность существует, пусть даже теоретически, все участники должны об этом знать.

• Обсудите, как можносвести риск негативных последствий самооценивания к минимуму. Сделайте все возможное, чтобы избежать таких последствий.

• Следует проводить самооценивание, когда сотрудники НКО находятся в ресурсном состоянии, то есть имеют достаточно эмоциональных, физических, душевных сил и энергии для этого. Участие в проведении самооценивания является дополнительной нагрузкой для сотрудников, и это необходимо принимать во внимание при планировании их работы во избежание выгорания.

• Самооценивание – часть деятельности вашей организации, поэтому при его проведении необходимо строго соблюдать этические нормы, относящиеся к сфере деятельности вашей НКО.

Принцип 6. Адаптивность.

Необходимо предусматривать возможность адаптации методологии самооценивания к каждому конкретному случаю, а также к изменяющимся условиям.

Рекомендации:

• Есть много разных подходов к проведению оценки проектов и программ. Нужно подобрать оптимальный именно для вашего проекта в заданных условиях. Даже то, что хорошо подошло для оценки ваших проектов в прошлом, совсем не обязательно подойдёт для оценки текущего проекта.

• В процессе работы проявляйте гибкость и – по необходимости – корректируйте план, методы и инструменты проведения самооценивания с учетом изменяющихся условий или вновь возникающих факторов.

• На всякий случай проверьте себя: не является ли решение проявить «гибкость» оправданием для недобросовестного проведения самооценивания, и не может ли оно привести к негативным последствиям?

ПРИНЦИПЫ САМООЦЕНИВАНИЯ И РАЗВИТИЕ ПОТЕНЦИАЛА В СФЕРЕ ОЦЕНКИ

Самооценивание предполагает развитие собственного потенциала в сфере оценки. В связи с этим НКО может быть полезно иметь в виду следующую «формулу» (Kuzmin, 2009):

Согласно этой «формуле», если вы умеете проводить оценку, но не делаете этого, потенциал равен нулю. Аналогичным образом, если вы проводите оценку, но не умеете этого делать, потенциал тоже равен нулю.

Другими словами, развитие потенциала в сфере оценки предполагает сбалансированное решение двух взаимосвязанных задач: надо и учиться, и применять полученные знания и навыки на практике. Принципы самооценивания учитывают и то, и другое.

REFERENCES

1. Baron, M. E. (2011). Designing internal evaluation for a small organization with limited resources. Internal evaluation in the 21st century. New Directions for Evaluation, 132, 87–99.

2. Gargani, J. (2012). The future of evaluation: 10 predictions. Retrieved from: https://evalblog.com/2012/01/30/the-future-of-evaluation-10-predictions/

3. House, E. R. (1986). Internal Evaluation.

Evaluation Practice, 7(1), 63–64. Retrieved from: https://journals.sagepub.com/doi/ abs/10.1177/109821408600700105.

4. Kuzmin, A. (2009). Use of evaluation training in evaluation capacity building. In M. Segone (Ed.), From policies to results: Developing capacities for country monitoring and evaluation systems. New York: UNICEF.

5. Kuzmin, A., Karimov, A., Borovykh, A., Abdykadyrova, A., Efendiev, D., Greshnova, E…. Balakirev, V. (2007). Program Evaluation Development in the Newly Independent States. Journal of MultiDisciplinary Evaluation, 4(7), 84–91. Retrieved from: https://journals.sfu.ca/jmde/index.php/jmde_1/article/view/14/29.

6. Love, A. J. (1983). The organizational context and the development of internal evaluation. New Directions for Program Evaluation, 20, 5–22.

7. Love, A. J. (1991). Internal Evaluation: Building Organizations from Within: SAGE Publications.

8. McClintock, C. (1983). Internal Evaluation: The New Challenge. American Journal of Evaluation, 4, 61–62.

9. Patton, M. Q. (2008). Utilization-focused evaluation (4th ed.). Thousand Oaks: Sage Publications.

10. Rogers, A., McCoy, A., & Kelly, L. M. (2019). Evaluation Literacy: Perspectives of Internal Evaluators in Non-Government Organizations Canadian Journal of Program Evaluation / La Revue canadienne d’évaluation de programme, 34(1), 1–20. Retrieved from: https://journalhosting.ucalgary.ca/index.php/cjpe/article/view/42190.

11. Volkov, B. B. (2011). Internal evaluation a quarter-century later: A conversation with Arnold J. Love. New Directions for Evaluation (132), 5–12.

12. Volkov, B. B., & Baron, M. E. (2011). Issues in internal evaluation: Implications for practice, training, and research. In B. B. Volkov & M. E. Baron (Eds.), Internal evaluation in the 21st century. New Directions for Evaluation. (Vol. 132, pp. 101–111).

13. Альянс PROОЦЕНКУ. (2023). Принципы самооценивания программ и проектов в НКО. Режим доступа: https://www.processconsulting.ru/attach_files/menu_21_12_22_19.pdf. PROOCENKU Alliance (2023). Principles of self-evaluation of NGO programs and projects. Retrieved from: https://www.processconsulting.ru/attach_files/menu_21_12_22_19.pdf.

14. АСОПП. (2017). Принципы оценки программ и политик. (05.02.2023). Режим доступа: https://eval.ru/attach_files/file_menu_78.pdf. ASPPE. (2017). Principles of program and policy evaluation. (05.02.2023). Retrieved from: https://eval.ru/attach_files/file_menu_78.pdf.

15. Кузьмин, А. И. (2016). Будущее оценки. Режим доступа: https://evaluationconsulting.blogspot.com/2016/06/blog-post_14.html. Kuzmin, A. I. (2016). The Future of Evaluation. Retrieved from: https://evaluationconsulting.blogspot.com/2016/06/blog-post_14.html.

16. Кузьмин, А. И. (2020). История развития мониторинга и оценки в Сети СЦПОИ. Начало. Режим доступа: https://evaluationconsulting.blogspot.com/2020/04/blog-post.html. Kuzmin, A. I. (2020). History of the development of monitoring and evaluation in the SCISC Network. Beginning. Retrieved from: https://evaluationconsulting.blogspot.com/2020/04/blog-post.html.

“Do it yourself:” How NGOs Evaluate Projects Using Their Own Resources

Alexey Kuzmin

DOI 10.55140/2782–5817–2023–3–1–34–43

Many experts believe that self-evaluation is one of the key trends in the development of evaluation in general. Self-evaluation is similar to external evaluation, but it has its peculiarities. The authors of this article discuss the importance of evaluation principles, and provide recommendations for NGO self-evaluation situations.

Alexey Kuzmin

PhD, Director General, Process Consulting Company, Council Member, International Evaluation Academy

THE STORY OF ONE PREDICTION

In 2012, American evaluator John Gargani, who later became president of the American Evaluation Association, posted 10 predictions in his blog about the future of program and project evaluation. The first point was worded as follows: “Most evaluations will be internal.” (Gargani, 2012).

What is it about?

To begin with, program (project) evaluation is “the systematic collection of information about the activities, characteristics, and outcomes of programs to make judgments about the program, improve program effectiveness, and/ or inform decisions about future programming.” (Patton, 2008).

Suppose an organization is implementing a project. The project can be evaluated by specialists external to the organization. This is external evaluation. Alternatively, the project can be evaluated by the specialists within the organization itself. This case is referred to as internal evaluation. Sometimes self-evaluation is singled out from internal evaluation, when the project is evaluated by the very same people who implement it.

Active development of the evaluation of socially oriented projects and programs in the United States started in the 1960s. The requirement to conduct an evaluation was part of the “top-down” approach, utilized first in the educational institutions, and then in other areas. This was an innovation at the time, and the evaluation was solely the domain of external consultants with the appropriate competencies.

It soon became clear that organizations should develop their own evaluation capabilities. The relevant practical experience was accumulated over the course of 10 to 15 years. The development of internal evaluation practices was one of the central topics at the 1982 American Evaluation Association conference (McClintock, 1983).

Arnold Love, Canada (A. J. Love, 1983), noted that internal evaluation serves two basic functions: first, it provides relevant and timely information for management decision-making; and second, the internal evaluation process in itself has a positive effect on both decision-making and the organizational performance. Love suggested that “over the next few years we can expect the internal evaluation function to continue growing and changing” (A. J. Love, 1983). By the way, this prediction was published 30 years before the one made by John Gargani.

Around the same time, Ernest House (1986) observed that the practice of public organizations in the United States was shifting from external evaluations, conducted primarily by universities and private companies, to internal evaluations conducted by specially created units. At the same time, most of the publications available at the time referred specifically to external evaluation. That is why the publication of A. J. Love’s book, “Internal Evaluation: Building Organizations from Within” (A. J. Love, 1991) became a remarkable event. The author of this book remains one of the most quoted authors to this day, when it comes to internal evaluation.

Table 1. Benefits and limitations of external and internal evaluation

20 years later, the “New Directions in Evaluation” series^[28] publishes a collection of works titled “Internal Evaluation in the 21st Century.” Isn’t it somewhat old for a new direction?

In an interview with the book’s editor (Volkov, 2011), Arnold Love recalls that in the 1990s up to 60 percent of all evaluations in the United States were conducted internally. At the same time, internal evaluation was developing differently from country to country. In Canada, for example, the federal government decided back in late 1970s that evaluations of government programs should be primarily internal, while the Japan Evaluation Society reported in 2006 that 99 % of evaluations in their country were internal.

Even though internal evaluation is being actively implemented all over the world, the number of studies and publications on this topic in the second decade of the 21st century is still very limited (Volkov & Baron, 2011). However, the issues of developing internal evaluation in smaller organizations with limited resources are increasingly coming into spotlight (Baron, 2011; Rogers, McCoy, & Kelly, 2019).

Practice shows that internal evaluation can coexist happily with external evaluation, and most experts now agree that these are not mutually exclusive, but complementary approaches (see Table 1).

Now back to John Gargani’s prediction (Gargani, 2012). He suggested that internal evaluation in the U. S. would largely replace external evaluation within 10 years. Thus, most program and project evaluations in the United States would be internal by 2022. Apparently, this has not happened yet, but we can definitely state that internal evaluation is developing in both government and non-government organizations in the United States, Canada, Japan, and many other countries. Russia is no exception.

INTERNAL EVALUATION IN RUSSIA

Without going too much into historical detail, we should note that in Russia everything started with external evaluation, which was “imported” to us in the early 1990s along with the international assistance programs by numerous foreign organizations (Kuzmin et al., 2007). Gradually, local evaluators started appearing as well. At the same time, evaluation developed in two directions: the market for external evaluation services was being established alongside the development of internal evaluation function.

The Russian NGOs needed to develop their own evaluation capacity for at least two reasons: 1) donor organizations’ requirements, and 2) the need to build management control systems due to increasingly complex and expanding NGO activities (Kuzmin, 2020). However, the majority of Russian NGOs failed to pay attention to developing evaluation competencies for quite some time.

The situation has only started in recent years:

• there has been a marked increase in the demand for training for NGO managers and staff in the field of evaluation;

• NGOs have learned to collect and process data much more efficiently;

• a number of NGOs have acquired successful internal evaluation experience;

• donor organizations increasingly require NGOs to submit analytical reports;

• at the annual conferences of the Association of Specialists in Program and Policy Evaluation (ASPPE)^[29], there has been a noticeable increase in the number of presentations on experiences in developing internal evaluation and its importance for high-quality organization management.

Six years ago, as I was observing these processes and comparing them to what was happening abroad, I suggested that by 2026 Russia would see “an increase in the evaluation capacity of various organizations, the development of internal evaluation and self-evaluation” (Kuzmin, 2016). Looks like this prediction is coming true. Another proof of this is the creation of the PROOCENKU Alliance^[30] in 2021 and the opening of an online discussion club of the same name, focused mainly on the development of internal evaluation and self-evaluation:

“The PROOCENKU Club is an ongoing online discussion platform for anyone interested in evaluation. The Club’s slogan goes as follows: “An interesting conversation in a good company.” The Club’s mission is to support a community of practitioners dedicated to integrating evaluation into the work of socially oriented organizations. Nothing is required to participate in the meetings, other than the desire. Education, level of training in evaluation, and practical experience are not important.”^[31]

PRINCIPLES OF SELF-EVALUATION OF NGO PROGRAMS AND PROJECTS

ASPPE has developed and published a number of important works on the professional development of professional evaluators. These include the Principles of Program and Policy Evaluation (ASPPE, 2017).

Professional principles are born out of practice and determine how members of the profession should behave in situations of difficult choices. Principles cannot be invented before real experience has been accumulated: it is a natural evolutionary process. When a profession reaches a certain level of maturity and a professional community (association) has been established, that community comes together to agree on the principles. Therefore, the principles of program and policy evaluation adopted by ASPPE are important not only as guidelines for action, but also as evidence of the emerging evaluation profession in Russia.

These principles are designed to take into account the fact that, generally, three parties can participate in the evaluation:

• The Customer is a representative of the organization that initiates the evaluation, orders the task to be implemented, and will be the main user of the evaluation results.

• An evaluator – a specialist hired by the Customer to perform the evaluation.

• Evaluation participants – the people who provide the information for the evaluation; these are usually employees or managers of the programs being evaluated (ASPPE, 2017).

Figure 1. Self-evaluation: three in one

ASPPE suggests that evaluation must be guided by the following principles:

1. Focus on practical use of the results.

2. Competence of the performers.

3. Appropriate methodology.

4. Transparency.

5. Safety.

6. Flexibility.

The “general case,” for which ASPPE principles were developed, is an external evaluation (see Figure 1).

A program (project) self-evaluation is the systematic collection of information about the activities of the program (project), its characteristics and outcomes, which is performed by the program (project) team to make judgments about the program (project), improve the effectiveness of the program (project), and/or inform decisions about future programming. The difference between this definition and the generic definition given at the beginning of the article is all in the italicized text: here, everything is done by the project team itself. The people implementing the project also set the evaluation task, plan the evaluation, collect the data (while also serving as important sources of information), analyze the data, formulate the evaluation results, and use them – all on their own. It turns out that in self-evaluation, the project team acts as the customer, the contractor, and the evaluation participants (see Figure 1).

Do the ASPPE evaluation principles apply in a self-evaluation situation?

We had a series of discussions on this issue as part of the 2022 PROOCENKU Club meetings^[32]. They were attended by more than 40 people, mostly coming from non-profit organizations from many regions of Russia.

The outcome of these discussions can be summarized as follows:

1. The evaluation principles proposed by ASPPE are applicable to NGO self-evaluation.

2. Short definitions of these principles also apply to the self-evaluation situation.

3. However, recommendations for the use of these principles in self-evaluation practice require significant adjustment and simplification.

We have developed and discussed guidelines for a self-evaluation situation. This is how the Principles of Self-Evaluation of NGO Programs and Projects have appeared (PROOCENKU Alliance, 2023). These principles, with recommendations for their application, are presented below. I believe it can be useful to any NGO, regardless of its specialization.

Principle 1. Focus on practical use of the results.

The whole self-evaluation process should be focused on getting information that is useful to you.

Recommendations:

• You need to be as specific as possible as to why you are doing self-evaluation. Think carefully and discuss the scope of work for self-evaluation. Formulate the questions you want answered, and discuss who will use those answers and how.

• If it is not clear who and how will use the answers to any of the suggested questions, exclude these questions from the scope.

• Include only those questions where answers are not known or at least not obvious to you.

• See if there is a simpler way to answer these questions, rather than performing a self-evaluation.

• Try to keep the number of questions to a minimum. Leave only those of most importance to you.

• At the end of self-evaluation, hold a meeting to discuss the results and plan actions required to use those results (with timelines and responsibilities).

• Think about whether some of the results of your self-evaluation can be useful to someone else besides you.

Principle 2. Competence of the performers.

NGO employees who conduct self-evaluation must have the necessary and sufficient knowledge and skills to do so.

Recommendations:

• Self-evaluation is carried out according to certain rules. You don’t have to become an expert evaluator, but you do need to know the basics. To do this, you can read special literature or send some of your employees to a training.

• Keep in mind that it is always possible to consult with experts in areas where your own knowledge and skills are lacking. For example, your local university or professional evaluators association.

• Consider self-evaluation an opportunity to learn through practice. Discuss the experience and learn from it.

Principle 3. Appropriate methodology.

The choice of the general approach to self-evaluation and the methods of conducting it should be well justified, considering the limitations. Various evaluation methods must be used, following appropriate procedures and standards.

Recommendations:

• When planning self-evaluation, consider the limitations of available resources and time. Remember that you do not have all the necessary knowledge and skills for evaluation.

• It is important to have an understanding of the strengths and limitations of different approaches to project and program evaluation.

• When choosing self-evaluation methods and tools, it is better to do simple things right than to do complicated things wrong.

• If you have any doubts about the capabilities or appropriateness of a particular tool, you should consult with an expert or refrain from using that tool.

• Remember that the familiarity and prevalence of techniques do not guarantee that they will be appropriate for self-evaluation of a particular project in a given setting.

• Everyone can make mistakes, and it is important to learn from them and avoid their repeating.

Principle 4. Transparency.

Self-evaluation is a transparent process: all parties involved must be informed about the goals, methodology and intended use of its results.

Recommendations:

• Make sure that everyone involved in self-evaluation has sufficient information about the process and agrees to provide data voluntarily (respecting the principle of “informed consent”).

• Full results of the self-evaluation are only intended for you. For everyone else, they can either be partially open (at your discretion) or completely closed.

• You need to consider that you may have a bias towards your own project and be suffering from having lost the fresh perception of the project (“blurred view”): these issues should be openly discussed by the self-evaluation participants.

• Since you are performing the self-evaluation for yourself, not for someone else, you are interested in seeing your project for what it is. In this situation, embellishing simply makes no sense. Therefore, you should not view the self-evaluation situation as a potential conflict of interest or be concerned about it.

Principle 5. Safety.

Self-evaluation should be conducted with respect for the dignity of all its participants, regardless of their role, social status and individual characteristics. When conducting a self-evaluation, you should consider the possible negative effects it can have on both individuals and organizations. The risk of possible negative consequences should be minimized, and participants in the self-evaluation should be informed about them.

Recommendations:

• Discuss whether or not self-evaluation could result in harming someone. If this is a possibility, even in theory, all participants should be made aware about it.

• Discuss how you can minimize the risk of negative consequences of self-evaluation. Do your best to avoid such consequences.

• Self-evaluation should be conducted when NGO employees are in a resourceful state; that is, when they have enough emotional, physical, mental strength and energy to do so. Participating in self-evaluations is an additional burden for the employees, and this should be considered when planning their work, to avoid burnout.

• Self-evaluations are part of your organization’s activities, so they must be conducted in strict compliance with the ethical standards relevant to your NGO’s scope of work.

Principle 6. Flexibility.

It is necessary to provide for the possibility of adapting the self-evaluation methodology to each specific case, as well as to changing conditions.

Recommendations:

• There are many different approaches to evaluating projects and programs. You should choose the one that is best for your project, given the conditions. Even if something has worked well for evaluating your projects in the past, it does not necessarily mean it will work for your current project.

• In the process, be flexible and adjust the plan, methods, and tools of self-evaluation as needed to accommodate changing conditions or newly emerging factors.

• Just in case, check yourself: isn’t the decision to be “flexible” an excuse for not conducting self-evaluation in good faith, and could it lead to negative consequences?

PRINCIPLES OF SELF-EVALUATION AND CAPACITY BUILDING IN EVALUATION

Self-evaluation involves building one’s capacity for evaluation. In this regard, it may be useful for NGOs to keep in mind the following “formula” (Kuzmin, 2009):

According to this “formula,” if you know how to do an evaluation but don’t do it, the capacity is zero. Similarly, if you do an evaluation but don’t know how to do it, the result is still zero.

In other words, capacity development in evaluation involves balancing two interrelated tasks: one must both learn and apply the knowledge and skills gained in practice. The principles of self-evaluation take both factors into account.

REFERENCES

1. Baron, M. E. (2011). Designing internal evaluation for a small organization with limited resources. Internal evaluation in the 21st century. New Directions for Evaluation, 132, 87–99.

2. Gargani, J. (2012). The future of evaluation: 10 predictions. Retrieved from: https://evalblog.com/2012/01/30/the-future-of-evaluation-10-predictions/

3. House, E. R. (1986). Internal Evaluation.

Evaluation Practice, 7(1), 63–64. Retrieved from: https://journals.sagepub.com/doi/ abs/10.1177/109821408600700105.

4. Kuzmin, A. (2009). Use of evaluation training in evaluation capacity building. In M. Segone (Ed.), From policies to results: Developing capacities for country monitoring and evaluation systems. New York: UNICEF.

5. Kuzmin, A., Karimov, A., Borovykh, A., Abdykadyrova, A., Efendiev, D., Greshnova, E…. Balakirev, V. (2007). Program Evaluation Development in the Newly Independent States. Journal of MultiDisciplinary Evaluation, 4(7), 84–91. Retrieved from: https://journals.sfu.ca/jmde/index.php/jmde_1/article/view/14/29.

6. Love, A. J. (1983). The organizational context and the development of internal evaluation. New Directions for Program Evaluation, 20, 5–22.

7. Love, A. J. (1991). Internal Evaluation: Building Organizations from Within: SAGE Publications.

8. McClintock, C. (1983). Internal Evaluation: The New Challenge. American Journal of Evaluation, 4, 61–62.

9. Patton, M. Q. (2008). Utilization-focused evaluation (4th ed.). Thousand Oaks: Sage Publications.

10. Rogers, A., McCoy, A., & Kelly, L. M. (2019). Evaluation Literacy: Perspectives of Internal Evaluators in Non-Government Organizations Canadian Journal of Program Evaluation / La Revue canadienne d’évaluation de programme, 34(1), 1–20. Retrieved from: https://journalhosting.ucalgary.ca/index.php/cjpe/article/view/42190.

11. Volkov, B. B. (2011). Internal evaluation a quarter-century later: A conversation with Arnold J. Love. New Directions for Evaluation (132), 5–12.

12. Volkov, B. B., & Baron, M. E. (2011). Issues in internal evaluation: Implications for practice, training, and research. In B. B. Volkov & M. E. Baron (Eds.), Internal evaluation in the 21st century. New Directions for Evaluation. (Vol. 132, pp. 101–111).

13. Альянс PROОЦЕНКУ. (2023). Принципы самооценивания программ и проектов в НКО. Режим доступа: https://www.processconsulting.ru/attach_files/menu_21_12_22_19.pdf. PROOCENKU Alliance (2023). Principles of self-evaluation of NGO programs and projects. Retrieved from: https://www.processconsulting.ru/attach_files/menu_21_12_22_19.pdf.

14. АСОПП. (2017). Принципы оценки программ и политик. (05.02.2023). Режим доступа: https://eval.ru/attach_files/file_menu_78.pdf. ASPPE. (2017). Principles of program and policy evaluation. (05.02.2023). Retrieved from: https://eval.ru/attach_files/file_menu_78.pdf.

15. Кузьмин, А. И. (2016). Будущее оценки. Режим доступа: https://evaluationconsulting.blogspot.com/2016/06/blog-post_14.html. Kuzmin, A. I. (2016). The Future of Evaluation. Retrieved from: https://evaluationconsulting.blogspot.com/2016/06/blog-post_14.html.

16. Кузьмин, А. И. (2020). История развития мониторинга и оценки в Сети СЦПОИ. Начало. Режим доступа: https://evaluationconsulting.blogspot.com/2020/04/blog-post.html. Kuzmin, A. I. (2020). History of the development of monitoring and evaluation in the SCISC Network. Beginning. Retrieved from: https://evaluationconsulting.blogspot.com/2020/04/blog-post.html.

Союз дела и денег. Оценка экономической устойчивости проектов в области социального предпринимательства

Елена Авраменко

DOI 10.55140/2782–5817–2023–3–1–44–57

Осенью 2022 года по заказу Фонда поддержки социальных проектов была разработана модель оценки воздействия проектов в области социального предпринимательства. Экспертная группа авторов модели из представителей Фабрики позитивных изменений, фонда «Глэдвэй» и других организаций предложила включить в нее компонент «экономическая устойчивость», наряду с «социальным воздействием» и «актуальностью решаемой проблемы». В апробации модели приняли участие 10 социальных предприятий. В этом материале мы расскажем суть оценки экономической устойчивости проектов, предложенной в рамках разработанной модели, и почему методика ее проведения является подспорьем для выработки верных решений.

Елена Авраменко

Эксперт проекта «Разработка модели оценки социально-экономического воздействия НКО» фонда GLADWAY, мастер Lean 6 Sigma уровня Green Belt

ГАРМОНИЧНЫЙ СОЮЗ

Социальное предпринимательство в идеальном варианте должно представлять собой гармоничный союз эффективного решения важной социальной проблемы и устойчивой бизнес-модели. Организация может управлять изменениями и оказывать положительное воздействие на общество только в случае наличия постоянного и надежного финансового ресурса. В этом свете финансовый анализ собственной коммерческой деятельности является одной из составляющих успеха. Рассматривая динамику финансовых показателей от года к году, предприятие понимает слабые и сильные стороны управления, а значит может планировать и улучшать показатели с течением времени. Именно поэтому эксперты решили добавить в разрабатываемую модель показатель экономической устойчивости.

Необходимость оценки экономической устойчивости и финансовых показателей деятельности организации социального предпринимательства подтверждается успешным опытом западных компаний, ведущих консалтинговую деятельность в области социального импакта (см. Рис. 1). Например, оценку рентабельности, самоокупаемости, возврата инвестиций и других финансовых показателей проводит швейцарская JBJ Consult, ориентированная на то, чтобы бизнес их клиентов приносил и финансовую, и социальную отдачу. Другим примером может служить Monitor Institute by Deloitte, которая работает с организациями социального воздействия и выстраивает их эффективную работу как в области импакта, так и в области управления организацией и ее ресурсами.

Рисунок 1. Использование экономических показателей в оценке социального предпринимательства в западных странах (по данным исследования АНО «Эволюция и Филантропия»)1

* – актуально для институциональных инвесторов, которые хотят для начала реализовать пилот, оценить риск

ТРИ КЛЮЧЕВЫХ ПОКАЗАТЕЛЯ

Расчет показателя экономической устойчивости построен на принципе доступности и однозначности используемых данных: при составлении модели оценки указывались конкретные места в форме бухгалтерского баланса, где можно найти соответствующие показатели. Потому не приходится говорить об экономической составляющей в терминах рисков и в контексте инвестиций, как это предлагается в SROI и IMP. Эти методологии требуют использования не просто бухгалтерских, но эконометрических методов анализа, которые не доступны для широкого круга социальных предпринимателей. Сфера деятельности большинства проектов социального предпринимательства не требует наличия в штате специалиста по вычислительным методам в экономике и/или по социальным наукам.

Именно поэтому были взяты доступные для оценки показатели, отражающие эффективность экономической составляющей социального предприятия, и которые каждое предприятие может рассчитать без погружения в сложные методы анализа.^[33]

В предложенной оценке финансового состояния организации используются коэффициенты текущей ликвидности, финансовой устойчивости и рентабельности, рассчитанные на основании бухгалтерских форм.

1. Текущая ликвидность позволяет определить, достаточно ли у фирмы оборотных средств для своевременного покрытия текущих обязательств.

2. Финансовая устойчивость показывает степень зависимости организации от внешнего финансирования и помогает спрогнозировать ее платежеспособность в долгосрочной перспективе.

3. Рентабельность продаж комплексно отражает степень эффективности использования материальных, трудовых и денежных ресурсов. Снижение этого показателя отражает сокращение объёмов продаж или демонстрирует неэффективность хозяйственной деятельности.

Указанные три показателя были выбраны в методике в качестве ключевых для финансового анализа предприятия, показывающие эффективность экономического управления в нескольких плоскостях. Текущая ликвидность показывает финансовую надежность и устойчивость на коротком горизонте (способность платить по счетам в течение года). Коэффициент финансовой устойчивости показывает структуру капитала – этот показатель характеризует долгосрочную финансовую надежность и способность оплачивать свои обязательства в длительном периоде. Важно, чтобы социальное предприятие не было «закредитованным». Рентабельность продаж показывает управленческую эффективность, правильность оценки доходов и расходов и их контроль.

Влияние каждого показателя на итоговую оценку происходит с учетом присвоенного веса (см. Рис. 2):

Текущая ликвидность – 0,4;

Финансовая устойчивость – 0,3;

Рентабельность продаж – 0,3.

Рисунок 2. Веса показателей при расчете экономической устойчивости

Коэффициенты весов между тремя показателями близки, но больший коэффициент присвоен текущей ликвидности. При нормативном уровне коэффициента текущей ликвидности организация имеет надежное финансовое положение в текущем году, и, следовательно, может за год улучшить два других показателя. Если же в текущем году организация не может покрыть собственные обязательства, то перспектива долгосрочной надежности и эффективное распределение текущих доходов и расходов не будут полноценной гарантией закрытия рисков банкротства.

Итоговая формула показателя экономической устойчивости имеет в качестве показателя индекс, который получается как взвешенная сумма показателей текущей ликвидности, финансовой устойчивости и рентабельности продаж по формуле:

Экономическая устойчивость = 0,4 * Текущая ликвидность + 0,3 * Финансовая устойчивость + 0,3 * Рентабельность продаж

ФОРМУЛЫ И ОПРЕДЕЛЕНИЯ ПОКАЗАТЕЛЕЙ

1. Текущая ликвидность (Ктл) – отношение стоимости краткосрочных активов (Акр) к стоимости краткосрочных обязательств (ОБкр) социального предприятия.

Ктл = Акр / ОБкр

Краткосрочные активы (Акр) – это имущество компании, дебиторская задолженность и другие объекты, которые участвуют в создании дохода: например, деньги на счетах и в кассе, дебиторская задолженность, запасы, сырье, вклады в банках, акции и облигации других компаний. Краткосрочные активы потребляются или реализуются в период менее года.

В форме бухгалтерского баланса краткосрочные активы отражаются по следующим строкам (см. Таблица 1).

Таблица 1. Виды оборотных активов в форме бухгалтерского баланса

Краткосрочные обязательства (ОБкр) – это долговые обязательства предприятия со сроком погашения до одного года. Краткосрочные обязательства организации включают в себя: кредиторскую задолженность (краткосрочные займы, необходимые для оплаты поставщикам за поставку товара, покупателям при производстве по предоплате, другим кредиторам), краткосрочные банковские кредиты, задолженность по налогам и заработной плате.

В форме бухгалтерского баланса краткосрочные обязательства отражаются по следующим строкам (см. Таблица 2).

Таблица 2. Краткосрочные виды обязательств в форме бухгалтерского баланса

Суть коэффициента текущей ликвидности состоит в том, что он позволяет определить, достаточно ли у фирмы оборотных средств для своевременного покрытия текущих обязательств. Платежеспособность фирмы оценивается с помощью Ктл.

НОРМАТИВНЫЕ ПОКАЗАТЕЛИ:

Нормативное оптимальное значение Ктл находится в границах от 1,5 до 2,5 в зависимости от отрасли. Коэффициент текущей ликвидности более 3 говорит о нерациональной структуре капитала, о замедлении оборачиваемости средств, вложенных в запасы.

2. Финансовая устойчивость (Кфу) – отношение собственного капитала (Ск) к сумме обязательств по привлеченным средствам (Зср).

Кфу = Ск / Зср

Собственный капитал (Ск) – это стоимость всего неденежного и денежного имущества, принадлежащего предприятию, за вычетом стоимости всех его непогашенных обязательств.

Для расчета собственного капитала часто используют простой метод: берут итог строки 1300 бухгалтерского баланса.

Детально собственный капитал в бухгалтерском балансе отображается по следующим строкам (см. Таблица 3).

Таблица 3. Собственный капитал в бухгалтерском балансе

Заемные средства (Зср) – это имущество и деньги сторонних лиц, привлеченные предприятием на определенный срок для использования в своей деятельности, условие привлечения заемных средств – это начисление процентов по ним.

В бухгалтерском балансе организации для отражения заемных средств предусмотрены 2 строки: строка 1410 «Заемные средства» и одноименная строка 1510.

Суть коэффициента финансовой устойчивости состоит в том, что он показывает степень зависимости организации от внешнего финансирования и помогает спрогнозировать ее платежеспособность в долгосрочной перспективе.

НОРМАТИВНЫЕ ЗНАЧЕНИЯ:

Нормативным значением для коэффициента считается диапазон выше 0,8.

3. Рентабельность продаж (Крп) – отношение прибыли (Пр) к выручке (Врч) от продаж. Для перевода в проценты необходимо умножить на 100.

Крп = Пр / Врч * 100 %

Прибыль (Пр) – положительная разница между суммарными доходами (в которые входит выручка от реализации товаров и услуг, полученные штрафы и компенсации, процентные доходы и т. п.) и затратами на производство или приобретение, хранение, транспортировку, сбыт этих товаров и услуг. Прибыль = Доходы – Затраты (в денежном выражении).

В бухгалтерском балансе прибыль отражается по строке 2300.

Выручка от продаж (Врч) – сумма денег, полученная предприятием при реализации товаров и услуг за период. Определяется как объем проданных товаров и услуг, умноженный на цену их продажи.

В бухгалтерском балансе выручка отражается в строке 2110.

Суть коэффициента рентабельности состоит в том, что он комплексно отражает степень эффективности использования материальных, трудовых и денежных ресурсов. Снижение рентабельности отражает сокращение объёмов продаж или демонстрирует неэффективность хозяйственной деятельности. Если предприятие продает различные виды товаров и услуг, то выручка суммируется по видам товаров и услуг.

НОРМАТИВНЫЕ ЗНАЧЕНИЯ:

В среднем можно ориентироваться на такие значения:

• 1–5 % – низкий показатель, необходимо принимать меры для повышения рентабельности;

• 5–20 % – средний показатель, компания способна работать стабильно;

• 20–30 % – высокая экономическая эффективность деятельности.

РАСЧЕТ ФИНАНСОВОГО РЕЙТИНГА ОРГАНИЗАЦИИ

Заполняем таблицу показателей финансового состояния социального предприятия (СП) (1 балл при соответствии, 0 баллов при несоответствии нормативу), см. Таблица 4.

Таблица 4. Показатели финансового состояния социального предприятия

При расчете первых двух показателей у социального предприятия может возникнуть ситуация, когда в знаменатель попадает нулевое значение. И на практике при консультировании социальных предпринимателей мы сталкивались с подобным обстоятельством.

Такая ситуация при расчете текущей ликвидности может оказаться при отсутствии краткосрочных обязательств, а при расчете коэффициента финансовой устойчивости – при отсутствии заемных средств. И тут в сравнении с чистой бизнес-моделью для социального предприятия мы должны сделать некое исключение из общих правил.

Для стандартной бизнес-модели наличие краткосрочных обязательств и займов говорит о расширении задействованного финансового ресурса через использование денег партнеров или банков, что является правильным решением для развития бизнеса. В случае же социального предприятия извлечение максимальной прибыли за счет привлечения кредитных денег не является ключевым. Ключевым является наличие ресурса для своей социальной миссии.

Если в знаменателе показатели текущей ликвидности и финансовой устойчивости равны нулю, то для социальных предпринимателей принято решение засчитывать данные показатели как удовлетворяющие нормативу. По этим показателям присваивается балл, равный единице. Это справедливо с точки зрения финансового смысла. Текущая ликвидность в нормативе – значит у предприятия нет сложностей с оплатой своих обязательств (обязательства оплачены и равны нулю). Финансовая устойчивость в нормативе – у предприятия в структуре капитала только собственные средства, нет рисков невыплат займов.

Далее вычисляем итоговый коэффициент по формуле:

S = 0,4 * Балл Ктл + 0,3 * Балл Кфу + 0,3 * Балл Крп

На основе расчета итогового показателя экономической устойчивости предприятия можно разделить на 3 класса с точки зрения выдачи субсидий:

• первоклассные – субсидирование которых не вызывает сомнений;

• второго класса – субсидирование требует взвешенного подхода;

• третьего класса – субсидирование связано с повышенным риском.

Сумма баллов S влияет на рейтинг организации:

Диапазон 0,7–1,0 – СП первого класса экономической устойчивости;

Диапазон 0,4–0,6 – СП второго класса экономической устойчивости;

Менее 0,4 – СП третьего класса экономической устойчивости.

Для повышения устойчивости анализируем, какие показатели дали сниженные баллы, на какие мы готовы повлиять в течение ближайшего отчетного периода.

Хорошей компенсацией низкого показателя экономической устойчивости (либо его отсутствия) может быть качественно разработанная теория изменений для показателей, участвующих в оценке.

РЕШАЕМ КЕЙСЫ

Разберем применение данной оценки на примере организаций, проходящих консультирование в рамках запуска методики. Данные бухгалтерского баланса, приведенные ниже, смоделированы относительно реальных данных организаций, но показывают фактические соотношения показателей.

КЕЙС № 1

Организация несколько лет занимается производством и продажей изделий для людей с ОВЗ, планируется расширение бизнеса, но инвестиций в расширение пока не вложено.

По данным бухгалтерского баланса рассчитываем три коэффициента (см. Таблицы 5, 6, 7).

Таблица 5. Коэффициент текущей ликвидности

Таблица 6. Коэффициент финансовой устойчивости

Таблица 7. Коэффициент рентабельности продаж

По коэффициентам определяем итоговые баллы и рассчитываем коэффициент экономической устойчивости (см. Таблица 8).

Таблица 8. Рассчитанный коэффициент экономической устойчивости

S = 0,4 * Балл Ктл + 0,3* Балл Кфу + 0,3 * Балл Крп = 0,4 * 0 + 0,3 * 1 + 0,3 * 1 = 0,6

Выводы по рассчитанному коэффициенту экономической устойчивости:

Текущая ликвидность выходит за границы нормативных значений, коэффициент превышает верхнюю границу из-за объема запасов (большой объем готовой продукции и материалов для производства). Это излишне замораживает средства. Для улучшения показателя необходимо более эффективно управлять запасами, рекомендуется сократить их минимум в два раза. Косвенной предпосылкой высоких запасов может быть планируемое расширение бизнеса, но необходимо в этом убедиться. Если «сверхзапас» возник по единовременному управленческому решению, то динамика следующих периодов приведет коэффициент текущей ликвидности в норматив за счет увеличения оборота.

Компания попадает во второй класс экономической устойчивости (S = 0,6), для увеличения рейтинга нужен конкретный план действий по улучшению текущей ликвидности.

КЕЙС № 2

Организация открыла в 2022 году вторую площадку, на которой люди с ОВЗ предоставляют услуги. Первая существует уже несколько лет и успешна. Во вторую площадку были большие финансовые вложения в начале года – на ремонт и оборудование помещения. Ее открытие состоялось ближе к концу года.

По данным бухгалтерского баланса за 2022 год рассчитываем три коэффициента (см. Таблица 9, 10, 11).

Таблица 9. Коэффициент текущей ликвидности

Таблица 10. Коэффициент финансовой устойчивости

Таблица 11. Коэффициент рентабельности продаж

По коэффициентам определяем итоговые баллы и рассчитываем коэффициент экономической устойчивости (см. Таблица 12).

Таблица 12. Рассчитанный коэффициент экономической устойчивости

S = 0,4 * Балл Ктл + 0,3 * Балл Кфу + 0,3 * Балл Крп = 0,4 * 0 + 0,3 * 0 + 0,3 * 1 = 0,3

Выводы по рассчитанному коэффициенту экономической устойчивости:

Текущая ликвидность выходит за границы нормативных значений, коэффициент ниже первой границы из-за превышения обязательств над активами. Компания взяла кредит на открытие второго офиса, и текущее финансовое положении обязывает компанию изыскать средства на погашение долговых обязательств, которые действительно являются риском для социального предприятия, так как ремонт офиса неожиданно затянулся и запуск пришлось отложить. Для улучшения показателя необходим эффективный запуск второго офиса. По той же причине за границы нормативных значений выходит финансовая устойчивость, так как заемные средства превышают собственный капитал.

Компания попадает в третий класс экономической устойчивости (S = 0,3), для увеличения рейтинга нужен конкретный план действий по сокращению задолженности.

КЕЙС № 3

Организация работает несколько лет, развивая туристический бизнес для людей уязвимой социальной категории. Помимо грантов, позволяющих наполнять поездки дополнительным социальным контекстом, большая часть дохода строится на продаже услуг.

По данным бухгалтерского баланса рассчитываем три коэффициента (см. Таблица 13, 14, 15).

Таблица 13. Коэффициент текущей ликвидности.

Таблица 14. Коэффициент финансовой устойчивости.

Таблица 15. Коэффициент рентабельности продаж.

По коэффициентам определяем итоговые баллы и рассчитываем коэффициент экономической устойчивости (см. Таблица 16).

Таблица 16. Рассчитанный коэффициент экономической устойчивости

S = 0,4 * Балл Ктл + 0,3 * Балл Кфу + 0,3 * Балл Крп = 0,4 * 1 + 0,3 * 1 + 0,3 * 1 = 1

Выводы по рассчитанному коэффициенту экономической устойчивости:

Все коэффициенты находятся в пределах нормативных значений. Компания в текущем периоде попадает в первый класс экономической устойчивости (S = 1).

ОБЛАСТЬ ПРИМЕНЕНИЯ МЕТОДИКИ

В случае самооценки данная методика рекомендована к применению в первую очередь социальным предпринимателям на любой стадии развития организации. Она позволит понять стабильность их экономического положения и его изменение с течением времени. Методика является подспорьем для выработки решений, укрепляющих экономику предприятия. Также данные коэффициенты для самооценки могут использовать и любые коммерческие организации как базовую часть финансового анализа их бизнеса.

С другой стороны, данную методику могут применять грантодающие организации для оценки потенциала участников конкурса грантов, с использованием процедуры экспертного оценивания. Запрос данных по бухгалтерскому балансу позволит выбрать более устойчивые экономически организации на предварительном этапе и сократить риски реализации проекта по экономическим причинам. Безусловно, оцениваться полноценно могут только заявители, имеющие бизнес-модель в своей деятельности. В случае некоммерческих организаций, не имеющих в своей структуре деятельности бизнес-модели, данная оценка не применима.

The Union of Business and Money. Evaluation of the Economic Sustainability of Social Entrepreneurship Projects

Elena Avramenko

DOI 10.55140/2782–5817–2023–3–1–44–57

In the fall of 2022, the Social Projects Support Fund commissioned the development of a model for evaluating the impact of social entrepreneurship projects. An expert group of the model authors from the Positive Changes Factory, the Gladway Foundation, and other organizations suggested including an “economic sustainability” component alongside “social impact” and “relevance of the problem addressed.” Ten social enterprises participated in testing the model. In this material, we will present the essence of the evaluation of economic sustainability of the projects proposed under the model developed, and why its methodology can aid in making the right decisions.

Elena Avramenko

Expert of the project “Development of a Social and Economic Impact Assessment Model for NGOs” by the GLADWAY Foundation, Lean 6 Sigma Green Belt master

A HARMONIOUS UNION

Social entrepreneurship should ideally be a harmonious union between an effective solution to an important social problem and a sustainable business model. An organization can only manage change and make a positive impact on the society if it has constant and reliable financial resources. In light of this, financial analysis of your commercial activities is an important components of success. By looking at the dynamics of financial performance from year to year, a company can understand the strengths and weaknesses of its management, and therefore can plan and improve performance over time. That is why the experts decided to add an economic sustainability indicator to the model being developed.

The need to evaluate economic sustainability and financial performance of a social enterprise is evidenced by the success stories of Western companies offering social impact consultancy services (see Figure 1). For example, JBJ Consult (Switzerland) provides evaluation of profitability, self-sufficiency, return on investment and other financial indicators, making sure their clients’ businesses yield both financial and social return. Another example is the Monitor Institute by Deloitte, which works with social impact organizations to improve their impact and managerial performance, and to optimize resource utilization.

Figure 1. The Use of Economic Indicators in Evaluating Social Entrepreneurship in Western Countries (Based on Evolution & Philanthropy Research Organization)1

* – relevant for institutional investors who want to start with a pilot, to assess risk

THREE KEY INDICATORS

The economic stability indicator formula is based on the principle of accessibility and unambiguity of the data used: when compiling the evaluation model, the authors indicated specific locations in the accounting balance sheet where the respective indicators can be obtained. Therefore, it is no longer necessary to describe the economic component in terms of risks and in the context of investment, as suggested by SROI and IMP methodologies. These methodologies require using not just accounting, but econometric analysis methods, which may not be available to a wide range of social entrepreneurs. The scale and scope of most social entrepreneurship projects does not require hiring an expert in computational methods in economics and/or the social sciences.

That is why easily accessible indicators were chosen for this model, which reflect the economic effectiveness component of the social enterprise, and which every enterprise can calculate without going too deep into complex analysis methods.^[34]

The proposed evaluation of the organization’s financial condition uses such ratios as current liquidity, financial sustainability and return on sales, based on figures that can be found in the standard accounting statements.

1. Current liquidity shows whether the organization has enough working capital to cover its current liabilities as they fall due.

2. Financial sustainability shows the degree of the organization’s dependence on external funding and helps predict its solvency in the long run.

3. Return on sales is a comprehensive measure of the efficiency of material, labor and monetary resources utilization. A decrease in this figure means either a decrease in sales or inefficiency of economic activity.

These three indicators were chosen in the methodology as the key to analyzing the financial performance of the social enterprise, demonstrating how efficiently it is managed economically over several aspects. Current liquidity shows financial reliability and sustainability of the organization in the short run (ability to pay bills within a year). The financial sustainability ratio shows the capital structure – this indicator describes long-term financial reliability and the ability to meet its obligations in the long run. It is important for a social enterprise not to become overly indebted. Return on sales shows managerial efficiency, proper estimation of revenues and expenditures and cost control.

The influence of each indicator on the final score is based on the assigned weight (see Figure 2):

Current liquidity – 0.4;

Financial sustainability – 0.3;

Return on sales – 0.3.

Figure 2. Indicator weights in calculating economic sustainability

The weight ratios between the three indicators are close, but the current liquidity is given a somewhat larger weight. The standard level of the current liquidity ratio means the organization has a reliable financial position in the current year, and therefore can improve the other two indicators for the year. If, however, the organization cannot cover its liabilities in thecurrent year, the prospect of long-term reliability and efficient distribution of current revenues and expenditures does not warrant complete protection against the bankruptcy risks.

The final formula for the economic sustainability indicator is obtained as a weighted total of current liquidity, financial sustainability and return on sales according to the following formula:

Economic stability = 0.4 * Current liquidity + 0.3 * Financial sustainability + 0.3 * Return on sales

INDICATOR FORMULAS AND DEFINITIONS

1. Current Liquidity (CL) is the ratio of the value of short-term assets (STA) to the value of short-term liabilities (STL) of the social enterprise.

CL = STA / STL

Short-Term Assets (STA) are company property, receivables, and other items that are involved in income generation: for example, cash in bank and on hand, accounts receivable, inventories, raw materials, deposits in banks, stocks and bonds of other companies. Short-term assets are consumed or sold in less than a year.

In the balance sheet form, short-term assets are reflected in the following lines (see Table 1).

Table 1.  Types of current assets in the balance sheet form

Short-Term Liabilities (STL) are debt obligations of the enterprise maturing within one year. Short-term liabilities of the organization include: accounts payable (short-term obligations to pay suppliers for the goods delivered, obligations to buyers in case of down payment for products, obligations to other creditors), short-term bank loans, taxes and wages payable.

In the balance sheet form, short-term liabilities are reflected in the following lines (see Table 2).

Table 2.  Short-term liabilities in the balance sheet form

The essence of the Current Liquidity ratio is that it allows you to determine whether the organization has enough working capital to cover its current liabilities as they fall due. The CL indicator helps evaluate the organization’s solvency.

STANDARD INDICATORS:

The standard optimal value of CL is in the range from 1.5 to 2.5, depending on the industry. The current liquidity ratio of 3 and above indicates an unreasonable capital structure and slower turnover of funds invested in inventories.

2. Financial sustainability (FS) is the ratio of Shareholders’ Equity (SE) to liabilities on Borrowed Funds (BF).

FS = SE / BF

Shareholders’ Equity (SE) is the value of all non-monetary and monetary property owned by the company, less the value of all its outstanding liabilities.

The shareholders’ equity is calculated using a simple method: just take the sum total of line 1300 of the balance sheet.

Detailed breakdown of the shareholders’ equity is given in the balance sheet in the following lines (see Table 3).

Table 3.  Shareholders’ equity in the balance sheet

Borrowed funds (BF) are the property and money of third parties raised by the company for a certain period of time for use in its activities, subject to a payment of interest.

In the balance sheet, there are two lines reflecting borrowed funds: line 1410 “Borrowed funds” and line 1510 of the same name.

The essence of the Financial Sustainability ratio is that it shows the degree of dependence of the organization on external funding and helps predict its solvency in the long run.

STANDARD VALUES:

The standard value for the ratio is considered to be above 0.8.

3. Return on sales (ROS) is the ratio of profit (P) to Sales Revenue (SR). The figure needs to be multiplied by 100 to convert to percentage.

ROS = P / SR * 100 %

Profit (P) is the positive difference between the total revenue (which includes revenue from the sale of goods and services, fines and compensation received, interest income, etc.) and the costs of production or purchase of goods, storage, transportation, sales of the organization’s goods and services. Profit = Revenue – Expenditure (in monetary terms).

In the balance sheet, profit is shown on line 2300.

Sales Revenue (SR) is the amount of money received by the enterprise when selling goods and services for the period. It is defined as the volume of goods and services sold multiplied by their selling price.

In the balance sheet, revenue can be found in line 2110.

The essence of the Return on Sales ratio is that it comprehensively reflects the efficiency of material, labor and monetary resources utilization. A decrease in ROS means either a decrease in sales or inefficiency of economic activity. If an enterprise sells different types of goods and services, then the revenue is summed up by type of goods and services.

STANDARD VALUES:

On average, you can be guided by these values:

• 1–5 % is a low indicator; measures must be taken to improve return on sales;

• 5–20 % is the average, the company is able to maintain stable operation;

• 20–30 % is high economic efficiency of activity.

CALCULATION OF AN ORGANIZATION’S FINANCIAL RATING

Fill in the table with figures indicating the financial condition of the social impact enterprise (SIE) (1 point for compliance, 0 points for non-compliance with the standard), see Table 4.

Table 4.  Figures indicating the financial condition of the social impact enterprise (SIE)

When calculating the first two ratios, a social impact enterprise may find itself in a situation where the denominator is zero. We have encountered this situation in practice when consulting social entrepreneurs.

This situation may occur in the calculation of Current Liquidity ratio in absence of short-term liabilities, and in calculating the Financial Sustainability ratio – in absence of borrowed funds. And here, compared to a pure business model for a social enterprise, we have to make an exception from the general rules.

In the standard business model, the existence of short-term liabilities and loans indicates the expansion of the financial resource raised, through the use of money provided by partners or banks, which is considered the right decision for business development. In the case of a social enterprise, however, maximizing profits by borrowing funds is not the key. The key is to have the resources for pursuing one’s social mission.

If the denominator in the Current Liquidity or Financial Sustainability indicators equals zero, it was decided that for social entrepreneurs these indicators can be counted as meeting the standard. A score of one is assigned on these indicators. It makes financial sense. If the current liquidity is within the standard value, this means that the company has no problems meeting its obligations (liabilities are paid-up and equal zero). The standard value of the Financial Sustainability ratio means the organization uses only its own funds in the capital structure, which translates to zero risk of default on loans.

Next, we calculate the final score by using the following formula:

S = 0.4 * CL score + 0.3 * FS score + 0.3 * ROS score

Based on the final economic sustainability score, enterprises can be divided into 3 classes in terms of subsidies:

• first-class organizations – there are no doubts about subsidizing these;

• second-class organizations – subsidies require a balanced approach;

• third-class – subsidizing these is related to excessive risk.

The final score S affects the organization’s rating:

The score of 0.7 to 1.0 means a social enterprise of the first class of economic stability;

The score of 0.4 to 0.6 means the second class of economic stability;

The score below 0.4 means the third class of economic stability.

To improve stability, we analyze which indicators contributed to reduced scores, so we can affect them during the next reporting period.

A good compensation for low (or absent) economic stability score can be a solid theory of change for the indicators involved in the evaluation.

CASE STUDIES

Let’s discuss the application of this evaluation using the example of organizations receiving consultations as part of the launch of the methodology. The balance sheet data below is based on the actual data of the organizations, but shows the actual indicator values.

CASE 1

The organization has been manufacturing and selling products for people with disabilities for several years, and it is planning to expand the business, but no investments have been made towards the expansion so far.

We use the balance sheet data to calculate three ratios (see Tables 5, 6, 7).

Table 5. Current liquidity ratio

Table 6. Financial sustainability ratio

Table 7. Return on sales ratio

We then use these ratios to calculate the final score and determine the economic stability ratio (see Table 8).

Table 8. Calculated economic stability ratio

S = 0.4 * CL score + 0.3 * FS score + 0.3 * ROS score = 0.4 * 0 + 0.3 * 1 + 0.3 * 1 = 0.6

Conclusions on the calculated economic stability ratio:

Current liquidity falls outside the standard range of values, exceeding the upper limit due to the volume of inventories (large volume of finished products and materials for production). This ties up money unreasonably. To improve the indicator, the organization needs to improve efficiency of inventory management, cutting stocks by half at least. The high stocks level may be indirectly caused by the scheduled business expansion, but this requires further checks. If the overstocking is indeed the result of one-off management decision, the following periods will bring the current liquidity ratio towards the standard value by increasing the turnover.

The company falls into the second class of economic stability (S = 0.6); improving this score requires a specific action plan to increase current liquidity.

CASE 2

The organization opened a second office in 2022, where people with disabilities provide services. The first office has been up and running successfully for several years. The second office required major financial investment at the beginning of the year, for renovating and equipping the premises. It opened towards the end of the year.

We use the balance sheet data for 2022 to calculate three ratios (see Tables 9, 10, 11).

Table 9. Current liquidity ratio

Table 10. Financial sustainability ratio

Table 11. Return on sales ratio

We then use these ratios to calculate the final score and determine the economic stability ratio (see Table 12).

Table 12. Calculated economic stability ratio

S = 0.4 * CL score + 0.3 * FS score + 0.3 * ROS score = 0.4 * 0 + 0.3 * 0 + 0.3 * 1 = 0.3

Conclusions on the calculated economic stability ratio:

Current liquidity falls outside the standard range of values, having fallen below the lower limit due to the liabilities exceeding the assets. The company took a loan to open the second office, and the current financial situation is forcing it to find the funds to repay the debt, which is indeed a risk for the social enterprise, as the office renovation was unexpectedly delayed and the launch had to be postponed. To improve this indicator, the second office needs to be run very efficiently.

For the same reason, financial sustainability falls outside the standard values, as borrowed funds exceed shareholders’ equity.

The company falls into the third class of economic sustainability (S = 0.3); a specific action plan to reduce debt is needed to improve the rating.

CASE 3

The organization has been operating for several years, developing tourism for people from a vulnerable social category. In addition to grants that allow adding social context to trips, much of the income is built on the sale of services.

We use the balance sheet data to calculate three ratios (see Tables 13, 14, 15).

Table 13. Current liquidity ratio

Table 14. Financial sustainability ratio

Table 15. Return on sales ratio

We then use these ratios to calculate the final score and determine the economic stability ratio (see Table 16).

Table 16. Calculated economic stability ratio

S = 0.4 * CL score + 0.3 * FS score + 0.3 * ROS score = 0.4 * 1 + 0.3 * 1 + 0.3 * 1 = 1

Conclusions on the calculated economic stability ratio:

All ratios are within the standard values. The company currently falls into the first class of economic stability (S = 1).

SCOPE OF THE METHODOLOGY

In the case of self-evaluation, this methodology is recommended for use primarily by social entrepreneurs at any stage of organizational development. It will allow the evaluator to see the stability of the client’s economic situation and its dynamic over time. The methodology supports developing solutions to strengthen the economic status of the enterprises. These ratios can also be used for self-evaluation by any commercial organization, as a basic element of financial analysis of its operations.

On the other hand, the methodology can be used by donors to assess the potential of participants in grant competitions, using the expert review procedure. Sourcing data from the balance sheet allows selecting more economically stable organizations in the preliminary stage, reducing the economic risks to the project. Of course, only applicants whose operations are based on a valid business model can be fully evaluated. The evaluation does not apply to non-profits that do not have a business model in their operations.

Законным путем. Оценка фактического воздействия в части социальных инвестиций в России и мире

Иван Смекалин

DOI 10.55140/2782–5817–2023–3–1–58–65

Социальные инвестиции начали набирать популярность во всем мире в прошлом веке, однако до сих пор не получили чёткого законодательного обеспечения. В данной статье рассматриваются практики правового регулирования в области социальных инвестиций, то есть какие правовые конструкции существуют для оформления и регулирования этой сферы в России и в мире, а также определяются механизмы и функции оценки фактического воздействия с последующим выявлением основных направлений для совершенствования.

Иван Смекалин

Аналитик Фабрики позитивных изменений, магистрант Высшей школы социальных наук (Париж)

СОЦИАЛЬНЫЕ ИНВЕСТИЦИИ: ОПРЕДЕЛЕНИЕ

Социальные инвестиции, которые также называют преобразующие инвестиции, инвестиции социального воздействия, импакт-инвестиции (Квон, 2020, стр. 24; Mackevičiūtė et al., 2020; ЦИГОиНС НИУ ВШЭ, 2020), направлены на максимизацию создаваемой объектами инвестирования социальной стоимости. В мире этот тип инвестиций стал известен еще в 20 веке, и несмотря на то, что в России этот термин используется все чаще, федеральный закон «О социальных инвестициях» или определение в Гражданском кодексе пока не появилось. Под широкую рамку социальных инвестиций подпадают разные правовые конструкции, например статус социального предпринимателя и налоговые льготы для общественно полезной деятельности.

Говоря о важности совершенствования механизмов государственного регулирования социальных инвестиций, можно обратиться к данным опроса сотрудников финансовых компаний, банков и фондов, проведенного Центром исследований гражданского общества и некоммерческого сектора НИУ ВШЭ в 2019 году. По результатам исследования, около трети опрошенных называют законодательную и нормативную базу, ограничивающую возможности применения социальных инвестиций, барьером на пути их развития (Иванова, 2020).

РОССИЙСКИЕ И ЗАРУБЕЖНЫЕ ПРАКТИКИ ПО ОЦЕНКЕ ФАКТИЧЕСКОГО ВОЗДЕЙСТВИЯ В ОБЛАСТИ СОЦИАЛЬНЫХ ИНВЕСТИЦИЙ

Оценка фактического воздействия нормативных правовых актов (НПА) – это экспертиза действующего законодательного акта, направленная на устранение нечетких формулировок; выявление положений, приводящих к избыточным издержкам для предпринимательской и инвестиционной деятельности, а также бюджетной системы РФ.

Отличием оценки фактического воздействия (ОФВ) от оценки регулирующего воздействия (ОРВ), является то, что ОФВ проводится после принятия нормативного акта и интерпретирует достигнутые изменения, в то время как ОРВ – до его принятия. Иными словами, ОФВ как анализ последствий установленного регулирования, по сути, является оценкой регулирующего воздействия ex post, то есть после свершившегося факта (Алексеева, 2017).

В России практики оценки фактического воздействия появились в 2015 году и определяются профильными специалистами как правовой механизм, позволяющий оценить воздействие нормативно-правовых актов, затрагивающих интересы бизнеса и инвесторов (Арзамасов, 2019). В основном ОФВ применяется Министерством экономического развития Российской Федерации. Обращаясь к приказу Минэкономразвития России об утверждении методики оценки фактического воздействия НПА, при ОФВ анализируются такие данные как: расходы субъектов экономической деятельности на соблюдение регулирования; расходы и доходы бюджетной системы от реализации НПА; сведения о нарушениях регулирования. В качестве методов сбора предложений называются заседания экспертных и рабочих групп, а также опросы представителей заинтересованных лиц. Таким образом, в соответствии с методикой и согласно отчётам о состоянии оценки фактического воздействия, предметом оценки являются только вопросы предпринимательской и инвестиционной деятельности. Вопросы социальных последствий правового регулирования не являются предметом оценки.

Чтобы проиллюстрировать механизм оценки фактического воздействия в России, можно обратиться к порталу «Оценка регулирующего воздействия»^[35]. На нём можно найти описание процедуры ОФВ, которая включает такие шаги, как публичное обсуждение, заседание рабочей группы Министерства экономического развития Российской Федерации и Министерства юстиции Российской Федерации и формирование отчёта соответствующим федеральным органом исполнительной власти. Здесь же представлены перечни лучших практик оценки фактического воздействия, из которых видно, что социальный аспект воспринимается в контексте минимизации рисков, а не оценки эффективности и позитивного воздействия.

Первые практики регулирующего воздействия на региональном уровне появились раньше, чем на федеральном – так, Правительство Москвы ввело ОФВ одновременно с ОРВ, причем именно оценки фактического воздействия стали проводиться в первую очередь. В докладе 2018 года (Голодникова и др., 2018) говорится о таких проблемах оценки, как наличие возможностей для обхода через аппараты ведомств, через внесение законопроектов в обход Правительства, недостаточность баз данных и низкий уровень вовлечённости адресатов регулирования. С 2015 года, как отмечают авторы доклада, сужался предмет ОФВ – исключались НПА в рамках национальных проектов и инициатив. Также отмечается аппаратное сопротивление процедуре оценки.

В качестве конкретных практик оценки можно обратиться к «Аналитическому вестнику» Государственной Думы за 2020 год^[36]: в оценке фактического воздействия законодательства о развитии малого и среднего предпринимательства используются крайне формальный подход, который принимает во внимание формулировки НПА, виды отчётности и информированность граждан. В этой оценке не приводится ни экономических расчётов, ни какой-либо эмпирической информации о социально-экономическом эффекте регуляций.

В части зарубежных практик ОФВ можно отметить, что в США и Канаде оценке подлежат только те законодательные акты, которые разработаны органами исполнительной власти. При этом в США существует отдельное подразделение для мониторинга реализации законов и федеральных программ – Бюджетное управление Конгресса (Голодникова & Цыганков, 2015). Методика Еврокомиссии устанавливает следующие критерии для оценки воздействий: права человека, влияние на отдельные сектора экономики, экономических игроков, группы населения, культуру и окружающую среду (Там же). Однако наличие единой государственной системы работы с оценкой социальных последствий принятия законодательных актов в области социальных инвестиций не характерно для стран Европейского союза (Орехова, 2022): в ФРГ оценка проводится в региональном разрезе с акцентом на поиск финансовых рисков и формирование правовой среды; во Франции финансовые законы подлежат обязательной оценке, но именно в экономической плоскости.

Таким образом, оценка социального воздействия проектов социального инвестирования не является общей практикой при оценке фактического воздействия ни в России, ни в странах Евросоюза.

Впрочем, законодательно установленные практики оценки фактического воздействия в сфере социальных инвестиций всё же можно найти. Они относятся к проектам социального воздействия (social impact bonds). Так, в Великобритании социальный инвестор, чтобы получить возврат вложенных средств, должен доказать наличие позитивного социального эффекта, оценка которого проводится независимым агентством (медиатором). Стоит отметить, что эта практика находится на стыке всех тех позитивных инструментов, которые были рассмотрены ранее:

• отдельный государственный институт для социальных инвестиций;

• наличие независимой организации-оценщика;

• ориентация на доход и налоговые льготы для инвестора;

• использование методологии для исследования социального импакта^[37].

Оператор проектов социального воздействия – госкорпорация ВЭБ.РФ – приводит следующий список участников: исполнитель, инвестор, государственный орган, независимый оценщик и оператор^[38]. Этот список можно соотнести с описанными Urban Institute^[39] тройкой «государство-инвестор-подрядчик» и двойкой медиаторов. Так, в российской модели роль медиатора несколько ограничена по сравнению с традиционными экспертными медиаторами – не указано, что он проводит экспертизу и оказывает помощь в составлении дизайна проекта до его запуска. Также в российской модели нет лица, которое гарантирует интересы инвестора, кроме самого инвестора.

ОСНОВНЫЕ НАПРАВЛЕНИЯ СОВЕРШЕНСТВОВАНИЯ РОССИЙСКОГО МЕХАНИЗМА ОЦЕНКИ ФАКТИЧЕСКОГО ВОЗДЕЙСТВИЯ В ОБЛАСТИ СОЦИАЛЬНЫХ ИНВЕСТИЦИЙ

Обсуждая российский опыт социальных инвестиций, стоит сосредоточиться на трёх способах их правового оформления:

• проекты социального воздействия;

• статус социального предпринимателя;

• государственно-частное партнёрство для инвестиционных проектов по созданию социальных учреждений.

В России одной из законодательных инициатив по внедрению социальных инвестиций эксперты называют пилотную апробацию проектов социального воздействия (social impact bonds, SIB). В рамках соответствующей государственной программы^[40] осуществляется привлечение средств инвесторов для финансирования социальных проектов, которые, в случае успешного достижения социального воздействия, получают от государства компенсацию вложенных средств.

Второй рассматриваемый инструмент для правового оформления социальных инвестиций в России – это статус социального предпринимателя. В обзоре существующих льгот статуса социального предпринимателя рассматривается набор преимуществ, который даёт этот статус (Умнов, Плюхина & Матвеев, 2018). В частности, Налоговый кодекс РФ устанавливает льготный налоговый режим для организаций, реализующих социально полезную деятельность (освобождение от налога на добавленную стоимость или от налога на прибыль в разных сферах деятельности). Также на социальных предпринимателей ориентирован ряд государственных программ (вроде программы «Социальная поддержка граждан»), условия которых предполагают, что социальные предприниматели могут быть задействованы в их исполнении. В заключительной части статьи особенности российского правового статуса социального предпринимателя рассмотрены в больших деталях как одно из основных направлений для совершенствования.

Третьим способом правового оформления социальных инвестиций можно считать государственно-частное партнёрство для создания социальной инфраструктуры. Эксперт Национального центра государственно-частного партнерства и платформы «Росинфра» Андрей Бедняков указывает, что только 8 % средств в рамках российских проектов ГЧП направляются в социальную сферу (Бедняков, 2022). При этом доля частных инвестиций в инфраструктуру составляет 2 % от общего объёма в России. Он делает общий вывод о низком уровне развития соответствующих институтов развития, а также об отсутствии эффективной системы регулирования в виде прозрачных конкурсных процедур. Отсутствие внедрения эффективной методологии оценки проектов (например, не используются такие метрики эффективности, как коэффициент возврата инвестиций) можно выделить как основополагающую характеристику российского кейса. В противоположность эксперт приводит пример Канады, где на законодательном уровне для проектов ГЧП введена необходимость наличия методологии оценки и независимого оценщика. Важность метрик для развития социальных инвестиций будет также рассмотрена ниже.

Одной из черт социальных инвестиций, которые отличают их от просто благотворительности, является обязательное измерение достигнутых социальных результатов.

Одной из черт социальных инвестиций, которые отличают их от просто благотворительности, является обязательное измерение достигнутых социальных результатов. Такое условие используется лишь в меньшей части финансируемых государством социальных проектов. В частности, ни статус социального предпринимателя, ни механизм государственно-частного партнёрства для поддержки инвестиционных проектов по созданию социальных учреждений не предполагают измерения социального воздействия. Это является главным недостатком действующих механизмов.

Социальные инвестиции можно определить как вложение средств для получения позитивного социального результата. Если предприниматель вкладывает деньги и рассчитывает получить выручку или даже прибыль (как в случае государственно-частного партнёрства) – это не социальные инвестиции, а традиционные коммерческие инвестиции в социальном секторе. Отличием социальных инвестиций является то, что при вложении отдача в первую очередь носит не экономический, а социальный характер, который необходимо доказать через оценку социального воздействия проекта социального инвестирования. Отсутствие механизма оценки смешивает импакт-инвестиции с инвестициями для извлечения прибыли, как это происходит в российских моделях социального предпринимательства и государственно-частного партнёрства.

В соответствии с текущим законодательством, в этих моделях сам факт осуществления деятельности в социальной сфере трактуется как, во-первых, социально ориентированная деятельность, а во-вторых, как успешная деятельность. Обращаясь к ФЗ от 26.07.2019 г. № 245-ФЗ «О внесении изменений в Федеральный закон «О развитии малого и среднего предпринимательства в Российской Федерации» в части закрепления понятий «социальное предпринимательство», «социальное предприятие», можно увидеть, что включение в реестр социальных предпринимателей возможно по нескольким равнозначным признакам.

Часть признаков носит содержательный и оценочный характер – например, обеспечение занятости сотрудников из социально уязвимых категорий^[41], способствование реализации продукции, которую произвели такие сотрудники, или производство товаров для социально уязвимых групп. Действительно, деятельность в этом направлении сама по себе будет обладать ненулевой социальной полезностью, но её эффективность всё равно остаётся под вопросом. С другой стороны, группа критериев, на основании которой в реестр включено большинство предприятий, перечисляет сферы деятельности, действуя в которых предприятие автоматически считается социальным. Например, к таким сферам относятся услуги в сфере дополнительного образования, отдыха и оздоровления детей, культурно-просветительская деятельность. В этом случае без дополнительных оценок невозможно сказать даже о наличии самого факта социального воздействия.

Поскольку принципом социальных инвестиций является доказательность социальных изменений, представляется продуктивным учесть необходимость оценки на уровне законодательства. В частности, внедрить практики оценки социального воздействия для включения в реестр социального предпринимательства или подтверждения статуса в нём. Так законодательная среда позволит стимулировать более обоснованный и доказательный подход к социальным инвестициям на примере социального предпринимательства.

Обращаясь к отчёту Департамента политики в области экономики, науки и качества жизни Европарламента (Mackevičiūtė, R. et al., 2020) с обзором лучших практик социальных инвестиций, нужно сказать, что в России с разной долей успешности принята большая часть перечисленных в отчете мер обеспечения:

• создание государственных структур, ответственных за фасилитацию рынка импакт-инвестиций (ВЭБ.РФ как оператор проектов социального воздействия);

• обеспечение правовой базы и правового статуса социальных предпринимателей;

• наличие налоговых стимулов.

Однако в настоящий момент, за исключением механизма проектов социального воздействия, отсутствуют регуляторные меры – в частности в виде введения стандартизированных систем измерения социального воздействия и отчетности. Именно этот неотъемлемый элемент правового обеспечения социального инвестирования предлагается к внедрению в российских условиях.

Аналогичные практики оценки социального импакта важны в других российских правовых конструкциях в сфере социальных инвестиций – в проектах государственно-частного партнёрства, которые в настоящий момент не проходят оценку социального эффекта, и в проектах социального воздействия по модели SIB, в которых наблюдается потребность в оценке результатов проекта со стороны медиатора.

Подводя итог, нужно сказать, что и в России, и за рубежом оценка фактического воздействия в области социальных инвестиций, являясь неотъемлемым элементом определения этого вида инвестиций, постепенно начинает обретать свои очертания как в практиках, так и в законодательстве.

СПИСОК ИСТОЧНИКОВ

1. Mackevičiūtė, R., Martinaitis, Ž., Lipparini, F., Scheck, B. C., & Styczyńska, I. (2020). Social Impact Investment-Best Practices and Recommendations for theNext Generation. Policy Department for Economic, Scientific and Quality of Life Policies Directorate-General for Internal Policies, European Parliament. Retrieved from: https://www.europarl.europa.eu/RegData/etudes/STUD/2020/658185/IPOL_STU(2020)658185_EN.pdf. (accessed 07.02.2023).

2. Алексеева, М. (2017). Мониторинг в рамках институтов оценки регулирующего воздействия и оценки фактического воздействия в Российской Федерации. Государственное и муниципальное управление. Ученые записки, (2), 20–25. https://doi.org/10.22394/2079–1690–2017–1–2–20–25.

3. Арзамасов, Ю. Г. (2019). Оценка регулирующего воздействия и риски в праве: опыт России и континентальной Европы. Право. Журнал Высшей школы экономики, (S5), 4–31. http://doi.org/10.17323/2072–8166.2019.5.4.31.

4. Бедняков, А. С. (2022). Государственно-частное партнёрство как модель развития публичной инфраструктуры. Вестник МГИМО Университета, 15 (1), 143–176. https://doi.org/10.24833/2071–8160–2022–1–82–143–173.

5. Голодникова, А. & Цыганков, Д. (2015). «Таргетирование» оценки регулирующего воздействия: международные подходы и российская практика. Вопросы государственного и муниципального управления, (4), 7–40.

6. Голодникова, А., Ефремов, А., Соболь, Д., Цыганков, Д., & Шклярук, М. (2018). Регуляторная политика в России: основные тенденции и архитектура будущего. Доклады ЦСР, (1), 1–191.

7. Иванова, Н. (2020). Инвестиции социального воздействия: международный опыт. Информационно-аналитический бюллетень о развитии гражданского общества и некоммерческого сектора в России. 1(18).

8. Квон, Г. (2020). Оценка социального воздействия преобразующих инвестиций: проблемы и подходы. Вестник экономики, права и социологии, (4), 24–28.

9. Орехова, Н. (2022). Оценка регулирующего и фактического воздействия нормативных правовых актов: международный опыт и перспективы в России. Юридическая наука, (11), 169–175.

10. Умнов, В., Плюхина, А., & Матвеев, М. (2018). Анализ системы государственной поддержки социального предпринимательства в России. Вестник РГГУ. Серия «Экономика. Управление. Право», (3 (13)), 77–89. https://doi. org/10.28995/2073–6304–2018–3–77–89.

By Way of Law. Assessment of the Actual Impact of Social Investment Projects in Russia and Worldwide

Ivan Smekalin

DOI 10.55140/2782–5817–2023–3–1–58–65

Social investment started to gain popularity all over the world in the last century, yet it still has not received a clear legislative support. This article reviews the practices of legal regulation of social investment, i.e. what legal structures have been created to formalize and regulate this sphere in Russia and worldwide, and identifies mechanisms and functions required to evaluate the actual impact, followed by identifying key areas for improvement.

Ivan Smekalin

Analyst, Factory of Positive Changes, master’s student at the École des Hautes Études en Sciences Sociales (Paris)

THE DEFINITION OF SOCIAL INVESTMENT

Social investment, also known as transformative investment, social impact investment, or impact investment (Kwon, 2020, p. 24; Mackevičiūtė et al., 2020; Center for Studies of Civil Society and Nonprofit Sector, NRU HSE, 2020), is aimed at maximizing the social value created by investees. This type of investment has become known worldwide in the 20th century, and even though the term is used increasingly often in Russia, it still has not received a definition in the Civil Code nor has a Federal Law “On Social Investment” been passed. Various legal constructs fall under the broad framework of social investment, such as the status of a social entrepreneur and tax incentives for socially beneficial activities.

Speaking about the importance of improving the mechanisms of state regulation of social investment, we can refer to the survey of employees of financial companies, banks and foundations, conducted by the Center for Studies of Civil Society and Nonprofit Sector of the National Research University – Higher School of Economics in 2019. According to the study, about a third of the respondents cite the legislative and regulatory framework that limits the application of social investment as a barrier to their development (Ivanova, 2020).

RUSSIAN AND FOREIGN EXPERIENCE IN ASSESSING THE ACTUAL IMPACT IN THE FIELD OF SOCIAL INVESTMENT

Assessment of the actual impact of statutory regulations is an examination of a current legislative act, designed to eliminate ambiguous wording, identify provisions that result in excessive costs to businesses and investors, as well as the budget system of the Russian Federation.

The difference between the actual impact assessment (AIA) and the regulatory impact assessment (RIA) is that the AIA is conducted after the regulatory document has been adopted and interprets the changes achieved, while the RIA takes place before the adoption. In other words, AIA, as an analysis of the consequences of the established regulation, is in fact ex post (after the fact) regulatory impact assessment (Alekseeva, 2017).

In Russia, the practices of actual impact assessment emerged in 2015 and are defined by subject matter experts as a legal mechanism for assessing the impact of regulations affecting the interests of businesses and investors (Arzamasov, 2019). AIA is mainly applied by the Ministry of Economic Development of the Russian Federation. Referring to the order of the Ministry of Economic Development of Russia on the approval of the methodology for assessing the actual impact of statutory regulations, the AIA analysis is based on such data as the costs for economic entities to comply with regulation; costs and revenues for the budget system related to the implementation of that regulation; and information on violations of the regulation. Proposals can be gathered via meetings of expert and working groups, as well as interviews with representatives of interested parties. Thus, in accordance with the methodology and according to the reports on the status of actual impact assessment, the assessment only covers the issues of business and investment activities. Social consequences of legal regulation are outside of the scope of impact assessment.

To illustrate the mechanism of actual impact assessment in Russia, you can refer to the “Regulatory Impact Assessment” portal^[42]. There you can find a description of the AIA procedure, which includes such steps as a public discussion, a working group meeting of the Ministry of Economic Development of the Russian Federation and the Ministry of Justice of the Russian Federation and the preparation of the report by the respective federal executive authority. It also lists best practices for assessing actual impact, which make it clear that the social aspect is only perceived in the context of minimizing risks rather than assessing effectiveness and positive impact.

Regulatory impact assessment practices appeared at the regional level first, before the federal level – for example, the Government of Moscow introduced AIA simultaneously with RIA, and started with conducting just actual impact assessment. The 2018 report by Golodnikova et al. cites assessment challenges such as the evasion opportunities through agencies, introduction of bills bypassing the government, insufficient information in the databases, and low levels of regulatory recipient engagement. The report authors note that the subject matter of the AIA was narrowed in 2015 by excluding statutory regulations that fall within the framework of national projects and initiatives. Resistance to the assessment procedure is also observed at the apparatus level.

For specific assessment practices, one can refer to the State Duma’s 2020 Analytical Bulletin^[43]: the actual impact assessment of the legislation on development of small and medium-sized businesses uses an extremely formal approach that takes into account the wording of statutory regulations, reporting types, and the public awareness. The assessment includes neither economic calculations nor any empirical information about the socio-economic effect of the regulations.

In terms of foreign AIA practices, it may be noted that in the United States and Canada only legislative acts developed by the executive branch of the government are assessed. Meanwhile, in the United States there is a separate unit to monitor the implementation of laws and federal programs – the Congressional Budget Office (Golodnikova & Tsygankov, 2015). The European Commission’s methodology establishes the following criteria for impact assessment: impact on human rights, individual economic sectors, economic actors, population groups, culture and the environment (Ibid.). On the other hand, the European Union countries do not generally have a central nationwide system for assessing the social consequences of the adoption of statutory regulations in the field of social investment (Orekhova, 2022): in Germany, the assessment is conducted regionally with a focus on finding financial risks and setting up the legal environment; in France financial laws are subject to mandatory assessment, but only in the economic plane.

Thus, social impact assessment of social investment projects is not a common practice during actual impact assessment, neither in Russia nor in the EU.

However, legally established practices of AIA in the field of social investment can still be found. They are related to social impact bonds. For example, in Great Britain, a social investor, in order to get a refund of their investment, must prove a positive social effect, which is evaluated by an independent agency (mediator). It is worth noting that this practice is at the junction of all the positive tools we discussed earlier:

• a separate state institution in charge of social investment;

• presence of an independent organizational evaluator;

• focus on income and tax benefits for the investor;

• using the methodology to investigate social impact^[44].

One of the major social impact operators in Russia, VEB.RF state corporation, presents the following list of stakeholders: the contractor, investor, public authority, independent evaluator, and operator^[45]. This list correlates with the “stateinvestor-contractor” triangle plus the two mediators described by the Urban Institute^[46]. Thus, in the Russian model, the mediator’s role is somewhat limited compared to the traditional expert mediators – nowhere does it say he/she is to conduct expert review or assist in the project design before the project launch. The Russian model also does not allow for a participant to guarantee the investor’s interests, other than by the investors themselves.

THE KEY AREAS OF IMPROVEMENT OF THE RUSSIAN MECHANISM FOR ASSESSING THE ACTUAL IMPACT IN SOCIAL INVESTMENT

When discussing the Russian experience of social investment, it is worth focusing on three ways in which they can be legally formalized:

• social impact projects;

• the status of a social entrepreneur;

• public-private partnerships for investment projects to establish social institutions.

In Russia, experts call one of the legislative initiatives to introduce social investments a pilot testing of social impact bonds (SIB). Within the corresponding state program^[47], funds are raised from investors to finance social projects. The costs will be later compensated by the state if the projects successfully achieve the intended social impact.

The second tool being considered for the legal registration of social investment in Russia is the status of a social entrepreneur. A review of the existing benefits of social entrepreneur status examines the set of benefits conferred by this status (Umnov, Plyukhina & Matveev, 2018). In particular, the Tax Code of the Russian Federation establishes a preferential tax regime for organizations that carry out socially beneficial activities (exemption from value added tax or profit tax in different areas of activity). Social entrepreneurs are in the focus of a number of government programs (such as the “Social Support for Citizens” program), which are created specifically so that social entrepreneurs can be engaged in their implementation. In the final part of the article, the authors consider the peculiarities of the Russian social entrepreneur’s status in great detail, as one of the key areas for improvement.

The third way to legally formalize social investment is public-private partnership for the development of social infrastructure. Andrey Bednyakov, an expert at the National Center for Public-Private Partnerships and the Rosinfra platform, points out that only 8 % of the funding in Russian PPP projects go to the social sector (Bednyakov, 2022). At the same time, the share of private investment into infrastructure in Russia is 2 % of the total volume. He draws a general conclusion about the low evolutionary state of the respective development institutions, as well as the lack of an effective regulatory system in the form of transparent competitive procedures. The lack of an effective project evaluation methodology (for example, such efficiency metrics as Return on Investment are seldom used) can be identified as a fundamental quality of the Russian case. In contrast, the expert cites Canada, where PPP projects are legally required to have an evaluation methodology and an independent evaluator. The importance of metrics for the development of social investment will also be discussed below.

One major difference between social investment and mere charity is the mandatory measurement of the social results achieved.

One major difference between social investment and mere charity is the mandatory measurement of the social results achieved. This condition is used in a small share of publicly funded social projects. In particular, neither the status of a social entrepreneur, nor the public-private partnership mechanism for support of investment projects to create social institutions involves measuring social impact. This is the main disadvantage of the current mechanisms.

Social investment can be defined as investing into a positive social result. If an entrepreneur invests money and expects to generate revenue or even profit (as in the case of public-private partnerships), this is not social investment, but rather traditional commercial investment in the social sector. Social investment is different from investment in that the returns are not primarily economic but social, which must be proven through the assessment of social impact of the project. The absence of an evaluation mechanism creates a confusion between impact investment and commercial investment, as is the case in the Russian models of social entrepreneurship and public-private partnerships.

According to current legislation, these models interpret the very fact of working in the social sphere as, first, a socially oriented activity, and second, a successful activity. Turning to the Federal Law No. 245-FZ of 26 July 2019 “On Amendments to the Federal Law On the Development of Small and Medium Entrepreneurship in the Russian Federation”, which defines the concepts of “social entrepreneurship” and “social enterprise”, you can see that inclusion in the register of social entrepreneurs is possible on several equally important grounds.

Some of the attributes are of a substantive and judgmental nature – for example, providing employment to people from socially vulnerable categories^[48], facilitating the sale of products produced by such workers, or producing the goods for socially vulnerable groups. It is true that any activity in this area would have above-zero social effect per se, but the question of its effectiveness would remain. On the other hand, the criteria used for including most businesses in the register, specify the areas of operations that automatically make your enterprise a social one. For example, these areas include services in the field of additional education, recreation and health improvement for children, cultural and educational activities. In this case social impact cannot even be confidently stated without further evaluation.

Since social investment requires proof of social impact, it seems reasonable to consider including the requirement for evaluation into the legislation. In particular, to introduce practices of social impact assessment for inclusion in the register of social entrepreneurs or confirmation of the status of a social enterprise. This way the legislative environment will stimulate a more informed and evidence-based approach to social investment using social entrepreneurship as an example.

Going back to the report by the European Parliament’s Policy Department for Economic, Scientific and Quality of Life Policies (Mackevičiūtė, R. et al., 2020) with an overview of best practices in social investment, we must mention that most of the measures listed in the report have been adopted in Russia, with varying degrees of success:

• creation of state structures responsible for the facilitation of the impact investment market (VEB.RF as the SIB project operator);

• providing a legal framework and legal status for social entrepreneurs;

• availability of tax incentives.

However, at the moment, with the exception of the SIB project mechanism itself, there are no regulatory measures – particularly in the form of the introduction of standardized systems for measuring social impact and reporting. It is this indispensable element of the legal foundation of social investment that is proposed for implementation in the Russian context.

Similar practices of social impact assessment are important in other Russian legal constructs in the field of social investment – such as public-private partnership projects, which do not currently undergo social impact assessment, or the social impact bonds projects, which need a mediator to evaluate the project results.

To summarize, it must be said that actual impact assessment in the field of social investment both in Russia and abroad, being an integral element of the definition of this type of investment, is gradually beginning to take shape in both practice and legislation.

REFERENCES

1. Mackevičiūtė, R., Martinaitis, Ž., Lipparini, F., Scheck, B. C., & Styczyńska, I. (2020). Social Impact Investment – Best Practices and Recommendations for the Next Generation. Policy Department for Economic, Scientific and Quality of Life Policies Directorate-General for Internal Policies, European Parliament. Retrieved from: https://www. europarl.europa.eu/RegData/etudes/STUD/2020/658185/ IPOL_STU(2020)658185_EN.pdf. (accessed 07.02.2023).

2. Alekseeva, M. (2017). Monitoring in the Framework of the Institutions of Regulatory Impact Assessment and Evaluation of Actual Exposure in Russian Federation. State and Municipal Administration. Scientific Notes, (2), 20–25. https://doi.org/10.22394/2079–1690–2017–1–2–20–25.

3. Arzamasov, Yu. G. (2019). Regulatory Impact Assessment and Risks in Law: Experience of Russia and Continental Europe. Pravo. Zhurnal Vysshey shkoly ekonomiki, (S5), 4–31. http://doi.org/10.17323/2072–8166.2019.5.4.31.

4. Bednyakov, A. S. (2022). Public-Private Partnership as a Model of Public Infrastructure Development. MGIMO Review of International Relations, 15 (1), 143–176. https:// doi.org/10.24833/2071–8160–2022–1–82–143–173.

5. Golodnikova, A. & Tsygankov, D. (2015). Regulatory Impact Assessment Targeting: International Approaches and Russian Experience. Public Administration Issues, (4), 7–40.

6. Golodnikova, A., Efremov, A., Sobol, D., Tsygankov, D., & Shklyaruk, M. (2018). Regulatory Policy in Russia: Key Trends and the Architecture of the Future Center for Strategic Research (CSR) Reports, (1), 1–191.

7. Ivanova, N. (2020). Social Impact Investments: International Experience. Information and analytical bulletin on the development of the civil society and the nonprofit sector in Russia. 1(18).

8. Kwon, G. (2020). Assessing the Social Impact of Transformative Investment: Issues and Approaches. Bulletin of Economics, Law and Sociology, (4), 24–28.

9. Orekhova, N. (2022). Assessment of the Regulatory and Actual Impact of Statutory Regulations: International Experience and Prospects in Russia. Legal Science, (11), 169–175.

10. Umnov, V., Plyukhina, A., & Matveev, M. (2018). Analysis of the State Support System for Social Entrepreneurship in Russia. Bulletin of the Russian State University of Humanities. “Economics. Management. Law” series, (3 (13)), 77–89. https://doi.org/10.28995/2073–6304–2018–3–77–89.

Кейс выпуска / The Case of the Issue

Как устроен лучший грантовый конкурс социальных проектов 2022 года. Опыт фонда «Дорога к дому»

Алена Богомолова

DOI 10.55140/2782–5817–2023–3–1–66–79

В 2022 году грантовый конкурс Благотворительного фонда «Дорога к дому» был признан лучшей программой, способствующей устойчивому развитию с помощью конкурсных механизмов. Он одержал победу в проекте Форума Доноров «Лидеры корпоративной благотворительности». В номинации «Лучший грантовый конкурс» соревновались 12 заявок. Рассказываем в нашем материале, как проходит конкурс социальных проектов и что помогло ему завоевать признание профессионального сообщества.

Алена Богомолова

Руководитель ресурсно-методического центра Благотворительного фонда «Дорога к дому», член правления Ассоциации специалистов по оценке программ и политик

ОТ ОДНОГО ПРОЕКТА К СИСТЕМНОЙ ПОМОЩИ

Благотворительный фонд «Дорога к дому» был основан в 2005 году как корпоративный фонд компании «Северсталь» по личной инициативе бизнесмена Алексея Мордашова в городе Череповец Вологодской области. Его работа началась с одного проекта по содействию семейному устройству детей-сирот и детей, оставшихся без попечения родителей. Постепенно круг деятельности фонда расширялся: появились проекты по профилактике отказов от новорожденных, по работе с трудными подростками и семьями группы риска, где по причинам семейного неблагополучия родителей могут ограничить или лишить родительских прав.

18 февраля 2023 года фонд «Дорога к дому» отметил свое 18-летие. За эти годы он реализовал десятки проектов, благодаря которым ежегодно получают помощь специалистов 15–20 тысяч человек, в Череповце в 7 раз снизилось количество отказов от новорожденных детей, около 200 младенцев остались в кровных семьях, а за последние четыре года в Вологодской области в 3 раза снизилось количество семей, находящихся в социально опасном положении, и в 2,4 раза снизилось количество преступлений, совершаемых подростками. Сегодня фонд – это крупнейшая некоммерческая организация Вологодской области и ресурсный центр для специалистов НКО со всей России.

Фонд занимается развитием системной благотворительности. Его работа направлена на эффективное решение социальных проблем, актуальных для семей с детьми. Чтобы узнать, какие вопросы волнуют семьи и определить перечень основных направлений деятельности, организация проводит прикладные исследования. Дальнейшая задача – поддержать лучшие практики, инструменты и технологии помощи семьям и детям. С этой целью фонд проводит грантовый конкурс социальных проектов. Принять участие в нем могут НКО и учреждения социальной сферы. Проектные идеи оценивают независимые эксперты. Учитывается, прежде всего, отсутствие дублирования с текущей деятельностью организации-заявителя, достижимость обозначенных целей и задач, актуальность проекта для целевой группы и сообщества, логическая связность проектов.

Конкурс социальных проектов стал инструментом улучшения качества жизни граждан на территориях его проведения. Его финансирование «Северсталь» рассматривает как социальные инвестиции и вклад в достижение Целей устойчивого развития ООН: ЦУР 3 «Хорошее здоровье и благополучие», ЦУР 10 «Уменьшение неравенства», ЦУР 4 «Качественное образование», ЦУР 17 «Партнерство в интересах устойчивого развития» и др.

Конкурс способствует реализации целей стратегии устойчивого развития^[49] и корпоративной благотворительности компании, а также государственной политики в области семьи, материнства и детства.

ТЕРРИТОРИАЛЬНЫЙ ОХВАТ

С 2008 до 2011 гг. грантовый конкурс проводился в Череповце. Сегодня география конкурса соответствует территориям присутствия компании «Северсталь».

В 2012 году были впервые включены города:

• Воркута (РеспубликаКоми);

• Великий Устюг (Вологодская область);

• Балаково (Саратовская область);

• Костомукша (Республика Карелия).

В 2022 году география конкурса представлена следующими территориями:

• г. Череповец и/или Череповецкий район (Вологодская область);

• г. Вологда и/или Вологодский район (Вологодская область);

• г. Тотьма и/или Тотемский район (Вологодская область);

• п. Шексна и/или Шекснинский район (Вологодская область);

• г. Великий Устюг (Вологодская область);

• г. Красавино (Вологодская область);

• г. Оленегорск (Мурманская область);

• г. Строитель (Яковлевский район, Белгородская область).

ЦЕЛИ И ЗАДАЧИ

Цель – выявление и поддержка местных инициатив, предлагающих решение актуальных социальных проблем семьи и детства, соответствующих направлениям деятельности фонда.

Задачи грантового конкурса:

• Выявление активных специалистов, формирование и укрепление партнерских коммуникаций в сфере детства.

• Повышение компетенций специалистов в области социального проектирования, управления проектами и оценки проектов.

• Отработка технологий повышения уровня благополучия детей, семей с детьми, специалистов сферы детства.

АКТУАЛЬНОСТЬ ГРАНТОВОГО КОНКУРСА

Для разных стейкхолдеров конкурс актуален по разным причинам. Так, победа в грантовом конкурсе для организаций-грантополучателей становится драйвером роста, а также развития культуры благотворительности, оценки и вовлеченности получателей услуг в процессы управления.

Специалисты, занятые в проектах, получают новые возможности самореализации, карьерного роста, развития компетенций и сети профессиональных контактов. Проекты-победители позволяют им проверить гипотезы и отработать инновационные социальные механизмы.

Значимость конкурса для фонда «Дорога к дому» растет с каждым годом.

Конкурс оказывает серьезное влияние на НКО-сектор в регионах присутствия компании. Во-первых, победители конкурса находят новые способы решения актуальных социальных проблем, пополняя тем самым портфель практик фонда. Во-вторых, участие в конкурсе требует принятия принципов и ценностей фонда, что способствует внедрению оценки, доказательного подхода, субъект-субъектного подхода, культуры благотворительности в социальной сфере. В-третьих, участие в реализации проектов формирует единый подход и позволяет специалистам согласованно действовать в процессе оказания помощи благополучателям (в первую очередь семьям с детьми). В-четвертых, конкурсная программа формирует соответствующий имидж фонда и компании, повышая уровень осведомленности со стороны ключевых стейкхолдеров.

Чтобы узнать, какие вопросы волнуют семьи и определить перечень основных направлений деятельности, фонд проводит прикладные исследования и поддерживает лучшие практики помощи семьям и детям.

Стейкхолдерами конкурса выступают:

• Донор – компания «Северсталь»: выделяет средства для организации, проведения конкурса и реализации проектов-победителей; представитель компании является членом конкурсного совета. Высокая степень влияния на конкурс.

• Команда фонда: организует и проводит конкурс; осуществляет сопровождение проектов-победителей. Высокая степень влияния на конкурс.

• Команды проектов-победителей: разрабатывают и реализуют проекты. Низкая степень влияния на конкурс.

• Благополучатели: непосредственно участвуют в проектах, оценивают проекты. Средняя степень влияния на конкурс.

• Партнерские организации: поддерживают реализацию проектов-победителей, предоставляют ресурсы (человеческие и материальные). Средняя степень влияния на конкурс.

КТО ДЕЛАЕТ ГРАНТОВЫЙ КОНКУРС ФОНДА «ДОРОГА К ДОМУ»

Команду конкурса можно поделить на три группы, у каждого участника – своя роль и функции.

1. Административная команда:

• директор фонда – лицо, принимающее решения;

• заместитель директора фонда – организатор экспертизы заявок;

• руководитель ресурсно-методического центра фонда – менеджер конкурса, консультант всех участников конкурса;

• руководитель направления по СМИ фонда – информационное сопровождение конкурса;

• экономист фонда, методисты фонда – консультации по вопросам подготовки бюджета и заявок.

Победители конкурса находят новые способы решения актуальных социальных проблем, пополняя тем самым портфель практик фонда. Участие в конкурсе требует принятия принципов и ценностей фонда, что способствует внедрению оценки, доказательного подхода.

2. Команда соисполнителей:

• конкурсная комиссия – внутренние и внешние эксперты по направлениям деятельности фонда, а также эксперты в области социального проектирования, прикладных и оценочных исследований, придерживающиеся доказательного подхода в оценке результатов социальных практик;

• конкурсный совет – коллегиальный орган конкурса, созданный для принятия окончательного решения о победителях конкурса;

• программисты – сопровождение сайта конкурса^[50].

3. Партнеры:

• СМИ на территориях проведения конкурса – информационное освещение конкурса и его результатов;

• администрации городов и профильные департаменты на территориях проведения конкурса – вовлечение грантополучателей, формирование пула актуальных проблем, для решения которых необходимы проектные идеи, партнерская поддержка реализуемых проектов-победителей;

• ресурсные центры для НКО на территориях проведения конкурса – вовлечение грантополучателей, помощь в подготовке заявок на конкурс и реализации проектов-победителей.

КТО И КАК ОЦЕНИВАЕТ ЗАЯВКИ

Продолжительность подаваемых на конкурс проектов – от 6 до 36 месяцев. Вне зависимости от тематики, продолжительности, объема финансирования, территории реализации и размера команды проекта, каждый проект-победитель конкурса должен заканчиваться измеримыми положительными изменениями у заявленных целевых групп. Это ключевое условие для получения финансирования.

Конкурсная комиссия оценивает все поступившие заявки по следующим критериям:

1. Соответствие проекта направлениям и условиям конкурса.

2. Актуальность и значимость проекта для решения проблем целевой группы.

3. Целесообразность, логическая последовательность и способность запланированных действий привести к достижению цели проекта.

4. Конкретность и достижимость запланированных результатов.

5. Тиражируемость проекта (возможность применения технологий проекта в других организациях, на других территориях).

6. Способность команды проекта привести проект к достижению цели.

7. Реалистичность бюджета проекта и соответствие планируемых затрат ожидаемым результатам.

СОЦИАЛЬНЫЕ РЕЗУЛЬТАТЫ КОНКУРСА ГРАНТОВ БФ «ДОРОГА К ДОМУ»

Реализация проектов, получивших поддержку фонда, помогает улучшить качество жизни благополучателей (детей, семей с детьми и специалистов сферы детства), увеличивает количество организаций и специалистов, оказывающих качественные услуги благополучателям. Специалисты проектов помогают создать для детей безопасные для жизни и благоприятные для развития условия в семьях, сформировать или укрепить позитивные личностно-значимые и социально-значимые изменения у несовершеннолетних, повысить уровень социально-психологической и родительской компетентности в вопросах воспитания детей и построения гармоничных детско-родительских отношений, а также повысить уровень профессионализма специалистов сферы детства.

В 2022 году во время реализации проектов-победителей помощь получили более 1 700 человек, в 2021 году – более 3 800 благополучателей, в 2020 году – более 1 700 человек.

ИМИДЖЕВЫЕ ЭФФЕКТЫ КОНКУРСА ГРАНТОВ ДЛЯ БФ «ДОРОГА К ДОМУ»

Регулярное проведение грантового конкурса позволяет наращивать уровень осведомленности о Благотворительном фонде «Дорога к дому» в профессиональном сообществе, а также повысить уровень экспертности фонда, в т. ч. приглашений поделиться опытом и реализовать партнерские проекты.

Как следует из отчета «Оценка взаимодействия с ключевыми стейкхолдерами программ Благотворительного фонда «Дорога к дому» 2021 года, «8 из 10 партнеров БФ «Дорога к дому», специалистов фонда и специалистов программ отмечают, что хорошо информированы о деятельности фонда, включены в нее (в фонде всего 18 сотрудников, еще более 250 специалистов реализуют проекты программ фонда в 7 регионах. Речь в этом предложении идет именно об этих специалистах, которые не являются сотрудниками фонда – прим. ред.). 97 % партнеров фонда одобряют его деятельность. Более 80 % партнеров говорят, что с начала их взаимодействия со специалистами программ фонда, в работе партнеров (тех, кто работает также с семьями и детьми, но в учреждениях и других НКО) стали происходить позитивные изменения, специалисты оказывают им именно ту помощь, которая необходима».

ВНЕШНЯЯ ОЦЕНКА ГРАНТОВОГО КОНКУРСА ФОНДА

Каждый год конкурс совершенствуется для того, чтобы быть максимально объективным, прозрачным, понятным и интересным для участников.

В сентябре 2018 года команда фонда приняла решение о необходимости внешней оценки, которая была проведена годом позже. Для оценки были привлечены два независимых эксперта. Отчет о результатах оценки был получен в ноябре 2019 г. На формирование ТЗ, постановку вопросов оценки и подбор оценщиков ушло 6 месяцев. Этот период стал самым продуктивным для сотрудников фонда в плане получения информации о его деятельности, анализа накопленных за годы данных, определения приоритетов, структуры и логики деятельности, стратегического развития и т. д.

При принятии решения о необходимости проведения оценки изначально речь не шла о грантовом конкурсе. Выбор в пользу него, а не реализуемых программ или проектов, подходов к управлению, мониторингу и оценке результатов, был сделан уже в период формирования ТЗ, после общения с потенциальными оценщиками, серии внутренних обсуждений, включая разговор с представителями донора.

Такое решение было принято, потому что конкурс позволяет фонду решать целый ряд задач. Например:

1) оценивать потребности различных целевых групп в решении социальных проблем;

2) выявлять уровень готовности/зрелости организаций, в том числе некоммерческого сектора, решать те или иные социальные проблемы, разрабатывать социальные проекты;

3) анализировать готовность этих организаций к партнерству и межведомственному взаимодействию;

4) выстраивать механизмы межведомственного взаимодействия, партнерства;

5) влиять на позиционирование компании и ее корпоративного фонда.

Таким образом, конкурс оказался важной процедурой, влияющей на программы, фонд, межведомственное взаимодействие, достижение целей программы «Дорога к дому» и стратегических целей фонда.

Вопросы оценки: в какой степени грантовый конкурс содействует повышению эффективности программы? В какой степени положение о конкурсе, формат заявки проекта на конкурс и система экспертной оценки заявок позволяют оценить эффективность проекта, адекватность заявленных затрат? Какие изменения следует внести в положение о грантовом конкурсе, в заявку и систему оценки проектов?

Если попробовать выстроить условный рейтинг полезности этапов оценки, т. е. информационной практической насыщенности для развития, то в нашем случае это:

1) Формирование ТЗ, выбор оценщиков.

2) Процесс оценки; общение с оценщиками; обратная связь от участников оценки.

3) Обсуждение, внедрение результатов, рекомендаций.

4) Отчет об оценке.

В результате оценки команда фонда получила отчет со списком предложений и рекомендаций по развитию грантового конкурса, также в процессе оценки сформировался образ изменений, которые необходимо внедрить.

Цитаты экспертов из отчета об оценке:

• «Конкурсный механизм понятен и хорошо себя зарекомендовал. Формат открытого конкурса удобен и его необходимо сохранить как одну из форм отбора проектов для финансирования. Календарный график конкурсов также удобен».

• «По оценкам участников интервью уровень влияния деятельности фонда на позитивные социальные изменения в положении благополучателей и решение социальных проблем города (в зоне приоритетных направлений) оценивается в 40 %. Это очень высокий показатель».

• «Поддержанный проект, после нескольких лет успешной работы может получить статус «службы» фонда. Отработана методология, выстроены алгоритмы, налажено межведомственное взаимодействие».

ТРАНСФОРМАЦИЯ ДЕЯТЕЛЬНОСТИ

В 2019–2020 гг. по итогам оценки состоялась масштабная трансформация всех конкурсных процедур. Ключевые изменения в конкурсе:

1. Конкурс стал конкурсом фонда, а не его отдельной программы «Дорога к дому». Фонд реализует две целевые программы, но его деятельность шире, чем обе программы. В связи с чем добавилась такая целевая группа, как специалисты сферы детства, и на конкурс стали приниматься проекты, направленные на работу по предупреждению кризисных ситуаций (медиапроекты, проекты по формированию общественного мнения, навыков безопасного поведения).

2. Расширена география конкурса, во-первых, на соседние с Череповцом районы Вологодской области, потому что их жители зачастую работают в Череповце, а дети посещают образовательные учреждения города. Во-вторых, на второй большой город – областной центр (г. Вологду). В-третьих, на город присутствия компании «Свеза» (также поддерживает программу «Дорога к дому») Великий Устюг в Вологодской области. В-четвертых, на пос. Яковлево в Белгородской области.

3. Начался целенаправленный сбор обратной связи от заявителей и экспертов, чтобы своевременно вносить необходимые изменения в конкурсные процедуры. По результатам проводятся консультации и встречи с заявителями, чьи проекты не получили финансирование конкурса. Непрошедшие заявки могут быть доработаны совместно со специалистами ресурсно-методического центра фонда и поданы на конкурсы грантов других грантодающих организаций.

4. Внедрен принцип вариативности конкурсных механизмов: проекты могут быть отобраны через открытый конкурс, могут быть инициированы сотрудниками фонда после анализа проблем и существующей на территории ситуации, специалисты могут принимать участие в партнерских проектах.

5. Запущен сайт конкурса https://socialprojects.dorogakdomu.ru/. Заявки принимаются только через личный кабинет заявителя, для экспертизы заявок также введен функционал личного кабинета эксперта.

6. Формирование доказательной базы проекта начинается на этапе подготовки грантовой заявки (в заявку добавлены новые разделы).

7. В фонде определен функционал по сопровождению конкурса (администраторы, тематические консультанты, программисты).

8. Апробирована и утверждена трехуровневая система оценки грантовых заявок.

9. К оценке привлечены независимые эксперты, что позволило исключить конфликт интересов заявитель-эксперт.

10. Введен новый орган – конкурсный совет.

Таким образом, проведенная оценка позволила существенно повысить уровень зрелости конкурса, что повлияло и на другие процессы фонда: механизмы межведомственного взаимодействия, позиционирования фонда, планирования деятельности, управления проектами (см. Таблица 1).

Таблица 1. Непосредственные результаты грантового конкурса фонда после внедрения результатов независимой оценки конкурса

ВНУТРЕННЯЯ ОЦЕНКА И САМООЦЕНКА КОНКУРСА

Эти виды оценки проводятся ежегодно с соблюдением принципа триангуляции по источнику данных. То есть информация о конкурсе собирается не менее чем из трех источников данных, с целью независимого подтверждения результатов и возможности рассмотреть доказательства достижения социального результата под разными углами зрения.

1. Ежегодно (с 2008 года) проводятся предконкурсные и постконкурсные обсуждения с командой организаторов конкурса. В фокусе анализа следующие вопросы: направления и целевые группы конкурса, география, вклад проектов грантополучателей в достижение стратегических целей фонда.

2. С 2020 года ежегодно собирается обратная связь от заявителей и членов конкурсной комиссии. Метод сбора данных – сплошной опрос. Инструмент – онлайн-анкета. В 2021 году в опросе приняли участие 66 % заявителей и 81 % членов конкурсной комиссии. Из отчета 2021 года по результатам анализа обратной связи заявителей и экспертов конкурса:

• «Для удобства заявителей и экспертов в 2020 году были разработаны справочные материалы: руководство для экспертов и руководство для заявителей. Практически все заявители и эксперты, за исключением 7 % и 5 % соответственно, воспользовались предложенным руководством. Все они отметили, что справочный материал оказался полезным при работе на сайте конкурса».

• «60 % заявителей в период подготовки заявки получали консультации специалистов фонда по телефону или электронной почте. Коммуникации со специалистами были высоко оценены заявителями и экспертами конкурса. Комментируя свою оценку, эксперты и заявители отмечают, что консультации были получены оперативно, специалисты смогли ответить на все интересующие вопросы. Заявители, которые не обращались за консультацией, отмечают, что смогли самостоятельно заполнить заявку, благодаря подробным инструкциям в руководстве для заявителей. Эксперты поблагодарили всю команду конкурса за быструю обратную связь, внимательность и доброжелательность».

3. С 2019 года к обсуждению конкурсных процедур привлекается профессиональное сообщество (оценщики, специалисты грантодающих организаций, участники конференций по оценке Ассоциации специалистов по оценке программ и политик).

ОСОБЕННОСТИ ГРАНТОВОГО КОНКУРСА

1. БФ «Дорога к дому» на регулярной основе проводит социологические и оценочные исследования по актуальным темам. Результаты исследований публикуются на официальном сайте организации и обсуждаются в профессиональных кругах^[51]. Благодаря этому потенциальные заявители могут не проводить предпроектную оценку самостоятельно, не искать проблемную ситуацию и уязвимую социальную группу. Эти данные заявители могут получить из результатов исследований.

Информация о конкурсе собирается не менее чем из трех источников данных, с целью независимого подтверждения результатов и возможности рассмотреть доказательства достижения социального результата под разными углами зрения.

2. Сопровождаемая реализация проектов-победителей конкурса. В течение всего периода реализации осуществляется сопровождение, оказываются различные виды поддержки грантополучателям: информационное сопровождение (продвижение, информирование, повышение медиаэффективности проекта); помощь добровольцев; методическая помощь.

3. Внедрение доказательного подхода на стадии подготовки заявки^[52].

4. Конкурс развивался в Череповце. Череповец – средний по численности населения промышленный город России, который несколько десятилетий носил статус моногорода, с градообразующим предприятием компании «Северсталь». Фонд первым в городе начал проводить конкурс проектов для получения финансирования. Те, кто получали гранты, одновременно получали доступ к обучению, собственным методическим материалам, экспертной поддержке, профессиональному сообществу, разработке и апробации новых технологий работы с детьми и семьями. Одним из условий реализации проектов является межведомственное взаимодействие: партнерство со специалистами социальной сферы, сферы здравоохранения, образования, правоохранительных органов, высшей школы, представителями местной власти, бизнеса, СМИ. В результате чего в городе сформировался пул специалистов и партнеров сферы проблемного детства, которые владели современными технологиями социальной работы, разделяли ценности фонда, применяли в работе проектный подход, внедряли инструменты оценки и мониторинга. Кадровый ресурс небольшого Череповца ограничен, в связи с чем этот пул специалистов и партнеров принимал участие в деятельности фонда в разных ролях. До 2019 года порой один и тот же человек мог подтверждать/ опровергать актуальность проблем, заявленных в проектах фонда, инициировать и реализовывать проекты фонда, оценивать заявки и результаты проектов. Внедрение результатов оценки позволило выстроить объективную понятную процедуру отбора проектов, сохранив включенных и заинтересованных специалистов. Таким образом сегодня у каждой привлеченной к конкурсу группы специалистов своя роль. Мы ввели две новые группы специалистов: независимых экспертов и представителей главного донора.

С 2019 года:

• специалисты и представители власти на этапе разработки проекта, подготовки заявки могут подтверждать или опровергать актуальность проблем, заявлять об острых ситуациях, требующих решения средствами/ресурсами фонда. Ранее они же оценивали заявки, поступившие на конкурс;

• к оценке проектов привлекаются только внешние эксперты по отношению к деятельности фонда и территориям (эксперты в социальном проектировании и по тематике направлений деятельности фонда). Ранее внешние эксперты (конкурсная комиссия) не привлекались к конкурсным процедурам;

• в 2019 году впервые создан конкурсный совет, куда входят представители донора, городской власти и фонда. Совет принимает окончательное решение о победителях конкурса.

В планах фонда – повышение уровня зрелости конкурсных процедур, что включает:

• создание полифункционального личного кабинета грантополучателя (функции промежуточной и итоговой отчетности, мониторинга проектов);

• продолжение внедрения доказательного подхода к социальному проектированию для грантополучателей (усиление логической связанности проектов, формирование доказательной базы проекта, регламентирование процедур работы со специалистами – членами проектных команд).

СОВЕТЫ И РЕКОМЕНДАЦИИ

Исходя из опыта фонда «Дорога к дому», составлен список рекомендаций, которые помогут улучшить подобные конкурсы. Эти советы могут быть полезны в работе грантодающих организаций.

1. Времени для всех этапов конкурса должно быть достаточно: и период приема заявок, и период экспертизы, и период публикации результатов. Лучше заранее объявить победителей, чем переносить сроки объявления.

2. Регламентировать все конкурсные процедуры^[53]: положение о конкурсе, положение о конкурсной комиссии и конкурсном совете, карточки экспертов и заявителей, подробные актуальные методические рекомендации для экспертов и заявителей, инструкции по работе на платформе конкурса, согласия на обработку персональных данных, примеры заполнения различных разделов заявки (в том числе бюджета проекта).

3. Проводить целенаправленную работу с будущими и настоящими заявителями: семинары и консультации по широкому спектру вопросов разработки, реализации, управления, мониторинга, оценки, завершения проектов; аудит заявок-победителей и заявок, не получивших гранты; дни открытых дверей грантодающей организации и проектов-победителей.

4. Повышать прозрачность конкурсных процедур: предварительное планирование информационной кампании по продвижению конкурса и его результатов, мероприятия для вовлечения грантополучателей (как минимум за 3 месяца до старта приема заявок или на постоянной основе, если грантовый конкурс проводится регулярно), информирование о том, какие проекты ожидает грантополучатель от заявителей.

5. Проводить мониторинг/оценку вклада грантового конкурса в достижение стратегических задач грантодателя.

How the Best Social Projects Grant Competition 2022 Works. The Road Home Foundation’s Case

Alena Bogomolova

DOI 10.55140/2782–5817–2023–3–1–66–79

In 2022, the Road Home Charitable Foundation’s grant competition was recognized as the best program that promotes sustainable development through competitive mechanisms. It won the Donors Forum’s Leaders in Corporate Philanthropy project. Twelve applications were competing in the Best Grant Competition category. In this article, we want to show you how the social projects contest takes place, and what helped it gain the recognition in the professional community.

Alena Bogomolova

Head of the Resource and Methodology Center of the Road Home Charitable Foundation, member of the Management Board of Association of Program and Policy Evaluators

FROM A ONE-OFF PROJECT TO SYSTEMIC ASSISTANCE

The Road Home Charitable Foundation was founded in 2005 as a CSR fund of Severstal, a company based in Cherepovets, Vologda Region. It started work with a single project promoting family placement of orphans and children left without parental care. Gradually, the Foundation expanded its range of activities, including projects preventing newborn abandonment, working with troubled teens and families at risk, where parents can be restricted or deprived of parental rights for reasons of family dysfunction.

On February 18, 2023, The Road Home Foundation celebrated its 18th anniversary. Over the years, the organization has completed dozens of projects, helping 15–20 thousand people annually receive specialist help. The number of children abandoned in Cherepovets has decreased 7-fold; about 200 babies have remained in their birth families; the number of families in a socially dangerous situation in the Vologda Region has decreased 3-fold in the past four years, and the teenage crime rate has decreased 2.4-fold. Today, the Foundation is the largest non-profit organization in the Vologda Region and a resource center for NGO specialists from all over Russia.

The Foundation is engaged in the development of systemic philanthropy. The aim of its work is to effectively address social problems faced by families with children. The organization conducts applied research, to discover what issues such families are most concerned about and to identify the key areas of focus. A further goal is to support best practices, tools, and technologies for helping families and children. To this end, the Foundation holds a grant competition for social projects. Non-profit organizations and social institutions are eligible to participate. Project ideas are evaluated by independent experts. The key criteria are: no overlap with the current activities of the applicant organization, achievable goals and objectives, relevance to the target group and the community, and a logical coherence of the projects.

The social projects competition has become a tool for improving the quality of life in areas. Severstal considers its funding to be a social investment and a contribution to the UN Sustainable Development Goals: SDG 3: Good Health and Well-Being, SDG 10: Reducing Inequality, SDG 4: Quality Education, SDG 17: Partnerships for Sustainable Development, etc.

The contest promotes the goals of the company’s sustainable development strategy^[54] and corporate charity, as well as the state policy in the field of family, motherhood and childhood.

TERRITORIAL COVERAGE

From 2008 to 2011, the grant competition was held in Cherepovets. Today the geographical coverage of the competition corresponds to the territories of Severstal’s operation.

In 2012, the following cities were included for the first time:

• Vorkuta (Komi Republic);

• Veliky Ustyug (Vologda Region);

• Balakovo (Saratov Region);

• Kostomuksha (Republic of Karelia).

In 2022, the geography of the contest was further expanded to the following territories:

• Cherepovets and/or Cherepovets District (Vologda Region);

• Vologda and/or Vologda district (Vologda Region);

• Totma and/or Totemsky District (Vologda Region);

• Sheksna village and/or Sheksninsky district (Vologda Region);

• Veliky Ustyug (Vologda Region);

• Krasavino (Vologda Region);

• Olenegorsk (Murmansk Region);

• Stroitel (Yakovlevsky district, Belgorod Region).

GOALS AND OBJECTIVES

The goal of the contest is to identify and support local initiatives that address the urgent social problems faced by families and children and offer solutions consistent with the activities of the Foundation.

Objectives of the grant competition:

• Identifying active specialists, setting up and developing partner communications in the field of childhood.

• Improving the competencies of social design, project management and project evaluation specialists.

• Developing technologies to improve the well-being of children, families with children, and specialists in the field of childhood.

RELEVANCE OF THE GRANT COMPETITION

Different stakeholders find the contest relevant for different reasons. For example, winning the competition is a growth driver for the grantee organizations, as well as for the overall development of the culture of philanthropy, evaluation and involvement of service recipients in management processes.

Specialists involved in the projects get new opportunities for self-realization, career growth, development of competencies and network of professional contacts. Winning projects enable them to test hypotheses and practice innovative social mechanisms.

The significance of the contest for The Road Home Foundation grows each year.

The contest has a serious impact on the non-profit sector in the regions where the company operates. First, the winners find new ways to address pressing social problems, thereby adding to the Foundation’s portfolio of practices. Second, participating in the competition requires embracing the Foundation’s principles and values, which promotes evaluation, evidence-based approach, subject-to-subject approach, and a culture of philanthropy in the social sphere. Third, participating in the project implementation creates a unified approach and allows professionals to act in concert in providing assistance to beneficiaries (primarily families with children). Fourth, the competition program helps build the proper image of the Foundation and the company, raising the awareness among key stakeholders.

The Foundation conducts applied research, to discover what issues such families are most concerned about and to identify the key areas of focus and supports best practices for helping families and children.

The stakeholders of the competition are:

• The donor (Severstal): allocates funds for organizing and conducting the contest and implementing the winning projects; a company representative is a member of the jury for the contest. High influence.

• The Foundation team: organizes and conducts the contest; supports the winning projects. High influence.

• Winning project teams: develop and implement projects. Low influence.

• Beneficiaries: participate directly in the projects, evaluate the projects. Medium influence.

• Partner organizations: support the implementation of winning projects, provide human and material resources. Medium influence.

WHO MAKES THE ROAD HOME FOUNDATION GRANT COMPETITION

The competition team can be divided into three groups, each participant having a different role and function.

1. Administrative team:

• the director of the Foundation is the decision-maker;

• the deputy director of the Foundation organizes expert review of the applications;

• the head of the resource and methodological center of the Foundation manages the competition, consults all participants;

• the head of the media department of the Foundation provides information support;

• the economist and methodologists of the Foundation provide consultations on drafting the budget and applications.

The winners find new ways to address pressing social problems, thereby adding to the Foundation’s portfolio of practices. Participating in the competition requires embracing the Foundation’s principles and values, which promotes evaluation, evidence-based approach.

2. Joint implementing team:

• the competition committee – in-house and third-party experts in the Foundation’s areas of activity, experts in the field of social design, applied and evaluative research, following evidence-based approach in evaluating the results of social practices;

• the competition council – a collective body created specifically to make the final decision determining the competition winners;

• programmers – maintenance of the contest website^[55].

3. Partners:

• media in the territories covered by the competition – information coverage of the competition and its results;

• city administrations and specialized departments in the contest territories – engaging grantees, developing a pool of urgent problems that require project ideas, and providing partner support to the winning projects;

• NGO resource centers in the contest territories – engaging grantees, assisting in executing applications and implementing the winning projects.

WHO EVALUATES APPLICATIONS AND HOW

The projects eligible for the competition last from 6 to 36 months. Regardless of the topic, duration, amount of funding, territory of implementation and size of the project team, each winning project must produce measurable positive change for the stated target groups. This is the key condition for obtaining funding.

The competition committee evaluates all applications received by the following criteria:

1. The project’s compliance with the goals and conditions of the competition.

2. The project’s relevance and significance for solving the problems of the target group.

3. Feasibility, logical coherence and the ability of the planned actions to achieve a progress towards the project goal.

4. Specific and achievable results planned.

5. Replicability of the project (the possibility of applying the technologies of the project in other organizations, in other territories).

6. The ability of the project team to achieve the project goal.

7. Feasibility of the project budget and alignment of the planned costs with the expected results.

SOCIAL RESULTS OF THE ROAD HOME FOUNDATION’S GRANT COMPETITION

Implementing the projects supported by the Foundation helps improve the quality of life for the project beneficiaries (children, families with children, and child welfare specialists) and increases the number of organizations and specialists providing quality services to beneficiaries. Project specialists help create safe living and developmentally favorable conditions for children in families, to form or strengthen positive personal and socially significant changes in minors, to improve the socio-psychological and parental competences in child-rearing and building harmonious parent-child relationships, and to improve the professionalism of child welfare specialists.

In 2022, more than 1,700 people received assistance from the winning projects; in 2021, the number of beneficiaries was 3,800; and in 2020 – more than 1,700 people.

EFFECTS OF THE GRANT COMPETITION ON THE IMAGE OF THE ROAD HOME CHARITY FOUNDATION

Regular grant competitions help raise awareness about, The Road Home, within the professional community, while also building the Foundation’s expertise, including invitations to share experience and implement partnership projects.

As it follows from the report “Assessment of Interaction with the Key Stakeholders of The Road Home Charitable Foundation’s programs in 2021”, “eight out of ten partners of the Charity Foundation, the Foundation’s specialists and program specialists say that they are well informed about the activities of the Foundation, are engaged in these activities (the foundation has a total of 18 employees, with more than 250 specialists implementing projects in the 7 regions covered by its programs. The sentence above refers to these specialists, who are not directly employed by the Foundation – ed.) 97 % of the Foundation’s partners approve of its activities. More than 80 % of the partners say that since they began working with the Foundation’s program specialists, there have been positive changes in the partners’ work (institutions and other NGOs working with families and children), and the Foundation’s specialists are providing them with exactly the help they need.

EXTERNAL EVALUATION OF THE FOUNDATION’S GRANT COMPETITION

The contest is improved every year, so as to make it as objective, transparent, understandable and interesting for the participants as possible.

In September 2018, the Foundation’s team decided that an external evaluation was needed, which was conducted a year later. Two independent experts were engaged in the evaluation. The evaluation report was received in November 2019. It took 6 months to generate the scope of work, set up the questions for the evaluation and select the specialists. This period was the most productive for the Foundation’s staff in terms of obtaining information about its activities, analyzing the data accumulated over the years, determining the priorities, structure and logic of the activities, strategic development objectives, etc.

The decision to conduct the evaluation was not originally related to the grant competition. The choice to evaluate the competition rather than the programs/projects being implemented, approaches to management, monitoring and evaluation of results was made during the development of the scope of work, after communication with prospective evaluators and a series of internal discussions, including a conversation with the donor’s representatives.

The decision was made because the competition allowed the Foundation to address multiple problems. For example:

1) evaluate the needs and social problems faced by different target groups;

2) identify the readiness/maturity of various organizations, including in the non-profit sector, to address social problems and to develop social projects;

3) analyze these organizations’ readiness to establish partnership and interdepartmental interaction;

4) build mechanisms for interdepartmental interaction and partnership;

5) affect the positioning of the company and its CSR fund.

Thus, the competition has proven to be an important procedure affecting programs, the Foundation itself, inter-departmental collaboration, and the progress towards the strategic goals of The Road Home Program and the Foundation.

The following questions were asked during the evaluation: To what extent does the grant competition contribute to the program effectiveness? To what extent do the competition regulations, the format of the applications and the expert review system of applications allow you to evaluate the effectiveness of the project and the adequacy of the declared costs? What changes should be made to the grant competition regulations, application, and the project evaluation system?

Trying to build a tentative ranking of the usefulness of various stages of assessment, that is, the saturation with practical information for development, we arrive at the following:

1) Preparing the scope of work, choosing evaluators.

2) Evaluation process; communication with evaluators; feedback from evaluation participants.

3) Discussion, implementation of results, recommendations.

4) Evaluation report.

As a result of the evaluation, the Foundation team received a report with a list of suggestions and recommendations for further development of the grant competition, and the evaluation process created an image of the changes that need to be implemented.

Expert quotes from the evaluation report:

• “The mechanism of the competition is clear and well-established. The open competition format is convenient and should be retained as a form of selecting projects for funding. The calendar schedule of the competitions is also convenient.”

• “According to the interviewees’ opinions, the influence of the Foundation’s activities on positive social changes in the beneficiaries’ situation and on solving the city’s social problems (within the priority areas of operation) is estimated at 40 %. This score is very high.

• “A supported project, after several years of successful work, can get the status of the Foundation’s “service”. The methodology has been extensively elaborated, algorithms have been developed, and strong interdepartmental interaction has been established.”

TRANSFORMATION OF ACTIVITIES

The 2019–2020 evaluation resulted in a major transformation of all competitive procedures. The following key changes took place:

1. The competition is now part of the Foundation, not of its separate Road Home program.

The Foundation is implementing two special-purpose programs, but its activities are wider than the two Programs. In light of this, a separate target group was added: (child welfare specialists), and the grant competition has been expanded to accept projects aimed at crisis prevention work (media projects, public opinion-forming projects, projects to develop safe behavior skills).

2. The geography was also extended, first to the neighboring districts of the Vologda region, whose residents often commute to work in Cherepovets and whose children attend the educational institutions in the city. Second, a large regional center (Vologda) was also covered by the project. The third city added to the competition was Veliky Ustyug in Vologda Region, where Sveza company (an active supporter of The Road Home Program) has its office. Finally, Yakovlevo settlement in Belgorod Region.

3. Purposeful collection of feedback from applicants and experts has started, in order to make the necessary changes to the competitive procedures promptly. After the competition, we hold consultations and meetings with those applicants whose projects did not receive funding. Unsuccessful applications may be reworked together with the specialists from the Foundation’s Resource and Methodology Center and submitted to grant competitions by other grantmaking organizations.

4. The principle of variability of contest mechanisms was introduced: projects can be selected through an open competition, initiated by Foundation employees after analyzing the problems and the current situation in their territories, or the Foundation’s specialists can participate in partners’ projects.

5. The competition has received its own website: https://socialprojects.dorogakdomu.ru/. Applications are accepted only through the applicant’s personal account; experts also have to log in to review the applications.

6. The process of building the evidence base of the project starts during the preparation of the grant application (new sections have been added to the document).

7. The Foundation has defined the support functions for the competition (administrators, thematic consultants, programmers).

8. A three-tiered application review system has been tested and approved.

9. Independent experts are involved in the evaluation, which eliminates the conflict of interest for applications submitted by experts themselves.

10. A new body, the Competition Council was introduced.

Thus, as we can see, the evaluation has significantly increased the maturity of the competition, which also improved other processes of the Foundation: inter-departmental interaction mechanisms, positioning of the Foundation, planning of activities, project management (see Table 1).

Table 1. Immediate results of the Foundation’s grant competition after implementing the independent evaluation results

INTERNAL EVALUATION AND SELF-EVALUATION OF THE COMPETITION

These types of evaluations are conducted annually, following the principle of triangulation by data source. That is, information about the competition is collected from at least three data sources, to enable independent validation of the results and examine the evidence of social outcome from different perspectives.

1. Every year since 2008, discussions are held before and after the competition with the team of organizers. The analysis focuses on the following issues: directions and target groups of the competition, geography, and the contribution of grantees’ projects to the achievement of the Foundation’s strategic goals.

2. Since 2020, feedback has been collected annually from applicants and members of the competition committee. The data collection method is a blanket survey. An online questionnaire is used. In 2021, 66 % of the applicants and 81 % of the members of the competition committee participated in the survey. Here are some insights from the 2021 report on the feedback from the applicants and experts of the competition:

• “For the convenience of applicants and experts in 2020, reference materials were developed: a manual for the experts and a manual for the applicants. Almost all applicants and experts, with the exception of 7 % and 5 %, respectively, took advantage of the manual. All of them noted that the reference material was helpful when working with the competition site.”

• “60 % of the applicants received advice from the Foundation specialists by phone or email while preparing their applications. Communication with specialists was highly appreciated by the applicants and experts of the competition. Commenting on their evaluation, experts and applicants noted that consultations were received promptly, and the specialists were able to answer all questions of interest. Applicants who did not seek counseling say they were able to complete the application on their own, thanks to detailed instructions in the applicant’s manual. The experts thanked the entire competition team for their quick feedback, attentive and friendly attitude.”

3. Beginning in 2019, the professional community (evaluators, specialists of grantmaking organizations, and attendees of the evaluation conferences conducted by the Association of Program and Policy Evaluators) are involved in the discussions of competitive procedures.

FEATURES OF THE GRANT COMPETITION

1. The Road Home Charitable Foundation regularly conducts sociological and evaluation research on relevant issues. Research results are published on the organization’s official website and discussed in professional circles^[56]. This ensures that potential applicants do not have to conduct a pre-project evaluation on their own, or go out looking for a problem or a vulnerable social group. The applicants can freely obtain this data from the research results.3

Information about the competition is collected from at least three data sources, to enable independent validation of the results and examine the evidence of social outcome from different perspectives.

2. Support to implementation of winning projects. Throughout the implementation period, the grantees are provided various kinds of support: information support (promotion, raising awareness, boosting the media coverage of the project); volunteer assistance; and methodological assistance.

3. Introducing an evidence-based approach at the application stage^[57].

4. The competition has been extended to Cherepovets. Cherepovets is a medium-sized industrial city in Russia, which for several decades had the status of a single-industry city, with the city-forming enterprise of Severstal. The Foundation was the first to hold a grant competition in the city. The grantees also gained access to training, specialized methodological materials, expert support, a professional community, and the development and testing of new technologies for working with children and families. One of the conditions for implementing projects is inter-departmental collaboration, partnership with specialists from the social sphere, healthcare, education, law enforcement, higher education, local authorities, businesses, and media. As a result, the city developed a pool of experts and partners who specializing on working with troubled children, know how to use the latest technologies of social work, share the Foundation’s values, apply project-based approach and implement monitoring and evaluation tools in their work. Due to Cherepovets being a relatively small city with limited human resources, this pool of specialists and partners took part in the Foundation’s activities in different roles.

Prior to 2019, verifying the relevance of the problems stated in the project applications, initiating and implementing the Foundation’s projects, evaluating applications and project results could all be done by the same person. The introduction of the evaluation results made it possible to build an objective and transparent project selection procedure, retaining the most engaged and interested professionals. So today, each group of specialists involved in the competition has its own role. We introduced two new groups of specialists: independent experts and representatives of the main donor.

Starting in 2019:

• Experts and government representatives can confirm or refute the relevance of the problems, notify about acute problems that could be addressed using the Foundation’s money and resources, during the project development phase and completing the application. Previously, they were also engaged in evaluating the applications received;

• only external experts in relation to the activities of the Foundation and the territories (experts in social design and in the subject areas of the Foundation’s activities) are involved in project evaluation. Previously, external experts (competition committee) were not involved in the competitive procedures;

• In 2019, the competition council was created for the first time, which consists of representatives of the donor, municipal government, and the Foundation. The council has the final say in selecting the competition winners.

The Foundation plans to increase the maturity of competitive procedures, which includes:

• expanding the functionality of the grantee’s personal account (with interim and final reporting, project monitoring functions).

• continuing the implementation of an evidence-based approach to social design for grantees (strengthening the logical coherence of projects, building the evidence base of the project, regulating the procedures for working with project team members).

ADVICE AND RECOMMENDATIONS

Based on the experience of The Road Home Foundation, a list of recommendations has been compiled to help improve similar competitions. These tips can be useful in the work of grantmaking organizations.

1. Enough time must be allocated for all stages of the competition: accepting applications, examining the applications, and publishing the results. It is better to announce the winners in advance than postpone the announcement.

2. All competitive procedures should be regulated^[58]: Regulation on the competition, Regulation on the competition commission and competition council, cards with details on experts and applicants, detailed and updated methodological manuals for experts and applicants, instructions on working on the competition platform, consent to personal data processing, examples of filling out various sections of the application (including the project budget).

3. Conduct targeted work with future and current applicants: seminars and consultations on a wide range of issues related to project development, implementation, management, monitoring, evaluation, and completion; audits of winning and unsuccessful applications;

Open Days for grantmaking organizations and winning projects.

4. Increase the transparency of competitive procedures: preplanning an information campaign to promote the competition and its results, activities to engage grantees (at least 3 months prior to the start of the application process, or on an ongoing basis if the grant competition is held regularly), inform applicants about what projects are expected from applicants.

5. Monitor/evaluate the grant competition’s contribution to the grantmaker’s strategic objectives.

Исследования / Research Studies

Сила спорта. Оценка проектов в сфере физической культуры и массового спорта

Илья Солнцев, Наталья Кошелева

DOI 10.55140/2782–5817–2023–3–1–80–91

В 2020 г. Фонд Потанина начал реализацию благотворительной программы «Сила спорта», призванной раскрыть потенциал спорта как социального института. Одновременно с этим возникла необходимость в изучении мирового и российского опыта в оценке эффективности проектов, а также в формировании подходов к системе выбора перспективных направлений работы фонда. Для решения этих задач в 2022 г. Финансовый университет при Правительстве РФ провел исследование, направленное на выявление эффектов, достигаемых благодаря реализации проектов в области социального спорта, и обобщение подходов, используемых для их оценки.

Илья Солнцев

д. э. н., руководитель департамента менеджмента и маркетинга в спорте Финансового университета при Правительстве РФ

Наталья Кошелева

Консультант по мониторингу и оценке программ и проектов социальной направленности, президент Ассоциации специалистов по оценке программ и политик

СОЦИАЛЬНЫЕ ЭФФЕКТЫ СПОРТИВНЫХ ПРОЕКТОВ

Проекты, реализуемые в сфере физической культуры и массового спорта, решают целый комплекс задач, которые выходят за рамки категории «спорт»: целый ряд изменений происходит в экономике, образовании и профессиональной сфере, адаптации и социализации, демографии. Также спортивные проекты оказывают влияние на уровень преступности и заболеваемости, благополучие людей. Такой широкий спектр воздействия обусловил создание концепции «Спорт для развития» (Sport for Development), зародившейся ещё в середине прошлого века. Первым учёным, сформировавшим её теоретическую основу, был американский психолог Гордон Олпорт (Allport, 1954), который предположил, что контакты между различными группами людей с различными характеристиками, включая пол, этническую принадлежность и расу, являются наиболее эффективными средствами против расизма, предрассудков и дискриминации.

Основываясь на этой теоретической базе, Алексис Лирас (Lyras, 2011) предполагает, что спортивные инициативы могут способствовать личному развитию и социальным изменениям засчёт использования нетрадиционных методов управления и сочетания спорта с культурными и образовательными мероприятиями. Концепции «Спорт для развития» посвящено большое число аналитических порталов, например: Sport for Development^[59] и Sport and Development^[60], а также исследований таких глобальных организаций, как UNICEF^[61] и ООН^[62]. Направления влияния спорта на общество в целом могут быть обобщены через цели устойчивого развития ООН^[63].

Эффекты, формируемые спортивными проектами, могут быть классифицированы на позитивные и негативные, а по направлениям воздействия – в разрезе социальной сферы, здоровья и экономики (Рисунок 1).

Рисунок 1. Эффекты, формируемые спортивными проектами

Источник: Благотворительный фонд Владимира Потанина. (2022). Социальный спорт: как измерить эффективность? Методы оценки эффективности социальных проектов в области спорта.

Положительные эффекты влияния спорта на социальную сферу и здоровье хорошо обобщены, и главное – количественно измерены в работе Ларисы Дэвис и др. (Davies et al., 2019):

1. Занятия спортом приводят к повышению уровня образования на 1 % (11–18 лет).

2. Выпускники, которые занимаются спортом в университете, зарабатывают в среднем на 18 % в год больше, чем те, кто этого не делает.

3. Занятия спортом приводят к снижению криминальных инцидентов на 1 % среди мужчин в возрасте 10–24 лет.

4. Занятия спортом связаны с более высоким субъективным благополучием.

5. Волонтёрство в спорте связано с улучшением индивидуального субъективного благополучия и большей удовлетворённостью жизнью. Время, потраченное волонтёрами, по стоимости эквивалентно среднему почасовому заработку.

6. Спортсмены на 14,1 % чаще сообщают о хорошем здоровье, чем те, кто не занимается спортом. Занятия спортом и физические упражнения умеренной интенсивности у взрослых, в том числе снижают риск:

• ишемической болезни сердца и инсульта у активных мужчин и женщин в среднем на 30 % (от 11 до 52 %);

• развития рака молочной железы у активных женщин на 20 % (от 10 до 30 %);

• развития рака толстой кишки на 24 %;

• развития сахарного диабета 2 типа на 10 %;

• развития деменции на 30 % (диапазон 21–52 %).

Широкий спектр воздействия спортивных проектов обусловил создание концепции «Спорт для развития». Впервые ее описал американский психолог Гордон Олпорт.

К похожим выводам пришли исследователи из Новой Зеландии^[64]:

• 84 % опрошенных согласились с тем, что занятия спортом помогают привить такие важные жизненные навыки, как работа в команде и сотрудничество;

• для новозеландцев, которые занимаются спортом, уровень благополучия возрастает на 59 %;

• спорт помогает развить социальные навыки и найти новых друзей (в том числе для мигрантов);

• спорт высших достижений помогает привить чувство гордости за страну и вносит вклад в национальную идентичность;

• занятия физической культурой и спортом снижают риск сердечно-сосудистых заболеваний (7,9 %), диабета второго типа (9,8 %), деменции (7,7 %), рака груди (13,1 %), рака желудка (14,1 %);

• спорт и активный отдых ежегодно обеспечивают 53 тысячи рабочих мест и вклад в ВВП на сумму 4,9 млрд долл.

В части влияния спорта на экономику можно отметить опыт Европы^[65]. Так, в 2012 году валовой внутренний продукт (ВВП), связанный со спортом, составил 279,7 млрд евро, или 2,12 % от общего ВВП в ЕС. Кроме того, к спорту можно отнести 5,67 млн работников, что составляет 2,72 %. Иными словами, каждый 47-й евро и каждый 37-й работник в ЕС были напрямую связаны со спортом. Данные цифры были получены с помощью таблиц «затраты-выпуск» для спорта, основанных на национальных вспомогательных (сателлитных) спортивных счетах (Sport Satellite Accounts).

Также в расчётах были использованы косвенные мультипликаторы, учитывающие, что каждый бизнес нуждается в сырье и материалах других секторов для производства своей продукции и/или услуг. Мультипликаторы показывают, сколько продукции других секторов необходимо для производства определённого товара. Например, для производства спортивного автомобиля требуются сиденья, для производства которых нужен текстиль и т. д. Величина мультипликаторов в первую очередь зависит от структуры экономических связей исходного сектора с остальными отраслями. Чем больше секторов взаимосвязано, тем выше множители. Применение множителей к прямым эффектам порождает косвенные эффекты. Если, например, футбольный стадион стоит 30 млн евро (прямой эффект), а строительный сектор сообщает о мультипликаторе 1,8, косвенный эффект будет равен (1,8–1,0) x 30, то есть 24 млн евро. Следует учитывать, что в цепочке поставок участвуют национальные предприятия, а также зарубежные страны, но первичные эффекты для страны зависят только от стоимости с поправкой на импорт.

В части экономических эффектов также нужно учитывать затраты занимающихся спортом на приобретение экипировки, оплату занятий в секциях, путешествия на соревнования (оплата билетов, питания, проживания). Кроме того, существенный эффект может быть сформирован за счёт роста коммерческих показателей (спонсорских поступлений) проектов, привлекающих существенную аудиторию.

Важным эффектом многих спортивных проектов является развитие территорий^[66]:

• стимулирование деловой активности;

• создание местных рабочих мест (в том числе косвенно через строительные проекты);

• повышение привлекательности и положительное влияние на имидж территорий;

• вклад в инновации и развитие информационных и коммуникационных технологий (ИКТ) со спортивным содержанием;

• экономическая мобильность населения.

В контексте развития территорий следует отметить целый блок исследований, посвящённых оценке экономического эффекта, формируемого крупными спортивными соревнованиями: Елена Гуреева и Илья Солнцев (Гуреева, Солнцев, 2014), Роберт Бааде и Виктор Мэтисон (Baade & Matheson, 2004), Мишель де Ноойж и др. (de Nooij et al., 2013), Хольгер Пройсс (Preuss, 2007), Вольфганг Менниг и Эндрю Цимбалист (Maennig & Zimbalist, 2012).

В многочисленных исследованиях доказано, что спорт генерирует и негативные эффекты. Так, достаточно хорошо известно, что физическая активность может стимулировать употребление алкоголя (Lisha et al., 2011). Многие исследования указывают на более высокий уровень употребления алкоголя среди спортсменов по сравнению со сверстниками, не занимающимися лёгкой атлетикой (Leichliter et al., 1998). Распространённое объяснение заключается в том, что спортсмены празднуют свои победы (или переживают неудачи), а объединение в команды поощряет такое поведение (Leasure et al., 2015).

Также спорт может негативно сказываться на экологии, в том числе за счёт увеличения выбросов вредных веществ. Так, например, Памела Уикер (Wicker, 2019) опросила взрослых людей в Германии и попросила сообщить о своих поездках, связанных с занятиями спортом, включая поездки в контексте регулярных (еженедельных) занятий, спортивных соревнований/турниров, тренировочных сборов. Ежегодный углеродный след оценивался с использованием информации о расстояниях поездок и транспортных средствах. Результаты показали, что среднегодовой углеродный след составляет 844 кг выбросов в эквиваленте углекислого газа, при этом индивидуальные виды спорта обеспечивают больше выбросов, чем командные.

Эффекты, формируемые спортивными проектами, могут быть классифицированы на позитивные и негативные, а по направлениям воздействия – в разрезе социальной сферы, здоровья и экономики.

Ещё один негативный эффект – это агрессия, оскорбительное поведение и насилие в отношении участников соревнований и судей. В качестве примера можно привести инцидент, когда бывший капитан сборной России по футболу Роман Широков избил арбитра Никиту Данченкова во время любительского турнира «Московский кубок селебрити»^[67]. Питер Доусон и др. (Dawson et al., 2022) изучали влияние жестокого обращения на решение официальных лиц матча покинуть свою работу. На основе опросов футбольных судей во Франции и Нидерландах авторы исследовали факторы, связанные со словесными и физическими оскорблениями в адрес судей, а также связь этих оскорблений с намерениями судей уйти из профессии.

В части влияния спорта на отношения внутри семьи также отмечаются и негативные эффекты. В частности, исследователи выделяют высокие расходы семей на занятия спортом (Kay, 2000; Dixon et al., 2008). Помимо финансовых обязательств, растут и временные затраты. Тесс Кей (Kay, 2000) отмечает, что потребность в занятиях спортом влияет на распорядок дня и вызывает изменения в планах отпусков и графике работы. Негативные последствия могут включать усиление стресса и беспокойства (O’Rourke et al., 2011), а также снижение самооценки и травмы (Kay, 2000). Также отмечается чувство ревности и обиды или нехватка времени для других занятий (Côté, 1999). Тесс Кей (Кay, 2000) обнаружила, что некоторые дети, которые не участвовали в соревнованиях, испытывали зависть к братьям и сёстрам, которые занимались спортом, и чувствовали, что их отношения с родителями были не такими крепкими. Наконец, было показано, что родители становятся менее активны в результате участия в спорте своих детей (Dixon, 2009).

Для оценки эффективности отдельных проектов в сфере спорта может применяться несколько подходов, включая экспертную оценку, проектную оценку (и мониторинг) и монетарную оценку.

По данным UEFA^[68], к негативным эффектам социального спорта могут быть отнесены спортивные травмы, употребление допинга, коррупция и влияние беттинга (ставки в букмекерской конторе).

ОЦЕНКА ЭФФЕКТИВНОСТИ ПРОЕКТОВ

Для оценки эффективности отдельных проектов, в которых физкультура и спорт используются для достижения социальных и экономических эффектов, может применяться несколько подходов, включая экспертную оценку, проектную оценку (и мониторинг) и монетарную оценку, например оценку социального возврата на инвестиции (SROI – Social Return on Investment). Сходства и различия между этими подходами мы рассмотрим на примере проекта «Девушки на футбольном поле». Проект был реализовал в 2016 году в Турции. Для него была проведена оценка социального возврата на инвестиции, а соответствующий отчет прошел сертификацию Social Value, международной сети, которая продвигает подход SROI^[69].

ОПИСАНИЕ ПРОЕКТА «ДЕВУШКИ НА ФУТБОЛЬНОМ ПОЛЕ»

Проект «Девушки на футбольном поле» был создан Мелис Абажи-оглу и ее компанией Actifit в 2013 году. За год до этого Мелис с подругами организовали футбольный матч для женщин после того, как их друзья-мужчины отказались играть вместе с ними.

Проект предусматривает создание футбольной академии – в течение пяти дней девочки участвуют в футбольных тренировках, а также творческих мастер-классах по изобразительному и театральному искусству и развитию креативности. Кроме того, для родителей участниц академии, которых приглашали присутствовать на тренировках дочерей, была проведена лекция по гендерному равенству.

Цели проекта:

• Посредством футбола повысить информированность о гендерном равенстве и способствовать более активному участию девочек в занятиях спортом;

• Повысить творческий потенциал девочек посредством креативных мастер-классов.

ОЦЕНКА СОЦИАЛЬНОГО ВОЗВРАТА НА ИНВЕСТИЦИИ

Оценка началась с анализа заинтересованных сторон. Были выделены следующие группы: девочки-участницы академии, их родители, тренеры-волонтеры, компания Actifit, которая реализовала проект, доноры, поддержавшие проект финансово, фонд, который провел презентацию по вопросам гендерного равенства для родителей девочек.

Следующий этап оценки – сбор данных, который был проведен сразу после окончания работы академии. Основным инструментом сбора данных был опрос. Анкеты, разработанные для каждой группы заинтересованных сторон, включали открытые вопросы, касающиеся как участия в различных мероприятиях в рамках проекта, так и полученных результатов, например: «Что вам дало участие в проекте? Что изменилось в вашей жизни в результате этого проекта? Были ли какие-то негативные последствия вашего участия в проекте?».

На основании собранных данных для всех групп заинтересованных сторон был определен их вклад в реализацию проекта. Например, вкладом девочек, их родителей и тренеров-волонтеров было время, вкладом доноров – деньги и спортивный инвентарь.

Кроме того, на основании анализа ответов в анкетах были определены полученные позитивные и негативные результаты, а также связь между мероприятиями проекта и результатами. Стоит отметить, что в рамках данного анализа результаты делились на ожидаемые (запланированные) и незапланированные. Например, для девочек проект позволил получить три вида результатов. Во-первых, они стали более уверенными в себе и убедились в возможности гендерного равенства. Согласно анализу автора отчета, к первому результату привела следующая цепочка изменений: благодаря футбольным тренировкам девочки поняли, что футбол – игра не только для мальчиков, как они считали раньше, плюс занятия футболом позволили им оценить положительные эффекты спорта, что придало им уверенности в себе и сформировало понимание возможностей гендерного равенства. Во-вторых, у девочек развились воображение и творческие способности. В-третьих, девочкам стало проще общаться с друзьями и родителями. Последний результат назван авторами отчета незапланированным, так как он не упомянут в целях проекта.

Успешная работа футбольной академии в Эскишехире стала кейсом, который компания Actifit может использовать для дальнейшего продвижения своей программы «Девушки на футбольном поле».

Результатами проекта для родителей стали повышение информированности о гендерной дискриминации и улучшение взаимопонимания с дочерями, родители стали больше общаться с ними. Тренеры-волонтеры благодаря участию в проекте развили навыки коммуникации, получили тренерский опыт и отметили успехи в личностном росте.

Компания Actifit, которая занималась подготовкой и реализацией проекта, сумела привлечь к нему доноров, партнеров и волонтеров. Поэтому одним из положительных результатов проекта для компании стала экономия собственных финансовых ресурсов и труда сотрудников. Кроме того, компании удалось сделать проект более устойчивым. А успешная работа футбольной академии в Эскишехире стала кейсом, который компания Actifit может использовать для дальнейшего продвижения своей программы «Девушки на футбольном поле». Также выросла мотивация сотрудников, связанная с участием в этой программе. Негативным результатом программы стало то, что три сотрудника компании потратили на работу в проекте 28 дней своего рабочего времени.

Следующим этапом стала монетизация вкладов в проект, сделанных заинтересованными сторонами, и полученных ими результатов. При монетарной оценке вкладов были учтены только финансовые вложения компании Actifit и доноров, а также стоимость предоставленного ими инвентаря. Авторы отчета решили не давать монетарную оценку времени, затраченного на участие в проекте детьми, родителями и тренерами-волонтерами.

При монетарной оценке результатов авторы использовали данные о стоимости платных услуг, которые могли бы позволить участникам проекта получить аналогичные результаты. Например, в Эскишехире есть платная секция футбола. Было сделано допущение, что неделя занятий в платной секции футбола дала бы девочкам такой же результат в плане развития уверенности в себе и понимания возможности гендерного равенства, поэтому стоимость этой недели использовали в качестве «прокси» в оценке стоимости результата.

Вне проекта родители могли бы научиться лучше понимать дочерей и больше общаться с ними, если бы прошли курс занятий с семейным психологом, поэтому стоимость такого курса стала монетарной оценкой для этого результата. Так как на платной основе лекций по гендерному неравенству в Эскишехире никто не читает, любопытно, что повышение информированности родителей о гендерной дискриминации получило нулевую монетарную оценку.

На основании полученных монетарных оценок был проведен уже сам расчет социального возврата на инвестиции, причем как для проекта в целом, так и для каждой группы заинтересованных сторон. Общий показатель SROI для проекта составил 12,45 – то есть на одну турецкую лиру, вложенную в реализацию проекта, получено 12,45 лиры социального эффекта. При этом из этих 12,45 лиры на долю результатов, полученных девочками, приходится 20 % (2,43 лиры), а на долю результатов, полученных родителями, – 38 % (4,68 лиры).

ПРОЕКТНАЯ ОЦЕНКА

В английском языке есть несколько слов-синонимов, которые переводятся на русский как оценка. Проектную оценку мы приравниваем к английскому evaluation. Эта оценка представляет собой комплекс аналитических мероприятий, которые проводятся, чтобы обеспечить лиц, принимающих управленческие решения относительно проекта, необходимой им информацией. Обычно такие решения принимают либо руководители проекта, либо его доноры.

Данный подход предполагает, что еще на этапе планирования проекта будет разработана система его мониторинга и оценки. Основой для разработки такой системы служат результаты анализа заинтересованных сторон и описания механизма работы проекта, которое объясняет, каким образом реализация проектных мероприятий приведет к достижению ожидаемых результатов (такое описание принято называть теорией изменений или логической моделью проекта).

Соответственно, при использовании этого подхода анализ заинтересованных сторон проекта «Девушки на футбольном поле» нужно было бы провести еще на этапе его планирования. После этого нужно было бы построить карту изменений или логическую модель, которая бы объясняла, каким образом мероприятия проекта приведут в итоге к достижению его целей. Построение такой карты могло бы также помочь конкретизировать цели (конечные ожидаемые результаты) проекта. Например, одна из целей сформулирована следующим образом: «Посредством футбола повысить информированность о гендерном равенстве и способствовать более активному участию девочек в занятиях спортом». При разработке карты изменений нужно было бы решить, какая цепочка изменений связывает презентацию по вопросам гендерного равенства для родителей девочек с этой целью: например, более информированные родители поддержат желание дочерей заниматься спортом. На этом этапе могло быть принято решение, что результаты презентации для родителей лучше вынести в отдельную цепочку изменений и добавить еще одну цель проекта.

На основании карты ожидаемых изменений определяют, какая информация потребуется для отслеживания процесса реализации проекта и достижения его результатов. Следующий шаг – решить, кто, когда и как будет эту информацию собирать, анализировать и использовать.

Ключевая задача оценки – помочь руководителям проекта понять, действительно ли реализуется задуманный механизм достижения изменений. Для управления процессом изменений очень важно знать, где в этом процессе происходят сбои. Соответственно, система мониторинга и оценки строится так, чтобы эти сбои выявлять. Кроме того, в проектном управлении сейчас уделяется много внимания незапланированным результатам, как позитивным, так и негативным. Поэтому сбор данных при проектной оценке мог бы быть примерно таким же, как и при описанной выше оценке социального возврата на инвестиции. Но при анализе был бы четкий фокус на то, насколько достигаются запланированные результаты, и какие из незапланированных результатов являются положительными и отрицательными.

Нужно отметить, что расчет SROI или другая монетарная оценка могут быть частью проектной оценки, если эта информация нужна лицам, принимающим решения.

ЭКСПЕРТНАЯ ОЦЕНКА

Экспертную оценку используют обычно тогда, когда социальные результаты проекта по каким-то причинам нельзя измерить. Чаще всего ее применяют организации-доноры для оценки проектных заявок. Оценка – это суждение о ценности проекта, о том, насколько он хорош. При проведении экспертной оценки ее заказчик формирует список критериев – характеристик, которыми должен обладать проект, а эксперты на основании описания проекта в заявке и своих знаний и опыта должны ответить, в какой мере проект соответствует этим критериям. Например, если бы доноры проекта «Девушки на футбольном поле» принимали решение о его финансировании на основании экспертной оценки, они могли бы использовать такие критерии, как соответствие проекта стратегии, результативность проекта – насколько проект способен достичь ожидаемых результатов, экономическая целесообразность проекта – использует ли проект самый дешевый способ достижения ожидаемых результатов или есть более экономичные варианты.

Так как достижение ожидаемых результатов – это главное, чего ждут от проекта, то экспертная оценка может фокусироваться на подробном анализе ожидаемых цепочек изменений. В этом случае экспертам предъявляют подробную карту изменений, составленную разработчиками проекта, и просят оценить вероятность всех связок между результатами, чтобы определить, где возможны разрывы.

Например, при планировании проекта «Девушки на футбольном поле» его авторы могли запланировать следующую цепочку изменений:

• Девочки, которые до начала проекта считают, что футбол – это игра только для мальчиков, проходят полный курс тренировок в академии (пять дней по три часа в день);

• В результате они успешно овладевают базовыми навыками игры;

• Девочки успешно применяют полученные навыки в тренировочных играх;

• Девочки получают удовлетворение и удовольствие от игры;

• Девочки понимают, что идея о том, что только мальчики способны играть в футбол, была ложной;

• Избавление от одного из гендерных стереотипов помогает девочками убедиться в возможности гендерного равенства.

В ходе оценки экспертам нужно будет оценить вероятность того, что достижение очередного результата в этой цепочке обеспечит реализацию следующего шага. Например, если девочки пройдут полный курс тренировок в академии (15 часов), какова вероятность того, что они овладеют базовыми навыками игры?

ЗАКЛЮЧЕНИЕ

Мировой опыт показывает, что проекты, реализуемые в сфере физической культуры и массового спорта, могут создавать как значимые позитивные социальные изменения, так и негативные эффекты. Важным результатом проведенного исследования стала систематизация данных эффектов, что поможет организациям, реализующим и поддерживающим проекты в сфере социального спорта, в их идентификации и оценке. Использование различных видов оценки позволяет выявлять и измерять создаваемые изменения на всех стадиях реализации проекта, что, в свою очередь, помогает лучше управлять процессом изменений. Кроме того, оценка важна для обоснования объемов финансирования и выбора направлений стратегического развития, что особенно актуально в современных условиях, когда все социальные инициативы уже не могут рассчитывать на прежний уровень поддержки из бюджетных и внебюджетных источников.

The Power of Sport. Evaluation of Projects in the Field of Physical Culture and Grassroots Sport

Ilya Solntsev, Natalia Kosheleva

DOI 10.55140/2782–5817–2023–3–1–80–91

In 2020, the Vladimir Potanin Foundation launched the “Power of Sport,” a charitable initiative aimed at uncovering the potential of sports as a social institution. In preparing the launch of the program, the Foundation experts had to study the experience of evaluating project effectiveness, in both an international and Russian context – as well as develop approaches to the selection of promising development areas, including identification and evaluation of effects. To address these problems, the Financial University under the Government of the Russian Federation conducted a study in 2022 aimed at identifying the effects achieved through the implementation of social sports projects and summarizing the approaches used to evaluate them.

Ilya Solntsev

Doctor of Economics, Head of the Department of Management and Marketing in Sports, Financial University under the Government of the Russian Federation

Natalia Kosheleva

Consultant on monitoring and evaluation of social programs and projects, president of the Association of Specialists in Program and Policy Evaluation (ASPPE)

SOCIAL EFFECTS OF SPORTS PROJECTS

Projects implemented in the sphere of physical culture and grassroots sport address a wide range of problems that go beyond the category of “sports”: a number of changes occur in the economy, education and professional sphere, adaptation and socialization, and demography. Sports projects also affect people’s well-being, by changing crime and disease rates. Such a broad range of impacts resulted in the creation of the “Sport for Development” concept, which emerged in the middle of the 20th century. The first scholar to set up its theoretical basis was the American psychologist Gordon Allport (1954), who suggested that contact between different groups of people with different characteristics, including gender, ethnicity and race, was the most effective means of fighting racism, prejudice, and discrimination.

Based on this theoretical framework, Alexis Lyras (2011) suggested that sport initiatives could promote personal development and social change through the use of non-traditional management methods and by combining sports with cultural and educational activities. A number of analytical portals concept are dedicated to the “Sports for Development” concept, for example: Sport for Development^[70], and Sport and Development^[71], along with multiple studies by global organizations such as UNICEF^[72] and the UN^[73]. The impact of sports on the society as a whole can be summarized via the UN Sustainable Development Goals^[74].

The effects generated by sports projects can be classified into positive and negative, and by the direction of the impact – in the context of the social sphere, health and economy (Figure 1).

Figure 1. Effects generated by sports projects

Source: Vladimir Potanin Foundation. (2022). Social Sports: measuring the effectiveness. Methods for evaluating the effectiveness of social projects in sports.

The positive social and health effects of sports are well summarized and, more importantly, quantified in the work by Larissa Davies et al. (2019):

1. Exercise in sports leads to a 1 % increase in education (11–18 years).

2. Graduates who had engaged in University sports earn 18 percent more a year on average than those who had not.

3. Exercise leads to a 1 % decrease in criminal incidents among men aged 10–24.

4. Participation in sports is associated with higher subjective well-being.

5. Volunteering in sports is associated with improved individual subjective well-being and greater satisfaction with life. The time spent by volunteers is equivalent in value to an average hourly wage.

6. Athletes are 14.1 % more likely to report good health than non-athletes. Sports and moderate-intensity physical exercise in adults, among other things, reduce the risk of:

• coronary heart disease and stroke in active men and women by 30 % on average (between 11 and 52 %);

• breast cancer in active women by 20 % (between 10 and 30 %);

• colorectal cancer by 24 %;

• type 2 diabetes by 10 %;

• dementia by 30 % (between 21 and 52 %).

Researchers from New Zealand reached similar conclusions^[75]:

• 84 % of respondents agreed that sports help develop important life skills such as teamwork and cooperation;

• for New Zealanders who participate in sports, the level of well-being increases 59 %;

• sports help develop social skills and make new friends (including for migrants);

• high-performance sports help instill a sense of pride in the country and contribute to national identity;

• physical activity and sports reduce the risk of cardiovascular diseases (7.9 %), type 2 diabetes (9.8 %), dementia (7.7 %), breast cancer (13.1 %), and stomach cancer (14.1 %);

• sports and recreation provide 53,000 jobs and contribute $4.9 billion to GDP annually.

A broad range of impacts resulted in the creation of the “Sport for Development” concept. It was first described by the American psychologist Gordon Allport.

In terms of the impact of sports on the economy, Europe offers noteworthy experience^[76]. For example, in 2012, the gross domestic product (GDP) associated with sports was EUR 279.7 billion, or 2.12 % of the total GDP in the EU. In addition, 5.67 million workers can be attributed to the sports industry, which is 2.72 % of the total number. In other words, one in 47 Euros and one in 37 employees in the EU are directly related to sports. These figures were derived from costoutput tables for sports based on national Sport Satellite Accounts.

Indirect multipliers were also used in the calculations, taking into account that each business needs the raw materials from other industries to make its products and/or provide services. Multipliers show how much output from other sectors is needed to produce a certain commodity. For example, producing a sports car requires seats, which in turn requires textiles, etc. The magnitude of multipliers depends primarily on the structure of economic ties between the original sector and the other industries. The more sectors are interconnected, the higher the multipliers. Applying multipliers to direct effects generates indirect effects. For example, if a soccer stadium costs 30 million euros to build (direct effect), and the construction sector reports a multiplier of 1.8, the indirect effect would be (1.8–1.0) x 30, that is, 24 million euros. Note that the supply chain involves national enterprises as well as foreign countries, but the primary effects for the country depend only on the import-adjusted costs.

In terms of economic effects, it is also necessary to consider the athletes’ costs to purchase the equipment, pay for attending the sports sections, travel to competitions (payment for tickets, food, accommodation). In addition, a significant effect can be achieved by the growth of commercial indicators (sponsorship revenues) for those projects that attract a significant audience.

Territorial development^[77] is another important effect of many sports projects:

• stimulation of business activity;

• creation of local jobs (including indirectly through construction projects);

• increasing the appeal of the territories and improving their image;

• contributing to the innovation and development of information and communication technologies (ICT) with sporting content;

• greater economic mobility of the population.

In the context of territorial development, it is worth mentioning a whole block of studies devoted to the assessment of economic effects produced by major sport competitions: Gureeva & Solntsev (2014), Baade & Matheson (2004), de Nooij et al. (2013), Preuss (2007), Maennig & Zimbalist (2012).

Numerous studies have documented negative effects of sports as well. For example, it is well known that physical activity can be a stimulus towards alcohol consumption (Lisha et al., 2011). Many studies point to higher rates of alcohol use among athletes compared to non-athlete peers (Leichliter et al., 1998). A common explanation is that athletes tend to celebrate their victories (or experience failure), and teaming encourages this behavior (Leasure et al., 2015).

Sports can also have a negative impact on the environment, including by increasing emissions of harmful substances. For example, Wicker (2019) surveyed adults in Germany and asked them to report their sports-related travel, including in the context of regular (weekly) activities, sports competitions/tournaments, and training camps. The annual carbon footprint was estimated using information on travel distances and vehicles used. The results showed an average annual carbon footprint of 844 kg of emissions (carbon dioxide equivalent), with individual sports providing more emissions than team sports.

Another negative effect is aggression, abusive behavior and violence against competitors and referees. One example is Roman Shirokov, former captain of the Russian national soccer team, beating referee Nikita Danchenkov during the Moscow Celebrity Cup amateur tournament^[78]. Peter Dawson et al. (2022) studied the effect of abuse on match officials’ decision to leave their jobs. Based on surveys of soccer referees in France and the Netherlands, the authors investigated factors associated with verbal and physical abuse of referees, as well as the relationship of such abuse to referees’ intentions to leave the profession.

Sports can also have negative effects on relationships within the family. In particular, researchers highlight the high costs of playing sports to families (Kay, 2000; Dixon et al., 2008). Besides the financial obligations, the time costs are also increasing. Tess Kay (2000) notes that the need to exercise affects daily routines and causes changes in vacation plans and work schedules. Negative consequences can vary from increased stress and anxiety (O’Rourke et al., 2011) to decreased self-esteem and trauma (Kay, 2000). Feelings of jealousy and resentment or lack of time for other activities are also noted (Côté, 1999). Tess Kay (2000) found that some children who did not compete felt jealous of their siblings who did participate in sports and felt that their relationship with their parents was not as strong. Finally, it has been shown that parents become less active as a result of their children’s participation in sports (Dixon, 2009).

The effects generated by sports projects can be classified into positive and negative, and by the direction of the impact – in the context of the social sphere, health and economy.

According to UEFA^[79], the negative effects of social sports can include injuries, doping use, corruption and the influence of gambling.

PROJECT EFFICIENCY ASSESSMENT

Several approaches can be used to evaluate the effectiveness of individual projects that use physical activity and sports to achieve social and economic effects, including expert assessment, project evaluation (and monitoring) and monetary evaluation, such as Social Return on Investment (SROI) evaluation. We will consider the similarities and differences between these approaches using the Girls on the Soccer Field project as an example. The project was implemented in Turkey in 2016. Social Return on Investment was calculated for it, and the corresponding report was certified by Social Value, an international network promoting the SROI approach^[80].

DESCRIPTION OF THE “GIRLS ON THE SOCCER FIELD” PROJECT

The Girls on the Soccer Field project was created by Melis Abacıoğlu and her company Actifit in 2013. The year before that, Melis and her friends had organized a soccer game for women after their male friends refused to play against them.

The project includes the establishment of a Soccer Academy – for five days, the girls participate in soccer training, as well as creative master classes in visual and theatrical arts and creativity development. In addition, a lecture on gender equality was held for the parents of female Academy participants, who were invited to attend their daughters’ training sessions.

Several approaches can be used to evaluate the effectiveness of individual projects, including expert assessment, project evaluation (and monitoring) and monetary evaluation.

Project goals:

• Through soccer, raise awareness of gender equality and promote greater participation of girls in sports;

• Develop the girls’ creative potential through creative workshops.

EVALUATION OF SOCIAL RETURN ON INVESTMENT

The assessment began with a stakeholder analysis. The following groups were identified: girls participating in the Academy, their parents, volunteer trainers, Actifit (the organization implementing the project), donors who supported the project financially, the foundation that conducted a presentation on gender equality issues for the parents.

The next step in the evaluation process was data collection, which started immediately after the completion of the Academy. The data was mainly collected through survey. Questionnaires were developed for each stakeholder group. These included open-ended questions about participation in the various project activities and the results obtained, for example: “What did you gain from participating in the project? How did the project change your life? Were there any negative consequences of your participation in the project?”

Based on the data collected from all stakeholder groups, their contribution to the project was determined. For example, the girls, their parents, and the volunteer coaches contributed their time; the donors contributed money and sports equipment.

In addition, based on the analysis of the completed questionnaires, the positive and negative results obtained were determined, as well as the relationship between the project activities and results. It is worth noting that this analysis divided the results into expected (planned) and unplanned ones. In case of the girls, for example, the project produced three types of results. First, they became more confident and convinced about the possibility of gender equality. According to the researchers’ analysis, the following chain of changes led to the first result: through soccer training, girls realized that soccer was not just a game for boys, as they had previously thought; besides, soccer training allowed them to appreciate the positive effects of sports, which gave them self-confidence and created awareness of gender equality opportunities. Second, the girls developed imagination and creativity. Third, it was easier for girls to communicate with friends and parents. The authors consider the latter an unplanned outcome of the report, as it was not part of the project goals.

The project results for parents included increased awareness of gender discrimination and improved mutual understanding, as the parents started to communicate more with their daughters. Volunteer coaches have developed communication skills, gained coaching experience, and noted successes in personal growth through participation in the project.

Actifit, which prepared and implemented the project, was able to engage donors, partners and volunteers. Therefore, one of the positive results of the project for the company was saving its own financial resources and employee labor. Additionally, the company was able to make the project more sustainable. Finally, successful operation of the Soccer Academy in Eskisehir was a case study that Actifit can use to further promote its “Girls on the Soccer Field” program. Employee motivation associated with participation in this program has also increased. The negative result of the program was that three employees of the company spent 28 days of their time working on the project.

The next step was monetizing the contributions made by the stakeholders and the results obtained. Only financial and in-kind contribution by Actifit and the donors was taken into account during the monetary evaluation. The report authors decided not to include a monetary evaluation of the time spent on participation in the project by children, parents, and volunteer coaches.

In monetizing the results, the authors used data on the cost of paid services, which would enable the project participants to obtain similar results otherwise. For example, there is a paid soccer section in Eskisehir. The assumption was made that a week of paid soccer lessons would give the girls the same result in terms of developing selfconfidence and understanding the possibility of gender equality, so the cost of this week was used as a “proxy” in estimating the cost of the outcome.

Outside of the project, parents could learn to understand their daughters better and communicate with them more if they took a class with a family psychologist, so the cost of such a course was a monetary estimate for this outcome.

Successful operation of the Soccer Academy in Eskisehir was a case study that Actifit can use to further promote its “Girls on the Soccer Field” program.

Since no one lectures on gender inequality in Eskisehir on a fee basis, it is curious that raising parents’ awareness of gender discrimination has received zero monetary value.

The project SROI was then calculated based on the monetary estimates obtained, both for the project as a whole and for each individual group of stakeholders. The overall SROI for the project was 12.45 – that is, for every Turkish Lira (TL) invested in the project, 12.45 TL worth of social effect was produced. Of these 12.45 TL, the girls’ results accounted for 20 % (2.43 TL) and the parents’ results accounted for 38 % (4.68 TL).

PROJECT EVALUATION

There are several different but similar approaches to evaluating projects. We prefer the one specifically described by the term ‘evaluation’.

This approach features a set of analytical activities that are conducted to provide project's decision-makers with the information they need regarding the project. The decision-makers in this case are usually either project managers or donors.

This approach assumes that a monitoring and evaluation system is developed as early as at the project planning phase. The system is based on the results of stakeholder analysis and a description of the project mechanism, which explains how the implementation of project activities will lead to the achievement of expected results (this description is commonly referred to as the theory of change or logical framework of the project).

Accordingly, using this approach, a stakeholder analysis of the “Girls on the Soccer Field” project would have had to be conducted as early as the planning stage. After that, it would be necessary to build a change map or a logical framework that would explain how the project activities would eventually translate to the progress towards its goals. Building such a map could also help to specify the goals (final expected results) of the project. For example, one of the goals is formulated as follows: “Through soccer, raise awareness of gender equality and promote greater participation of girls in sports.” In developing a change map, one would need to decide what chain of changes connects a presentation on gender equality for girls’ parents to this goal: for example, more informed parents would support their daughters’ desire to play sports. At this point, one may deem it reasonable that the results of the presentation would be better placed in a separate chain of changes and isolated as a separate project goal.

Based on the map of expected changes, the project authors determine what information will be needed to track the progress of project implementation and achievement of its goals. The next step is to decide who, when and how will collect, analyze and use this information.

The key task of evaluation is to help project managers understand whether the intended mechanism for achieving change is actually being implemented. To manage the process of change, it is very important to know where there are failures in the process. Accordingly, the monitoring and evaluation system is designed to identify these failures. In addition, project management now pays a lot of attention to unplanned results, whether positive or negative. This is why data collection for project evaluation could be much the same as in the SROI evaluation described above. But the analysis would have a clear focus on the degree to which the planned results are being achieved, and which of the unplanned results are positive and negative.

It should be noted that any SROI calculation or another form of monetary evaluation can be incorporated in the project evaluation process if decision makers need this information.

EXPERT ASSESSMENT

Expert assessment is generally used when the social results of a project cannot be measured, for whatever reason. It is most commonly used by donor organizations to assess project applications. Expert assessment is a judgment about the value of a project, about how good it is. When conducting an expert assessment, the client makes a list of criteria – the properties that a project must have, and the experts must answer how well the proposed project meets these criteria, based on the description provided in the project application and their own knowledge and experience. For example, if donors to the “Girls on the Soccer Field” project were to make a decision about funding based on expert assessment, they could use criteria such as whether the project is consistent with the strategy, whether the project is effective (able to achieve the expected results), whether the project is economically viable (uses the cheapest way to achieve the expected results) or there are more cost-effective options.

Since achieving the expected results is the main expectation of the project, the expert assessment can focus on a detailed analysis of the expected chains of changes. In this case, experts are presented with a detailed map of changes prepared by the project authors and are asked to assess the feasibility of all the links between the results, so any possible gaps can be found.

For example, when planning the “Girls on the Soccer Field” project, its authors might have planned the following chain of changes:

• Girls who, prior to the project, thought that soccer was a boys-only game take a full training course at the Academy (five days, three hours a day);

• As a result, they successfully learn the basic skills of the game;

• The girls successfully apply the new skills in practice games;

• The girls get satisfaction and enjoyment from the game;

• The girls understand that the idea that only boys are capable of playing soccer was false;

• Getting rid of one of the gender stereotypes helps girls see that gender equality is indeed possible.

During the project evaluation, the experts will need to answer how likely it is that completing one step in the chain will result in a successful implementation of the next step. For example, if the girls take a full course of training at the Academy (15 hours), what is the likelihood that they will learn the basic skills of the game?

CONCLUSION

Global experience shows that projects implemented in the sphere of physical culture and popular sports can create both significant positive social changes and negative effects. The study created a classification of these effects, which will help organizations implementing and supporting social sport projects to identify and evaluate them. The use of different types of assessment enables identification and measurement of the changes created at all stages of the project, which, in turn, helps to manage the change process better. In addition, the assessment is important to justify the amount of funding and the choice of strategic development areas, which is especially relevant in the current context, when all social initiatives can no longer count on the previous level of support from budgetary and non-budgetary sources.

REFERENCES

1. Gureeva, E. A. & Solntsev, I. V. (2014). Assessment of the Economic Effect of Major Sporting Events. MOSCOW: Ru-Science Publishers. 92 pages.

2. Allport, G. W. (1954). The nature of prejudice. MA: Addison-Wesley.

3. Baade, R. A., & Matheson, V. A. (2004). The quest for the cup: assessing the economic impact of the world cup. Regional studies, 38(4), 343–354. https://doi.org/10.1080/03434002000213888.

4. Côté, J. (1999). The influence of the family in the development of talent in sport. The sport psychologist, 13(4), 395–417. https://doi.org/10.1123/tsp.13.4.395.

5. Dawson, P., Webb, T., & Downward, P. (2022). Abuse is not a zero-sum game! The case for zero tolerance of match official physical and verbal abuse. European journal of sport science, 22(3), 417–424. https://doi.org/10.1080/17461391.2021.1881619.

6. Davies, L., Taylor, P., Ramchandani, G., & Christy, E. (2019). Social return on investment (SROI) in sport: a model for measuring the value of participation in England. International Journal of Sport Policy and Politics, 11(4), 585605. https://doi.org/10.1080/19406940.2019.1596967.

7. Nooij, M. D., Berg, M. V. D., & Koopmans, C. (2013). Bread or games? A social cost—benefit analysis of the World Cup bid of the Netherlands and the winning Russian bid. Journal of Sports Economics, 14(5), 521–545. https://doi.org/10.1177/1527002511429825.

8. Dixon, M. A., Warner, S. M., & Bruening, J. E. (2008). More than just letting them play: The enduring impact of parental socialization on female sport involvement. Sociology of Sport Journal, 25(4), 538–559.

9. Kay, T. (2000). Sporting excellence: A family affair? European Physical Education Review, 6 (2), 151–169. https://doi.org/10.1177/1356336X000062004.

10. Leasure, J. L., Neighbors, C., Henderson, C. E., & Young, C. M. (2015). Exercise and alcohol consumption: what we know, what we need to know, and why it is important. Frontiers in psychiatry, 156. https://doi.org/10.3389/fpsyt.2015.00156.

11. Leichliter, J. S., Meilman, P. W., Presley, C. A., & Cashin, J.

R. (1998). Alcohol use and related consequences among students with varying levels of involvement in college athletics. Journal of American College Health, 46(6), 257262. https://doi.org/10.1080/07448489809596001.

12. Lisha, N. E., Martens, M., & Leventhal, A. M. (2011). Age and gender as moderators of the relationship between physical activity and alcohol use. Addictive Behaviors, 36(9), 933936. https://doi.org/10.1016/j.addbeh.2011.04.003.

13. Lyras, A., & Peachey, J. W. (2011). Integrating sport-for-development theory and praxis. Sport management review, 14(4), 311–326. https://doi.org/10.1016/j.smr.2011.05.006.

14. Maennig, W. & Zimbalist, A. S. (Eds.). (2012). International handbook on the economics of mega sporting events. Edward Elgar Publishing.

15. O’Rourke, D. J., Smith, R. E., Smoll, F. L. & Cumming, S. P. (2011). Trait anxiety in young athletes as a function of parental pressure and motivational climate: is parental pressure always harmful? Journal of applied sport psychology, 23(4), 398–412. https://doi.org/10.1080/10413200.2011.552089.

16. Preuss, H. (2007). The conceptualisation and measurement of mega sport event legacies. Journal of sport & tourism, 12(3–4), 207–228. https://doi.org/10.1080/14775080701736957.

17. Wicker, P. (2019). The carbon footprint of active sport participants. Sport Management Review, 22(4), 513–526. https://doi.org/10.1016/j.smr.2018.07.001.

18. Ozgun, S. H. (2016). Girls on the Soccer Field Academy. Social Investment Impact Assessment Report SROI Analysis. Retrieved from https://socialvalueuk.org/report/girls-soccer-field. (accessed 30.01.2023).

Новая жизнь издательского проекта «Каталог «Социальное предпринимательство России»

«Журнал в журнале» – так можно назвать этот блок материалов. Он является продолжением каталога «Социальное предпринимательство России», выходившего с 2014 года. С 2021 года каталог является частью журнала «Позитивные изменения».^[81]

Прогулка в темноте

Сенсорный интерактивный музей и экскурсии в сопровождении незрячих и слабовидящих гидов.

www.progulka-v-temnote.ru

«Прогулка в темноте» – это сенсорная экспозиция, где гости на 50 минут погружаются в абсолютную темноту и получают новый опыт и знания о жизни людей без зрения. Экскурсии проходят в группах в специальном павильоне под руководством незрячих или слабовидящих гидов, для которых темнота – привычная стихия.

РЕШАЕМАЯ ПРОБЛЕМА

Социальная интеграция и реабилитация людей с инвалидностью по зрению – предоставление рабочих мест, достойной оплаты труда и пространства для реализации потенциала слепых и слабовидящих сотрудников.

Изменение отношения в обществе к людям с инвалидностью по зрению – фиксация внимания на возможностях, а не ограничениях слепых и слабовидящих людей. Ежегодно более 10–14 тыс. человек посещают программы музея в темноте.

Индекс NPS музея по оценкам гостей – в среднем 95–98 %, что говорит об их готовности активно рекомендовать этот вид досуга друзьям и знакомым.

ИСПОЛЬЗУЕМЫЕ СПОСОБЫ РЕШЕНИЯ

Создание необычных экскурсионных (и других авторских) программ в темноте, где ведущим является слепой человек. Помимо трудоустройства и личной реализации, экскурсоводы музея показывают зрячим людям новый мир – мир ощущений, и учат ориентироваться в нем, опираясь на все чувства, кроме зрения. Временная зрительная депривация позволяет гостям музея примерить на себя роль незрячего человека, что в корне меняет мировосприятие и отношение к людям с инвалидностью.

ДОСТИЖЕНИЯ И НАГРАДЫ

В 2022-м году музей:

• Стал финалистом Международной премии #МыВместе;

• Получил награду в спецноминации «За вклад в развитие инклюзии» Национальной премии «Золотой Меркурий»;

• Вошёл в шорт-листы конкурсов «Путеводная звезда», «Эксперт года», «Реклама будущего».

В 2021 году музей:

• Стал победителем во Всероссийском конкурсе НКО и социальных предприятий «Поведай миру»;

• Занял 1 место в PR-премии «Громче!», номинация «Лучшая работа со СМИ»;

• Стал лауреатом Национальной премии «Золотой Меркурий», номинация«Лучшее малое предприятие в сфере услуг»;

• Стал «Отличником года» в конкурсе «Пресс-служба года-2020»;

• Победил в ежегодной премии портала KudaGo в номинации «Развлекательный проект года».

ПРИВЛЕЧЁННЫЕ ЗА 2022 ГОД РЕСУРСЫ

32 млн рублей.

ЧТО СДЕЛАНО ЗА ПРОШЛЫЙ ГОД

• Более 10 000 человек посетили программы музея в темноте;

• Разработана, упакована и готова к продаже франшиза музея;

• Второй раз подтверждено звание социально ответственного предприятия г. Москвы;

• Расширен коллектив музея – приняты на работу 3 новых незрячих сотрудника и 2 зрячих специалиста;

• Разработаны и запущены 5 авторских мастер-классов в темноте;

• Музей стал финалистом и победителем нескольких престижных премий;

• Доработан и запущен новый сайт, который дает больше возможностей для ведения бизнеса;

• Укреплены деловые связи с партнерами и дружественными проектами;

• В СМИ вышли более 37 материалов о деятельности музея и экспертных статей на темы социальной ответственности и бизнеса.

ПРЯМЫЕ РЕЗУЛЬТАТЫ ЗА 2022 ГОД

В музее трудоустроены 9 слепых и слабовидящих экскурсоводов, за 2022 год обучены и подготовлены к работе 3 новых незрячих сотрудника. В данный момент обучение и стажировку проходят еще 4 человека с инвалидностью по зрению. Помимо этого, в музей постоянно поступают запросы на трудоустройство экскурсоводами, поэтому руководство активно занимается продажей франшиз, что позволит создать новые рабочие места, а также показать «темноту» большему количеству людей.

СОЦИАЛЬНЫЕ ЭФФЕКТЫ, ДОСТИГНУТЫЕ ЗА 2022 ГОД

Идея проектов в темноте не нова – в мире существует немало известных «темных» мест, которые пользуются спросом горожан и туристов – это и Invisible Exhibition – выставка в темноте в Будапеште, и MUZIEUM в Неймегене (Нидерланды), и театральные шоу Teatro Ciego в Буэнос-Айресе.

Важность таких проектов сложно переоценить – каждый из них позволяет людям с помощью главного инструмента – погружения в темноту – не только больше узнать о себе и собственных возможностях, но и на личном опыте испытать сложности жизни людей без зрения.

Деятельность музея «Прогулка в темноте» оказывает большое влияние на повышение уровня толерантности в обществе к людям с инвалидностью, помогает посетителям стать более чуткими и внимательными к окружающим. Посещение «темноты» дает людям новый опыт и знакомит их с миром незрячих, привлекает внимание социума к важным социальным проблемам: стереотипам по отношению к людям с инвалидностью, доступности среды, важности инклюзии.

СОЦИАЛЬНО-ЭКОНОМИЧЕСКОЕ ВОЗДЕЙСТВИЕ

В «Прогулке в темноте» экскурсоводами работают слепые и слабовидящие люди (1 и 2 группа инвалидности по зрению). В данный момент коллектив музея на 60 % состоит из сотрудников с инвалидностью. Работа в музее дает им возможность общения, взаимодействия с большим количеством людей, разработки интересных проектов и мастер-классов, самореализации, а также получения конкурентной заработной платы. Рабочих мест для людей с инвалидностью не так много, им бывает сложно найти интересную работу и трудоустроиться официально. «Прогулка в темноте» частично решает эту проблему, предоставляя людям с инвалидностью рабочие места и создавая для них комфортные условия труда.

МОДЕЛЬ ФИНАНСОВОЙ УСТОЙЧИВОСТИ

Финансовая модель музея построена на самоокупаемости: прибыль поступает от продажи билетов на экскурсионные программы, авторские мастер-классы, квесты и тренинги в темноте. Вырученные средства составляют фонд оплаты труда, идут на уплату налогов, покрытие арендных обязательств и продвижение проекта.

Stop-Hemangioma

Система дистанционного наблюдения за детьми с инфантильными (младенческими) гемангиомами.

stop-hemangioma.ru

Мобильное приложение «Stop-Hemangioma» создано в виде персонального помощника для родителей детей с сосудистыми аномалиями. В разработке приложения принимали участие врачи, наблюдающие гемангиомы.

РЕШАЕМАЯ ПРОБЛЕМА

Сосудистые аномалии являются самыми частыми патологиями мягких тканей у младенцев. По статистике, гемангиомы встречаются у 10 процентов новорожденных детей, и чаще всего у девочек. Только регулярный осмотр у врача-эксперта по ведению сосудистых мальформаций позволит выявить рост пятна, вовремя начать правильное лечение, избавиться от осложнений, сократить длительность реабилитации.

Однако родители и пациенты часто сталкиваются с проблемами с доступом к специалистам, поддерживающим мировые стандарты по лечению сосудистых аномалий. Свой вклад в количество осложнений заболевания вносят также географические и экономические факторы.

Цель проекта «Stop-Hemangioma» – сократить количество осложненных гемангиом у детей за счет внедрения системы дистанционного наблюдения за маленькими пациентами с сосудистыми мальформациями.

ИСПОЛЬЗУЕМЫЕ СПОСОБЫ РЕШЕНИЯ

Команда врачей, программистов и инженеров разработала проект «Stop-Hemangioma», представляющий собой мобильное приложение и программный комплекс для наблюдения за детьми с гемангиомами. Проект был запущен при поддержке Фонда «Навстречу переменам».

Родители маленьких пациентов, которым на очном осмотре установили диагноз и дали рекомендации по наблюдению, скачивают приложение и получают логин и пароль от личного кабинета у врача-консультанта. Он подбирает индивидуальный дневник наблюдения, родители заполняют графы дневника, прикрепляют фото патологического очага. Специалист проводит оценку дневниковых записей и фотографий очага, оценивает рост образования, его осложнения, определяет необходимость повторного очного осмотра, консультирует в выборе врача и записи на приём. По любым вопросам касательно выявленной патологии возможна связь пациента и консультанта в мессенджере.

Все данные хранятся в обезличенном формате в закрытом доступе, защита персональных данных соответствует всем требованиям законодательства, сообщают авторы проекта.

ДОСТИЖЕНИЯ И НАГРАДЫ

Победитель ежегодного конкурса Фонда «Навстречу переменам», проводимого среди импакт-стартапов (2021 г.) в номинации «Масштабный проект».

Участник проекта «Научная лаборатория «Московская поликлиника», направленного на развитие исследовательских компетенций и критического мышления специалистов первичного звена города Москвы (2022 г.).

Победитель конкурса «Старт-1» Фонда содействия инновациям (2022 г.).

ПРИВЛЕЧЁННЫЕ ЗА 2022 ГОД РЕСУРСЫ

• Грант Фонда «Навстречу переменам» – 1,2 млн руб.

• Пожертвования – 300 тыс. руб.

• Грант Фонда содействия инновациям – 4 млн руб.

ЧТО СДЕЛАНО ЗА ПРОШЛЫЙ ГОД

• Разработано мобильное приложение «Stop-Hemangioma»;

• Проведена апробация веб-версии приложения;

• Получено свидетельство о регистрации программы ЭВМ в Роспатенте;

• Получен ответ Всероссийского научно-исследовательского и испытательного института медицинской техники (ВНИИИМТ) Росздравнадзора по вопросам регистрации приложения.

ПРЯМЫЕ РЕЗУЛЬТАТЫ ЗА 2022 ГОД

• Мобильное приложение для Android представлено в Play Market, NashStore, RuStore;

• Разработаны дневники наблюдения за различными гемангиомами;

• Разработаны правила фотофиксации;

• Проведена апробация приложения в Детской городской клинической больнице святого Владимира и Детской городской поликлинике № 125 Департамента здравоохранения города Москвы;

• Врачи, участвующие в реализации проекта «Stop-Hemangioma», стали членами Российской ассоциации детских хирургов, Российского общества по изучению сосудистых аномалий.

СОЦИАЛЬНЫЕ ЭФФЕКТЫ, ДОСТИГНУТЫЕ ЗА 2022 ГОД

• Удовлетворенность системой дистанционного наблюдения участников проекта составляет 98 %;

• Повысился уровень информированности родителей по вопросам ухода, наблюдения и лечения гемангиом, в т. ч. благодаря доступу к проверенной медицинской литературе в мобильном приложении;

• Проведено дистанционное наблюдение 130 детей с гемангиомами;

• Сокращены очные осмотры детей с 4 до 1 в месяц.

СОЦИАЛЬНО-ЭКОНОМИЧЕСКОЕ ВОЗДЕЙСТВИЕ

Отсутствие запущенных случаев в группе дистанционного наблюдения, повышение удовлетворенности пациентов в группе дистанционного наблюдения.

МОДЕЛЬ ФИНАНСОВОЙ УСТОЙЧИВОСТИ

В настоящее время проект реализуется на средства гранта Фонда «Навстречу переменам», Фонда содействия инновациям. В дальнейшем планируется распространение приложения посредством продажи через маркетплейсы. Кроме того, в приложении будет реализован функционал покупки подписки наблюдения по двум периодам – краткосрочное наблюдение – 1 мес. (1 тыс. руб.) и долгосрочное – 6 мес. (5 тыс. руб.).

В январе 2023 г. авторы проекта открыли ООО «Гремикс». Компания будет заниматься созданием алгоритмов искусственного интеллекта и их внедрением в мобильное приложение, а также научными разработками в этом направлении.

INLIFE

Общеразвивающие программы физкультурно-спортивной направленности для детей с ОВЗ.

http://inlife.care

Центр адаптивных видов спорта INLIFE – проект, который позволяет обучать особенных детей адаптивным видам спорта, в том числе фигурному катанию.

РЕШАЕМАЯ ПРОБЛЕМА

Многочисленными исследованиями доказано, что физическая культура и спорт являются важнейшими средствами успешной социализации, реабилитации и адаптации ко взрослой жизни у детей и подростков с ОВЗ. Однако не во всех регионах РФ дети с инвалидностью могут посещать спортивные секции или занятия лечебной физкультурой. Причины разные: отсутствие специалистов и инфраструктуры, низкое материальное положение родителей, которые воспитывают ребенка с инвалидностью, недостаточная информированность родителей о возможности получения абилитационной помощи. Как показал опрос, проведенный Центром адаптивных видов спорта INLIFE среди родителей, 95,7 % решают проблему абилитации своего ребенка самостоятельно. При этом 100 % родителей заинтересованы в получении такой помощи от государства.

Проект INLIFE призван создать условия для занятий адаптивными видами спорта для детей с ментальными нарушениями, расстройством аутистического спектра (РАС), синдромом дефицита внимания и гиперактивности (СДВГ), задержкой психо-речевого развития (ЗПРР), для слабослышащих детей и с легкой формой ДЦП.

ИСПОЛЬЗУЕМЫЕ СПОСОБЫ РЕШЕНИЯ

Центр адаптивных видов спорта INLIFE начал работу в 2019 г. с проведения тренировок по фигурному катанию для детей с ментальными нарушениями. Позже были открыты два филиала в Подмосковье, а в период пандемии центр сменил формат работы: был вынужден перейти в онлайн. Основатель центра – Жанна Сорока, мастер спорта СССР по фигурному катанию на коньках, член Федерации фигурного катания Москвы.

Миссией Центра адаптивных видов спорта INLIFE является повышение качества жизни детей с ограниченными возможностями здоровья благодаря занятиям адаптивными видами спорта. Для достижения этой цели организация уделяет особое внимание:

• результатам участников программы;

• непрерывному повышению квалификации и профессиональному развитию персонала.

Специалисты центра разработали свою методику обучения тренеров и тьюторов, которая получила название «Специфика взаимодействия тренера по фигурному катанию на коньках и специалиста по сопровождению (тьютора) в процессе проведения занятия с детьми с ментальной инвалидностью». Программа рассчитана на 72 академических часа. В июне 2019 г. разработанная методика получила положительное заключение экспертной комиссии Межинститутского совета Российского государственного университета физической культуры, спорта, молодежи и туризма и рекомендована к изданию и использованию в учебном процессе. В 2020/2021 гг. курс был включен в программы повышения квалификации Российского университета спорта «ГЦОЛИФК».

В настоящее время очные занятия с детьми проводятся в двух филиалах центра: ФСК «Салют» (Долгопрудный), «Арена им. Вл. Петрова» (Красногорск). Обычные дети и дети с ментальной инвалидностью от 4 до 18 лет могут посещать занятия по фигурному катанию и общей физической подготовке. На тренировках их сопровождает тьютор. Для каждого ребенка разрабатывается индивидуальная траектория обучения для занятий в групповом формате. Дети и родители также имеют возможность получать психологические консультации на регулярной основе.

Работа Центр адаптивных видов спорта ведется также в онлайн формате на специальной платформе, позволяющей организовать процесс обучения. Платформа включает:

• План занятий;

• Необходимые теоретические материалы;

• Видео предлагаемых упражнений;

• Видеоконференции для занятий онлайн;

• Обратную связь тренера, психолога;

• Отслеживание прогресса обучения;

• Программу поощрений для учеников.

ДОСТИЖЕНИЯ И НАГРАДЫ

Победитель программы «Мама-предприниматель» в Московской области 2019 г.

Финалист конкурса «Навстречу импакт-стартапам» – 2021 Фонда «Навстречу переменам».

Грантополучатель Благотворительного Фонда Владимира Потанина 2023. Программа профессионального развития «Фигурное катание для всех» (расширенные практики адаптивного фигурного катания в Москве и Московской области) стала одним из победителей конкурса «Спортивный десант» благотворительной программы «Сила спорта».

ПРИВЛЕЧЁННЫЕ ЗА 2022 ГОД РЕСУРСЫ

• Частные пожертвования составили около 70 000 рублей;

• Абонементная плата родителей за обучение около 50 000 рублей;

• Добровольный взнос на уставную деятельность – 30 000 рублей.

ЧТО СДЕЛАНО ЗА ПРОШЛЫЙ ГОД

• Индивидуальные занятия на льду для детей с различными нозологиями – более 100 часов;

• Очные занятия по адаптивной физической культуре – более 35 часов;

• Онлайн занятия по адаптивной физкультуре и адаптивному волейболу – более 70 часов;

• Активная работа по привлечению грантовой поддержки для центра.

ПРЯМЫЕ РЕЗУЛЬТАТЫ ЗА 2022 ГОД

Обучено 15 детей в возрасте от 5 до 18 лет с ментальными нарушениями в очном и дистанционном форматах.

СОЦИАЛЬНЫЕ ЭФФЕКТЫ, ДОСТИГНУТЫЕ ЗА 2022 ГОД

В качестве индикаторов оценки социального воздействия были взяты:

• Процент детей в группе, у которых снизилась заболеваемость ОРВИ;

• Показатели, которые демонстрируют индивидуальный успех детей в группе (выносливость и координационно-двигательная активность);

• Процент детей, вовлеченных в занятия.

Через 3–6 мес. регулярных занятий специалисты центра отметили:

1. Снижение заболеваемости ОРВИ более чем на 30 % у детей в группе.

2. Дети без перерыва могут выполнять по 8–10 приседаний и отжиманий без одышки (до начала обучения 1–3 раза без перерыва).

3. Дети научились взаимодействовать с преподавателями и другими учащимися. Ранее они отвлекались друг на друга, не повторяли упражнения за тренером, не слушали сопровождающего.

4. Дети могут посещать уроки физкультуры в школе или в секциях, организованные в инклюзивном формате. До начала обучения эффективности от занятий в групповом формате в школе или секциях не было. Занятия в центре помогли «собрать» внимание учащихся и настроить на диалог с преподавателями и тьюторами, выработать правила поведения и дисциплины.

СОЦИАЛЬНО-ЭКОНОМИЧЕСКОЕ ВОЗДЕЙСТВИЕ

Улучшение качества жизни и здоровья детей с ментальной инвалидностью.

МОДЕЛЬ ФИНАНСОВОЙ УСТОЙЧИВОСТИ

• Абонементная плата родителей за обучение;

• Грантовая поддержка;

• КСО (партнерство с компаниями);

• Государственно-частное партнёрство;

• Поддержка из муниципального бюджета;

• Поддержка из федерального бюджета;

• Частные благотворительные взносы.

Обская кузница

Культурно-просветительская деятельность в сфере креативных индустрий.

obskayakuznica.com

Проект «Обская кузница» объединил под своими знамёнами мастеров и ремесленников, изготавливающих сувенирную продукцию из металла. С августа 2022 года он стал частью АНО "Агентство креативных индустрий «КУЙ», занимающегося продвижением локальных брендов на территории Югры и за её пределами.

РЕШАЕМАЯ ПРОБЛЕМА

Сохранение знаний, передача умений и навыков ремесленной деятельности, а также повышение осведомленности об истории и культуре северных народов ханты и манси, современной Югры.

ИСПОЛЬЗУЕМЫЕ СПОСОБЫ РЕШЕНИЯ

Сейчас кузница объединяет разных мастеров по металлу, дереву, коже, кости. Ведётся исследовательская работа по развитию кузнечного дела на территории бывшей Тобольской губернии. Практику могут пройти учащиеся университетов и колледжей. Гостями становятся и люди с ограниченными возможностями здоровья.

«Мы постоянно экспериментируем, работаем с чертежами и индивидуальными эскизами, занимаемся исторической реконструкцией. Нас сложно отнести к одному направлению деятельности – мы немного про туризм, немного про отдых и образование, даже рядом с промышленностью. Каждое изделие создаётся нами с любовью и уважением к человеку, нашим национальным традициям и природным ресурсам», – говорит основатель проекта Екатерина Тайлакова.

В «Обской кузнице» проводятся групповые экскурсии, а также мастер-классы по созданию кованой сувенирной продукции (от гвоздя до ножа). Мастер-классы предваряются рассказом об истории металлообработки и развития кузнечного дела. Участники знакомятся с экспонатами частного Музея кованых изделий, имеют возможность рассмотреть, примерить и сфотографировать части исторически реконструированных рыцарских доспехов Испании 15–16 вв.

Кованые изделия можно приобрести онлайн через социальные сети и сайты, в сувенирных магазинах в разных городах ХМАО-Югры и ЯНАО, а также на отечественных и зарубежных маркетплейсах.

В 2022 г. Екатерина Тайлакова и Анастасия Бондаренко разработали коллекцию универсальных украшений из алюминия с нанесением на них методом чеканки разных слов и выражений из языков народов ханты и манси. Помощь проекту оказали сотрудники Русскинского музея природы и человека имени А. П. Ядрошникова, среди которых есть носители одного из диалектов языка народа ханты.

Для создания экспериментальной коллекции были отобраны следующие фразы, первая из которых стала названием проекта: «Хранимые Торумом», «Земля Торума», «Богиня огня», «С миром живите», «Воин», «Любить», «Дружить», «Счастье», «Удача», «Богатство», «Югра – место силы».

Проект «Хранимые Торумом» многозначен, подчеркивают авторы. «Для владеющих русским языком мы снаружи наносим на украшения транскрипции слов и целых фраз, ставя над ними ударения, чтобы человек правильно передавал фонетику звучных языков ханты и манси. Это работа с устным наследием. Для носителей языка мы наносим буквы «их» диалектов. В алфавитах народов ханты и манси есть «особенные» буквы, которых нет в кириллическом. Так мы работаем с письменным наследием», – отмечают они.

ПРИВЛЕЧЁННЫЕ ЗА 2022 ГОД РЕСУРСЫ

• Грант в размере 100 000 рублей в номинации «Мода» Акселератора креативных индустрий, организаторы – Фонд поддержки предпринимательства Югры «Мой Бизнес», платформа «Деловая среда» при поддержке компании ЛУКОЙЛ.

• Грант в размере 500 000 рублей для социальных предпринимателей от Департамента экономики ХМАО-Югры.

• Реализация продуктов и услуг кузницы – 1,5 млн рублей.

• Крупнейший в округе ТРЦ «Сургут Сити Молл» выделил на тёплое время года 4 деревянных домика перед центральным входом: заработал сувенирный магазин, организованы две ремесленные мастерские, культштаб.

ДОСТИЖЕНИЯ И НАГРАДЫ

За 2022 год:

• Лауреат Всероссийского конкурса Программы «100 лучших товаров России» в номинации «Изделия народных и художественных промыслов» (товар – традиционная якутская пешня);

• Дипломант конкурса «Лучшие товары и услуги Тюменской области» (товар – традиционная якутская пешня, хантыйский нож);

• Победитель конкурса «Лидер бизнеса Югры» в специальной номинации «За вклад в сохранение и развитие народных художественных промыслов России»;

• Победитель конкурса «Лучший товар Югры» в номинации «Изделия национальных промыслов и сувенирная продукция»;

• Призёр конкурса «Молодой предприниматель Югры» в специальной номинации «Креативный бизнес»;

• Диплом конкурса «Лучший социальный проект года» в специальной номинации Общественной палаты Югры (проект «Обская кузница: расширение»);

• Победитель городского конкурса «Предприниматель года» в номинации «Бизнес креативных индустрий» (г. Сургут, по итогам 2021 г.).

ЧТО СДЕЛАНО ЗА ПРОШЛЫЙ ГОД

• Начали работать с музейным наследием – создавать реплики изделий из металла (для изучения материала коллекцию предоставил Сургутский краеведческий музей);

• Запустили работу с воском и животными материалами;

• Предложили мастер-классы по чеканке на браслетах из алюминия;

• Появились часовые групповые экскурсии в кузнице;

• Представили услуги «Выездная кузница» и «Выездная чеканка монет»;

• Увеличилось количество самозанятых, которые изготавливают для проекта ремесленную продукцию.

ПРЯМЫЕ РЕЗУЛЬТАТЫ ЗА 2022 ГОД

Более 1000 новых посетителей и покупателей продукции. Также увеличился процент людей, приходящих повторно.

СОЦИАЛЬНЫЕ ЭФФЕКТЫ, ДОСТИГНУТЫЕ ЗА 2022 ГОД

• Ведём профориентационную деятельность – с нами знакомы учащиеся на специальности «Металлообработка» Сургутского политехнического колледжа;

• Помогаем мастерам и ремесленникам оформлять самозанятость и работать легально, сопровождаем и оказываем содействие в получении мер поддержки, грантов и субсидий для развития дела;

• Отмечаем растущий интерес к кузнечному делу – к нам достаточно часто стали приезжать гости из других городов соседних регионов и федеральных округов;

• Консультируем членов «Гильдии кузнецов России» на предмет грамотного ведения их дела и выстраивания отношений с органами власти.

МОДЕЛЬ ФИНАНСОВОЙ УСТОЙЧИВОСТИ

Опорным видом деятельности всегда были мастер-классы по ковке. В пандемию мы переориентировались на среднегабаритные кованые изделия для интерьера и загородной недвижимости. Продаем изделия на азиатской онлайн-платформе pinkoi.com, раньше работали с etsy.com.

17 августа 2022 г. открыли АНО «Агентство креативных индустрий «КУЙ», чтобы иметь возможность получать грантовую поддержку. Кроме того, мониторим формы государственной поддержки в ХМАО-Югре (субсидии, компенсации затрат, гранты для предпринимателей).

New Life of the Publishing Project “Catalog “Social Entrepreneurship of Russia”

"A Journal Within A Journal" – that's what you can call this section. It is an extension of the "Social Entrepreneurship in Russia" catalog published since 2014. Since 2021, the catalog has become part of the Positive Changes Journal.^[82]

A Walk in the Dark

A Sensory Interactive Museum and Guided Tours with Blind and Visually Impaired Guides.

www.progulka-v-temnote.ru

“A Walk in the Dark” is a sensory exhibit where guests are immersed in total darkness for 50 minutes and gain new experiences and knowledge about life for the non-sighted. Group tours are conducted in a special pavilion, accompanied by blind or visually impaired guides, for whom darkness is a familiar element.

PROBLEM ADDRESSED

Social integration and rehabilitation of visually impaired people – providing jobs, decent pay and space for the blind and visually impaired employees to realize their potential.

A change in the society’s attitude toward people with visual impairments – focusing on the capabilities, rather than the limitations, of the blind and visually impaired people. Between 10,000 and 14,000 people visit the museum’s darkness programs each year.

The museum’s NPS index is 95–98 % on average, indicating the guests’ willingness to actively recommend this recreational activity to friends and acquaintances.

METHODS USED TO ADDRESS THE PROBLEM

Development of unconventional guided tours and other original programs in the dark, where the presenter is a blind man. In addition to employment and personal fulfillment, the museum guides show people with vision a new world – the world of senses – and teach them to navigate it by relying on all the senses except sight. Temporary visual deprivation allows museum guests to try on the role of a blind person, which fundamentally changes the worldview and attitude toward people with disabilities.

ACCOMPLISHMENTS AND AWARDS

In 2022, the museum:

• became a finalist for the #WeAreTogether International Award;

• received a special award “For Contribution to the Development of Inclusion” of the “Golden Mercury” National Awards;

• got shortlisted for the “Guiding Star”, “Expert of the Year”, and “Advertising of the Future” contests.

In 2021, the museum:

• won the “Tell the World” All-Russian Contest of NGOs and social enterprises;

• won the first prize of the “Louder!” PR award in the “Best Work with Mass Media” nomination;

• won the “Golden Mercury” National Award in the “Best Small Business in the Service Industry” nomination;

• was named “Outstanding Contestant of the Year” in the Press Service of the Year 2020 contest;

• won the annual KudaGo Award in the “Entertainment Project of the Year” nomination.

FUNDS RAISED IN 2022

32 million rubles.

WHAT WAS DONE LAST YEAR

• more than 10,000 people visited the Walk in the Dark programs;

• the museum franchise has been developed, packaged and is ready for sale;

• the title of a socially responsible company in Moscow was reiterated for the second time;

• the museum staff was expanded – three new blind employees and two sighted specialists were hired;

• five original master classes in the dark have been developed and launched;

• the museum has become a finalist and winner of several prestigious awards;

• the new website has been finalized and launched, delivering more business opportunities;

• business ties with partners and friendly projects have been strengthened;

• more than 37 materials about the museum’s activities and expert articles on corporate social responsibility were published in the media.

DIRECT RESULTS FOR 2022

The museum employs 9 blind and visually impaired tour guides, and three more blind employees were trained and got ready for work in 2022. At the moment, four more people with visual impairments are receiving training and internships. In addition, the museum is constantly receiving requests for employment as tour guides, so the management is actively working on selling franchises, which will create new jobs, as well as allow more people to experience the darkness.

SOCIAL EFFECTS ACHIEVED IN 2022

The idea of projects in the dark is not new – there are many famous “dark” places in the world, which are popular with locals and tourists alike. These include the Invisible Exhibition in Budapest, the MUZIEUM in Nijmegen (Netherlands), and Teatro Ciego shows in Buenos Aires.

It is difficult to overestimate the importance of such projects – each one allows people to use immersion in the dark as the tool not only to learn more about themselves and their abilities, but also to experience firsthand the difficulties of life for people with visual impairments.

The activities of the “Walk in the Dark” museum have a great impact on increasing the level of tolerance in the society towards people with disabilities, helping the visitors to become more sensitive and considerate of those around them. Visiting “darkness” gives people a new experience and introduces them to the world of the blind, drawing society’s attention to important social issues: stereotypes about people with disabilities, accessibility, and the importance of inclusion.

SOCIAL AND ECONOMIC IMPACT

The “Walk in the Dark” tours are guided by blind and visually impaired people (visual impairment groups 1 and 2). At the moment, 60 % of the museum’s staff are employees with disabilities. Working at the museum gives them an opportunity to socialize, interact with more people, develop interesting projects and master classes, self-actualize, and earn a competitive salary. There are not many jobs for people with disabilities, and it can be difficult for them to find interesting work and official employment. The “Walk in the Dark” museum partially addresses this problem by creating jobs for people with disabilities and offering them a comfortable working environment.

FINANCIAL SUSTAINABILITY MODEL

The museum’s financial model is self-sustainable: profits are generated from selling tickets to guided tours, original master classes, quests and trainings in the dark. The proceeds go to pay taxes, wages, cover lease obligations, and promote the project.

Stop-Hemangioma

Remote Monitoring System for Children with Infantile Hemangiomas.

stop-hemangioma.ru

Stop-Hemangioma is a mobile app created as a personal assistant for parents of children with vascular anomalies. It was developed together with the engagement of physicians observing hemangiomas.

PROBLEM ADDRESSED

Vascular anomalies are the most common soft-tissue abnormalities in infants. Statistically, hemangiomas occur in 10 percent of newborn children, most often in girls. Only regular examinations by an expert in vascular malformations allow detecting the tumor growth, start the right treatment in time, avoid complications, and shorten the rehabilitation required.

However, parents and patients often encounter problems with access to world-class specialists specializing in the treatment of vascular anomalies. Geographic and economic factors also contribute to the number of complications of the disease.

The goal of the Stop-Hemangioma project is to reduce the number of complicated hemangiomas in children by implementing a remote monitoring system for young patients with vascular malformations.

METHODS USED TO ADDRESS THE PROBLEM

A team of doctors, programmers and engineers developed the Stop-Hemangioma project, which includes a mobile app and software package for monitoring children with hemangiomas. The project was launched with the support of the “Reach for Change” Foundation.

Parents of young patients diagnosed during a personal appointment and given recommendations for monitoring, can download the application and receive a login and password to their personal account by a consulting physician. The doctor selects an individual observation schedule, the parents fill out the diary, attaching the photos of the tumor. The specialist evaluates the diary records and photographs, assesses the growth of the tumor, any complications, decides whether a separate personal appointment is needed, and advises on choosing another doctor and signing up for an appointment if necessary. For any questions regarding the pathology detected, the patient and the physician can communicate via messenger.

All data is kept in private storage in depersonalized format, meeting all legal requirements to personal data protection, according to the project authors.

ACCOMPLISHMENTS AND AWARDS

Winner of the “Reach for Change” Foundation’s annual competition among impact startups (2021) in the “Large Project” category.

Participant in the “Moscow Polyclinic Science Lab” project aimed at developing research competencies and critical thinking of primary care specialists in Moscow (2022).

Winner of the Foundation for Assistance to Small Innovative Enterprises (FASIE) “Start-1” competition (2022).

FUNDS RAISED IN 2022

• A grant of 1.2 million rubles received from the “Reach for Change” Foundation.

• 300,000 rubles raised in donations.

• A grant of 4 million rubles from the FASIE.

WHAT WAS DONE LAST YEAR

• “Stop-Hemangioma” mobile app developed;

• a web version of the application tested;

• a Rospatent certificate of state registration of a software program obtained;

• response received from Roszdravnadzor’s All-Russian Medical Technology Research and Testing Institute for (VNIIIMT) concerning registration of the mobile app.

DIRECT RESULTS FOR 2022

• Android mobile application published in Play Market, NashStore, RuStore;

• Observation diaries for various hemangioma types developed;

• The rules of photographic evidence collection developed;

• Application tested at St. Vladimir Children’s City Clinical Hospital and Children’s City Polyclinic No. 125 of the Moscow City Health Department;

• Doctors involved in the Stop-Hemangioma project became members of the Russian Association of Pediatric Surgeons and the Russian Society for the Study of Vascular Anomalies.

SOCIAL EFFECTS ACHIEVED IN 2022

• 98 % satisfaction with the remote monitoring system among project participants;

• Increased parents’ awareness of hemangioma care, monitoring and treatment, including through access to proven medical literature via the mobile app;

• 130 children with hemangiomas monitored remotely;

• Personal appointments for children were reduced from 4 to 1 per month.

SOCIAL AND ECONOMIC IMPACT

Lack of neglected cases in the remote monitoring group, increased patient satisfaction in the remote monitoring group.

FINANCIAL SUSTAINABILITY MODEL

The project is currently being implemented with the help of a grant from the “Reach for Change” Foundation and the Foundation for Assistance to Small Innovative Enterprises. The project authors plan to start selling the mobile app via the marketplaces in the future. In addition, the application will include two paid subscription options – short-term monitoring (1 month, 1,000 rubles), and long-term (6 months, 5,000 rubles).

In January 2023, the authors of the project opened Gremiks LLC. The company will be engaged in scientific research in the problem field and developing artificial intelligence algorithms for integration into the mobile application.

INLIFE

General Developmental Programs of Physical Education and Sports Orientation for Children with Disabilities.

http://inlife.care

INLIFE Adaptive Sports Center is a project that teaches adaptive sports, including figure skating, to children with special needs.

PROBLEM ADDRESSED

Numerous studies have proven that physical education and sports are the most important methods of successful socialization, rehabilitation and adaptation to adult life in children and adolescents with disabilities. However, not all regions of the Russian Federation allow children with disabilities to attend sports sections or therapeutic physical education classes. The reasons are varied: from lack of specialists and infrastructure and low financial status of the parents of children with disabilities, to insufficient awareness among parents about the possibility of receiving habilitation assistance. A survey of parents, conducted by the INLIFE Adaptive Sports Center, showed that 95.7 % address the problem of their child’s rehabilitation on their own. At the same time, 100 % of parents are interested in receiving assistance from the state.

The INLIFE project is designed to create conditions for children with mental disabilities, autism spectrum disorders (ASD), attention deficit hyperactivity disorder (ADHD), delayed mental and speech development (DMSD), hearing-impaired children and children with a mild form of cerebral palsy to practice adaptive sports.

METHODS USED TO ADDRESS THE PROBLEM

INLIFE Adaptive Sports Center started in 2019 with figure skating training for children with mental disabilities. Two branches opened in Moscow region later; during the pandemic, the center was forced to go online. The Center founder is Zhanna Soroka, Master of Sports of the Soviet Union in figure skating and a member of the Moscow Figure Skating Federation.

INLIFE Adaptive Sports Center sees its mission in improving the quality of life for children with disabilities through adaptive sports. To achieve this goal, the organization pays special attention to the following:

• the program participants’ results;

• continuous personnel training and professional development.

The center’s specialists have developed their own methodology for training coaches and tutors, called “Specifics of Interaction Between a Figure Skating Coach and a Support Specialist (Tutor) in the Process of Teaching Children with Mental Disabilities.” The program is designed for 72 academic hours. In June 2019, the methodology developed received a positive review from the Expert Committee of the Inter-Institution Council of the Russian State University of Physical Education, Sports, Youth and Tourism, and was recommended for publication and use in the educational process. In 2020/2021 the course was included in the professional development programs of the Russian University of Sports (SCOLIPE).

Currently, offline classes are held at two branch offices of the Center: SPEC Salute in Dolgoprudny, and Vladimir Petrov Arena in Krasnogorsk. Regular children and children with mental disabilities ages 4 to 18 can attend the figure skating and general physical education classes. A tutor accompanies them during training sessions. An individual learning trajectory is developed for each child for group sessions. Children and parents also have the opportunity to receive psychological counseling on a regular basis.

The Adaptive Sports Center services are also available online, on a special platform that allows organizing the learning process. The platform includes:

• A syllabus;

• All theoretical materials required;

• Videos of the suggested exercises;

• Video conferencing for online classes;

• Feedback from the coach and the psychologist;

• Learning progress tracking;

• An incentives program for students.

ACCOMPLISHMENTS AND AWARDS

Winner of the 2019 “Mama Entrepreneur” Program in Moscow Region.

Finalist of the 2021 “Towards Impact Startups” competition by the “Reach for Change” Foundation.

Grantee of the Vladimir Potanin Foundation in 2023. The “Figure Skating for All” professional development program (extended adaptive figure skating practices in Moscow and the Moscow region) was one of the laureates of the “Sports Platoon” competition, part of the “Power of Sports” charity program.

FUNDS RAISED IN 2022

• Private donations – about 70,000 rubles total;

• Parents’ subscription fees – about 50,000 rubles;

• Voluntary contribution for statutory activities – 30,000 rubles.

WHAT WAS DONE LAST YEAR

• Individual skating lessons for children with various diseases – more than 100 hours;

• Full-time adaptive physical education classes – more than 35 hours;

• Online classes in adaptive physical education and adaptive volleyball – more than 70 hours;

• Active work on raising grant support for the center.

DIRECT RESULTS FOR 2022

Fifteen children with mental disabilities aged 5 to 18 completed personal and remote training.

SOCIAL EFFECTS ACHIEVED IN 2022

The following social impact assessment indicators were used:

• The percentage of children in the group with decreased incidence of acute respiratory infections;

• Indicators demonstrating the individual success of children in the group (endurance and motor coordination activity);

• The percentage of children involved in classes. After three to six months of regular exercise, the center’s specialists noted:

1. The incidence of acute respiratory viral infections decreased by more than 30 % among the children in the group.

2. The children can do 8–10 squats and push-ups without interruption (1–3 times without interruption before the training).

3. The children have learned how to interact with teachers and other students. Previously, they were distracted by each other, did not repeat exercises after the trainer, did not listen to the attendant.

4. The children can attend physical education classes at school or in inclusive sports sections. Prior to the start of the training, group classes in school or sports sections had little effect. Classes at the center helped focus the students’ attention and set up a dialogue with teachers and tutors, develop rules of conduct and discipline.

SOCIAL AND ECONOMIC IMPACT

Improving the quality of life and health for children with mental disabilities.

FINANCIAL SUSTAINABILITY MODEL

• Parents’ subscription fees for tuition;

• Grant support;

• CSR (partnerships with companies);

• Public-private partnership;

• Support from the municipal budget;

• Support from the federal budget;

• Private charitable contributions.

Ob Forge

Cultural and Educational Activities in the Creative Industries.

obskayakuznica.com

The “Ob Forge” project unites artisans and craftsmen producing souvenir products from metal. Since August 2022, it became a part of the “FORGE” Creative Industries Agency, which promotes local brands in and beyond Yugra.

PROBLEM ADDRESSED

Preserving local knowledge, skills and craftsmanship, raising awareness of the history and culture of the northern peoples of Khanty and Mansi, as well as the contemporary Yugra.

METHODS USED TO ADDRESS THE PROBLEM

The forge brings together various metal, wood, leather and bone workers. The project authors are doing research on the development of blacksmithing in the former Tobolsk Governorate. University and college students can come here for internships. People with disabilities are also welcome.

“We are constantly experimenting, working with blueprints and custom sketches, doing historical reconstructions. It is hard to put us in one line of business – we are a little bit about tourism, a little bit about recreation and education, even near industry. Each product is created with love and respect for people, our national traditions and natural resources,” project founder Ekaterina Tailakova says.

Ob Forge offers group tours, as well as workshops on making wrought-iron souvenir products (from nails to knives). The workshops are preceded by a lecture on the history of metalworking and the development of blacksmithing. Participants are introduced to the exhibits of the private Museum of Wrought-Iron Products and can examine, try on and photograph parts of reconstructed historic Spanish knight armor from the 15th-16th centuries.

Wrought-iron products can be purchased online through social networks and websites, in souvenir stores in different cities of Khanty-Mansi Autonomous Okrug – Yugra and Yamalo-Nenets Autonomous Okrug, as well as in various marketplaces in Russia and abroad.

In 2022, Ekaterina Tailakova and Anastasia Bondarenko designed a unisex aluminum jewelry collection with embossed words and expressions of the Khanty and Mansi languages. The project was supported by the staff of the A. P. Yadroshnikov Museum of Nature and Man in Russkinskaya, some of whom speak one of the dialects of the Khanty language.

The following phrases were selected to create the experimental collection, the first of which became the name of the project: “Guarded by Torum”, “Land of Torum”, “Goddess of Fire”, “Live in Peace”, “Warrior”, “Love”, “Friendship”, “Happiness”, “Luck”, “Fortune”, “Yugra – a Place of Power”.

The authors emphasize that the project “Guarded by Torum” has many meanings. “For those who speak Russian, we put transcriptions of words and entire phrases on the outside of the jewelry, with proper accents over them, so that a person can correctly convey the phonetics of the sonorous Khanty and Mansi languages. It is about working with oral heritage. For native speakers, we write the words in the letters of “their” dialects. The alphabets of the Khanty and Mansi peoples have “special” letters that are not part of the Cyrillic alphabet. This is how we work with the written heritage,” they explain.

FUNDS RAISED IN 2022

• A grant from the Creative Industries

Accelerator in the amount of 100,000 rubles (in the “Fashion” category), organized by the Yugra Entrepreneurship Support Fund “My Business”, the “Business Environment” platform with support from LUKOIL.

• A grant for social entrepreneurs from the Department of Economy of the Khanty-Mansi Autonomous Okrug – Yugra, in the amount of 500,000 rubles.

• 1.5 million rubles revenue from sales of products and services.

• The largest shopping mall in the district, Surgut City Mall, provided 4 wooden cabins in front of the main entrance to open a souvenir store, two craft workshops and a cultural center for the warm season.

ACCOMPLISHMENTS AND AWARDS

In 2022:

• Laureate of the All-Russian contest “100 Best Goods of Russia” in the nomination “Folk Arts and Crafts Products” (traditional Yakut ice shovel);

• Diploma winner of the contest “The Best Goods and Services of the Tyumen Region” (traditional Yakut ice shovel, Khanty knife);

• Winner of the “Yugra Business Leader” contest in the special nomination “For Contribution to Preservation and Development of Folk Arts and Crafts of Russia”;

• Winner of the contest “The Best Product of Yugra” in the category “National Crafts and Souvenirs”;

• Winner of the “Young Entrepreneur of Yugra” contest in the special category “Creative Business”;

• Diploma of the contest “The Best Social Project of the Year” in the special nomination of the Yugra Public Chamber (“Ob Forge: Expansion” project);

• Winner of the city contest “Entrepreneur of the Year” in the category “Business of Creative Industries” (Surgut, according to the results of 2021).

WHAT WAS DONE LAST YEAR

• Started working with the museum heritage – creating replicas of metal products (the Surgut Museum of Local Lore provided the collection to study the material);

• Started working with wax and materials derived from animals;

• Offered workshops on embossing of aluminum bracelets;

• Launched one-hour-long group tours of the forge;

• Presented the “Mobile Forge” and “Mobile Minting” services;

• Increased the number of self-employed people making handicrafts for the project.

DIRECT RESULTS FOR 2022

More than 1,000 new visitors and customers. The share of recurring visitors has also increased.

SOCIAL EFFECTS ACHIEVED IN 2022

• We conduct career guidance activities, students specializing in metalworking of Surgut Polytechnic College are familiar with us;

• We help craftsmen and artisans formalize self-employment and work legally; we accompany and assist them in obtaining support measures, grants and subsidies for business development;

• We are noticing a growing interest in blacksmithing, with an increasing number of visitors from other cities in neighboring regions and federal districts;

• We advise members of the Blacksmiths Guild of Russia on how to conduct their business competently and build stronger relationships with the authorities.

FINANCIAL SUSTAINABILITY MODEL

Workshops on blacksmithing have always been our core activity. During the pandemic, we shifted profile to producing medium-sized wrought-iron interior decoration items for suburban houses. Our products are sold on the Asian online marketplace, pinkoi.com, previously worked with etsy.com.

On August 17, 2022, we opened the “FORGE” Creative Industries Agency (autonomous non-profit organization) to be able to receive grant support. In addition, we monitor available measures of state support in the Khanty-Mansi Autonomous Okrug – Yugra (subsidies, reimbursements of costs, grants for entrepreneurs).

Примечания

1

Здесь и далее под оценкой понимается «систематический сбор информации о деятельности в рамках программы, ее характеристиках и результатах, который проводится для того, чтобы вынести суждение о программе, повысить эффективность программы и/или разработать планы на будущее». Источник: Patton, M. Q. (2008). Utilization-focused evaluation (4th ed.). Thousand Oaks: Sage Publications.

(обратно)

2

Wikipedia. (2022). Michael Quinn Patton. Retrieved from: https://en.wikipedia.org/wiki/Michael_Quinn_Patton.

(обратно)

3

Здесь и далее под оценщиком понимается специалист по оценке.

(обратно)

4

The Blue Marble – фотография планеты Земля, сделанная 7 декабря 1972 года экипажем космического корабля «Аполлон-17» с расстояния примерно в 29 тыс. км от поверхности Земли. Для астронавтов Земля имела размер и вид голубого марбла (игрушки, обычно представляющей собой цветной стеклянный шарик).

(обратно)

5

Hereinafter, evaluation is understood as “the systematic collection of information about the activities, characteristics, and outcomes of programs to make judgments about the program, improve program effectiveness, and/or inform decisions about future programming.” Source: Patton, M. Q. (2008). Utilization-focused evaluation (4th ed.). Thousand Oaks: Sage Publications.

(обратно)

6

Wikipedia. (2022). Michael Quinn Patton. Retrieved from: https://en.wikipedia.org/wiki/Michael_Quinn_Patton.

(обратно)

7

Hereinafter, an evaluator is defined as an evaluation specialist.

(обратно)

8

The Blue Marble is a photograph of Planet Earth taken on December 7, 1972 by the crew of Apollo 17 spacecraft from a distance of around 29,000 kilometers from the planet’s surface. For the astronauts, Earth was the size and appearance of a blue marble (a colored glass ball toy).

(обратно)

9

Wilensky, L. (1964). The professionalization of everyone? American Journal of Sociology, 70(2), 137–158. Ayoo, S., Wilcox, Y., LaVelle, J. M., Podems, D., & Barrington, G. V. (2020). Grounding the 2018 AEA Evaluator Competencies in the broader context of professionalization. In J. A King (Ed.), The American Evaluation Association’s Program Evaluator Competencies. New Directions for Evaluation, 2020, 13 30.

(обратно)

10

Heider, C. Professionalizing Evaluation. 28.04.2015. The World Bank Group. Retrieved from: https://ieg.worldbankgroup.org/blog/professionalizing evaluation. (accessed 01.03.2023).

(обратно)

11

АСОПП. (2017). Принципы оценки программ и политик АСОПП. Режим доступа: https://www.eval.ru/principles_of_evaluation. (дата доступа: 01.03.2023).

(обратно)

12

Canadian Evaluation Society. (2023). Evaluator Competencies. Retrieved from: https://evaluationcanada.ca/career/evaluator-competencies.html. (accessed 01.03.2023).

(обратно)

13

Гарант. ру. (2013) Постановление Правительства РФ от 22 января 2013 г. № 23 «О Правилах разработки, утверждения и применения профессиональных стандартов». Режим доступа: https://www.garant.ru/products/ipo/prime/doc/70204190/. (дата доступа: 01.03.2023).

(обратно)

14

Schwandt, T. A. (2017). Professionalization, Ethics, and Fidelity to an Evaluation Ethos. American Journal of Evaluation, 38(4), 546 553. https://doi.org/10.1177/1098214017728578.

(обратно)

15

Wilensky, L. (1964). The professionalization of everyone? American Journal of Sociology, 70(2), 137–158. Ayoo, S., Wilcox, Y., LaVelle, J. M., Podems, D., & Barrington, G. V. (2020). Grounding the 2018 AEA Evaluator Competencies in the broader context of professionalization. In J. A King (Ed.), The American Evaluation Association’s Program Evaluator Competencies. New Directions for Evaluation, 2020, 13 30.

(обратно)

16

Heider, C. Professionalizing Evaluation. 28.04.2015. The World Bank Group. Retrieved from: https://ieg.worldbankgroup.org/blog/professionalizing evaluation. (accessed 01.03.2023).

(обратно)

17

ASPPE. (2017). ASPPEPrinciples of Program and Policy Evaluation. Retrieved from: https://www.eval.ru/principles_of_evaluation. (accessed: 01.03.2023).

(обратно)

18

Canadian Evaluation Society. (2023). Evaluator Competencies. Retrieved from: https://evaluationcanada.ca/career/evaluator-competencies.html. (accessed 01.03.2023).

(обратно)

19

Garant.ru. (2013) Decree No.23 of the Government of the Russian Federation dated January 22, 2013 “On the Rules for the Development, Approval and Application of Professional Standards”. Retrieved from: https://www.garant.ru/products/ipo/prime/ doc/70204190/. (accessed: 01.03.2023).

(обратно)

20

Schwandt, T. A. (2017). Professionalization, Ethics, and Fidelity to an Evaluation Ethos. American Journal of Evaluation, 38(4), 546 553. https://doi.org/10.1177/1098214017728578.

(обратно)

21

С полным текстом актуализированной Позиции можно ознакомиться здесь: https://www.donorsforum.ru/reports/forum-donorov-obnovil-pozitsiyu-assotsiatsii-porazvitiyu-kultury-otsenki/.

(обратно)

22

The full text of the updated Policy Statement can be found here: https://www.donorsforum. ru/reports/forum-donorov-obnovil-pozitsiyu-assotsiatsii-po-razvitiyu-kultury-otsenki/.

(обратно)

23

Издание Американской ассоциации оценки.

(обратно)

24

Ассоциация специалистов по оценке программ и политик. (2023). Режим доступа: www.eval.ru. (дата доступа: 14.02.2023).

(обратно)

25

Создатели Альянса – Архангельский Центр социальных технологий «Гарант», компания «Процесс Консалтинг» (Москва) и Сибирский Центр поддержки общественных инициатив (Новосибирск).

(обратно)

26

Альянс #PROОЦЕНКУ. (2022). Режим доступа: http://www.proocenku.club/. (дата доступа: 14.02.2023).

(обратно)

27

Видеозаписи и материалы заседаний можно найти на сайте клуба http://www.proocenku.club/.

(обратно)

28

Publication of the American Evaluation Association.

(обратно)

29

Association of Program and Policy Evaluators. (2023). Retrieved from: www.eval.ru. (accessed: 14.02.2023).

(обратно)

30

The founders of the Alliance are Arkhangelsk Center of Social Technologies “Garant”, Process Consulting Company (Moscow), and the Siberian Civic Initiatives Support Center (SCISC, Novosibirsk).

(обратно)

31

#PROOCENKU Alliance. (2022). Retrieved from: http://www.proocenku.club/. (accessed: 14.02.2023).

(обратно)

32

Videos and materials from the meetings can be found on the Club’s website: http://www.proocenku.club/.

(обратно)

33

АНО «Эволюция и Филантропия». (2014). Оценка социальных результатов для социального предпринимательства. Обсуждение исследовательского проекта, подходов и перспектив. Презентация на Рабочей группе. Режим доступа: https://ep.org.ru/wp-content/uploads/2015/02/SE_social_results_2014.pdf. (дата доступа: 21.02.2023).

(обратно)

34

Evolution & Philanthropy ANO. (2014). Evaluation of social impact for social entrepreneurship. Discussion of the research project, approaches and prospects. Workgroup presentation. Retrieved from: https://ep.org.ru/wp-content/uploads/2015/02/SE_social_results_2014.pdf. (accessed: 21.02.2023).

(обратно)

35

Оценка регулирующего воздействия. Режим доступа: http://orv.gov.ru/. (дата доступа: 07.02.2023).

(обратно)

36

Аналитический вестник (2020). Издание Государственной Думы. Режим доступа: http://duma.gov.ru/media/files/vALRZNAAiosZvSEl2LtcE6KMBgqQVMzr.pdf. (дата доступа: 27.02.2023).

(обратно)

37

Davies, R. (2014). Social impact bonds Private finance that generates social returns. European Parliamentary Research Service. Retrieved from: https://www.europarl.europa.eu/thinktank/en/document/EPRS_BRI(2014)538223. (accessed 07.02.2023).

(обратно)

38

ВЭБ.РФ (2022). Участникам проектов социального воздействия. Режим доступа: https://xn-90ab5f.xn-p1ai/agent-pravitelstva/psv/uchastnikam/. (дата доступа: 07.02.2023).

(обратно)

39

Hawkins, R. (2018) What role do intermediaries play in pay for success? Urban Institute. Retrieved from: https://pfs.urban.org/pay-success/pfs-perspectives/what-role-do-intermediaries-play-pay-success. (accessed 07.02.2023).

(обратно)

40

Постановление Правительства Российской Федерации от 21 ноября 2019 г. № 1491 «Об организации проведения субъектами Российской Федерации в 2019–2024 годах пилотной апробации проектов социального воздействия».

(обратно)

41

Согласно п. 1 ст. 241 к таким категориям граждан относятся: лица с ограниченными возможностями здоровья, одинокие или многодетные родители, пенсионеры и люди предпенсионного возраста, выпускники детских домов, беженцы, малоимущие, без определённого места жительства и занятий.

(обратно)

42

Regulatory Impact Assessment. Retrieved from: http://orv.gov.ru/. (accessed: 07.02.2023).

(обратно)

43

Analytical Bulletin (2020). The State Duma Publication. Retrieved from: http://duma.gov.ru/media/files/vALRZNAAiosZvSEl2LtcE6KMBgqQVMzr.pdf. (accessed: 27.02.2023).

(обратно)

44

Davies, R. (2014). Social impact bonds: Private finance that generates social returns. European Parliamentary Research Service. Retrieved from: https://www.europarl.europa.eu/thinktank/en/document/EPRS_BRI(2014)538223. (accessed 07.02.2023).

(обратно)

45

VEB.RF (2022). To participants in social impact projects. Retrieved from: https://xn-90ab5f.xn-p1ai/agent-pravitelstva/psv/uchastnikam/ (accessed: 07.02.2023).

(обратно)

46

Hawkins, R. (2018) What role do intermediaries play in pay for success? Urban Institute. Retrieved from: https://pfs.urban.org/pay-success/pfs-perspectives/what-role-do-intermediaries-play-pay-success. (accessed 07.02.2023).

(обратно)

47

Resolution of the Government of the Russian Federation No.1491 of 21 November 2019 “On the Organization of Pilot Testing of Social Impact Projects by the Constituent Entities of the Russian Federation in 2019–2024.

(обратно)

48

According to paragraph 1 of Article 241, these categories include persons with disabilities, single parents or parents with many children, senior citizens and people of preretirement age, orphanage graduates, refugees, indigent people, homeless persons and persons without a definite place of residence and occupation.

(обратно)

49

Северсталь. (2023). Содействие развитию регионов и сообществ. Режим доступа: https://severstal.com/rus/sustainable-development/social/community/. (дата доступа: 01.03.2023).

(обратно)

50

Благотворительный фонд «Дорога к дому». (2023). Конкурс социальных проектов Благотворительного фонда «Дорога к дому» на 2023 год. Режим доступа: https://socialprojects.dorogakdomu.ru/. (дата доступа: 06.03.2023).

(обратно)

51

Программа «Дорога к дому». (2023). Ресурсно-методический центр БФ «Дорога к дому»: мы изучаем проблемы, вы предлагаете решения. Режим доступа: https://dorogakdomu.ru/resursno-metodicheskij-czentr-bf-doroga-k-domu-my-izuchaem-problemy-vy-predlagaete-resheniya/. (дата доступа: 06.03.2023).

(обратно)

52

YouTube.com. (2021). Мастерская Алены Богомоловой «Подходы к мониторингу и оценке деятельности в сфере защиты детства». Режим доступа: https://youtu.be/vSc2K5iymWY. (дата доступа: 06.03.2023).

(обратно)

53

Все документы, регламентирующие проведение конкурса для заявителя, размещены на сайте конкурса. Доступ по ссылке: https://socialprojects.dorogakdomu.ru/.

(обратно)

54

Severstal. (2023). Promoting regional and community development. Retrieved from: https://severstal.com/rus/sustainable-development/social/community/. (accessed: 01.03.2023).

(обратно)

55

The Road Home Charitable Foundation. (2023). 2023 social projects competition of the Road Home Charitable Foundation. Retrieved from: https://socialprojects.dorogakdomu.ru/. (accessed: 06.03.2023).

(обратно)

56

The Road Home Program. (2023). The Road Home Charitable Foundation’s Resource and Methodology Center: we study problems, you offer solutions. Retrieved from: https://dorogakdomu.ru/resursno-metodicheskij-czentr-bf-doroga-k-domu-my-izuchaem-problemy-vy-predlagaete-resheniya/. (accessed: 06.03.2023).

(обратно)

57

YouTube.com. (2021). Alena Bogomolova’s workshop “Approaches to Monitoring and Evaluating Child Welfare Activities.” Retrieved from: https://youtu.be/vSc2K5iymWY. (accessed: 06.03.2023).

(обратно)

58

All documents regulating the competition for the applicant are posted on the competition website. Available at: https://socialprojects.dorogakdomu.ru/.

(обратно)

59

Sport for Development. (2023). Retrieved from: https://www.sport-for-development.com/home. (accessed 30.01.2023).

(обратно)

60

Sportanddev.org. (2023). Retrieved from: https://www.sportanddev.org/en. (accessed 30.01.2023).

(обратно)

61

UNICEF. (2019). Getting into the Game. Understanding the evidence for child-focused sport for development. Retrieved from: https://www.unicef-irc.org/getting-into-the-game. (accessed 30.01.2023).

(обратно)

62

United Nations. (2003). Sport for development and peace: Towards achieving the millennium development goals. Report from the United Nations Inter-Agency Task. Force on Sport for Development and Peace. Retrieved from: https://www.sportanddev.org/sites/default/files/downloads/16_sport_for_dev_towards_millenium_goals.pdf. (accessed 30.01.2023). https://doi.org/10.18356/b7ee7a39-en.

(обратно)

63

Sportanddev.org. (2019). Measuring the contribution of sport, physical education and physical activity to the Sustainable Development Goals. Retrieved from: https://www. sportanddev.org/en/toolkit/sport-and-development-policy/policy-monitoring-and-evaluation. (accessed 30.01.2023).

(обратно)

64

Sport New Zealand. (2023). The value of sport. Retrieved from: https://sportnz.org.nz/resources/the-value-of-sport/. (accessed 30.01.2023).

(обратно)

65

European Commission. (2012). Study on the Contribution of Sport to Economic Growth and Employment in the EU. Retrieved from: https://ec.europa.eu/assets/eac/sport/library/studies/study-contribution-spors-economic-growth-final-rpt.pdf. (accessed 30.01.2023).

(обратно)

66

European Commission. (2020). Contribution of sport to regional development through Cohesion Policy 2021–2027. SHARE initiative research paper. Retrieved from: https://keanet.eu/wp-content/uploads/SHARE-The-contribution-of-sport-to-regional-development-through-CP-2021–2027-FINAL.pdf. (accessed 30.01.2023).

(обратно)

67

Арманд, Н. (2020). Суд приговорил Романа Широкова к обязательным работам за избиение судьи. Режим доступа: https://sportrbc.ru/news/5fe5d56a9a7947e4123b977e. 25.12.2020. (дата доступа: 30.01.2023).

(обратно)

68

UEFA. (2019). The UEFA Grow SROI Model: Valuing the Impact of Football Participation in Europe. Retrieved from: https://www.knvb.nl/downloads/bestand/26276/uefa-sroi-final-report. (accessed 30.01.2023).

(обратно)

69

Social Value UK. (2023). Retrieved from: https://socialvalueuk.org/. (accessed 30.01.2023).

(обратно)

70

Sport for Development. (2023). Retrieved from: https://www.sport-for-development.com/home. (accessed 30.01.2023).

(обратно)

71

Sportanddev.org. (2023). Retrieved from: https://www.sportanddev.org/en. (accessed 30.01.2023).

(обратно)

72

UNICEF. (2019). Getting into the Game. Understanding the evidence for child-focused sport for development. Retrieved from: https://www.unicef-irc.org/getting-into-the-game. (accessed 30.01.2023).

(обратно)

73

United Nations. (2003). Sport for development and peace: Towards achieving the millennium development goals. Report from the United Nations Inter-Agency Task. Force on Sport for Development and Peace. Retrieved from: https://www.sportanddev.org/sites/default/files/downloads/16_sport_for_dev_towards_millenium_goals.pdf. (accessed 30.01.2023). https://doi.org/10.18356/b7ee7a39-en.

(обратно)

74

Sportanddev.org. (2019). Measuring the contribution of sport, physical education and physical activity to the Sustainable Development Goals. Retrieved from: https://www. sportanddev.org/en/toolkit/sport-and-development-policy/policy-monitoring-and-evaluation. (accessed 30.01.2023).

(обратно)

75

Sport New Zealand. (2023). The value of sport. Retrieved from: https://sportnz.org.nz/resources/the-value-of-sport/. (accessed 30.01.2023).

(обратно)

76

European Commission. (2012). Study on the Contribution of Sport to Economic Growth and Employment in the EU. Retrieved from: https://ec.europa.eu/assets/eac/sport/library/studies/study-contribution-spors-economic-growth-final-rpt.pdf. (accessed 30.01.2023).

(обратно)

77

European Commission. (2020). Contribution of sport to regional development through Cohesion Policy 2021–2027. SHARE initiative research paper. Retrieved from: https://keanet.eu/wp-content/uploads/SHARE-The-contribution-of-sport-to-regional-development-through-CP-2021–2027-FINAL.pdf. (accessed 30.01.2023).

(обратно)

78

Armand, N. (2020). Roman Shirokov Sentenced to Compulsory Work for Beating a Referee. Retrieved from: https://sportrbc.ru/news/5fe5d56a9a7947e4123b977e. 25.12.2020. (accessed: 30.01.2023).

(обратно)

79

UEFA. (2019). The UEFA Grow SROI Model: Valuing the Impact of Football Participation in Europe. Retrieved from: https://www.knvb.nl/downloads/bestand/26276/uefa-sroi-final-report. (accessed 30.01.2023).

(обратно)

80

Social Value UK. (2023). Retrieved from: https://socialvalueuk.org/. (accessed 30.01.2023).

(обратно)

81

Ежегодные каталоги «Социальное предпринимательство России» (2014–2020) можно скачать на сайте soindex.ru

(обратно)

82

Annual issues of the "Social Entrepreneurship in Russia" catalog for 2014–2020 can be downloaded at www.soindex.ru

(обратно)

Оглавление

От редакции

From the Editor

Гость номера / Special Guest

  «Если ты используешь оценку, то принимаешь решения лучше и помогаешь людям больше». Интервью с Майклом Пэттоном

  “If You Use Evaluation You Make Better Decisions and Help People More.” Interview with Michael Patton

Экспертные мнения / Expert Opinions

  Без стандартов, но по призванию. Является ли оценка проектов и программ профессией?

  No Standards, Just Calling. Is Project and Program Evaluation a Profession?

  Оценка в настоящем и будущем: взгляд грантодающих организаций

  The Present and the Future of Evaluation: The Donors’ View

Экспертные статьи / Expert Publications

  «Сделай сам»: как НКО оценивать проекты своими силами

  “Do it yourself:” How NGOs Evaluate Projects Using Their Own Resources

  Союз дела и денег. Оценка экономической устойчивости проектов в области социального предпринимательства

  The Union of Business and Money. Evaluation of the Economic Sustainability of Social Entrepreneurship Projects

  Законным путем. Оценка фактического воздействия в части социальных инвестиций в России и мире

  By Way of Law. Assessment of the Actual Impact of Social Investment Projects in Russia and Worldwide

Кейс выпуска / The Case of the Issue

  Как устроен лучший грантовый конкурс социальных проектов 2022 года. Опыт фонда «Дорога к дому»

  How the Best Social Projects Grant Competition 2022 Works. The Road Home Foundation’s Case

Исследования / Research Studies

  Сила спорта. Оценка проектов в сфере физической культуры и массового спорта

  The Power of Sport. Evaluation of Projects in the Field of Physical Culture and Grassroots Sport

Новая жизнь издательского проекта «Каталог «Социальное предпринимательство России»

New Life of the Publishing Project “Catalog “Social Entrepreneurship of Russia”

*** Примечания ***