Сравнительный анализ организации независимой оценки качества образования в субъектах РФ

Пуденко Т.И.,

доктор экономических наук, зав. лабораторией управления образовательными системами ФГБНУ «ИУО РАО»

Суева Ю.В.,

научный сотрудник лаборатории управления образовательными системами ФГБНУ «ИУО РАО»

Сравнительное исследование региональных систем независимой оценки качества образования (НОКО) проводилось в 2016 году научным коллективом федерального государственного бюджетного научного учреждения «Институт управления образованием Российской академии образования». Цель исследования – выявить различия в организационном потенциале созданных субъектами РФ систем НОКО. Критериальная база оценки организации НОКО в регионах привязана к единым, нормативно закрепленным требованиям, прежде всего, к нормам статьи 95 «Независимая оценка качества образования» Федерального закона № 273-ФЗ «Об образовании в Российской Федерации».

В соответствии с разработанной Методикой (2016-1.0) был реализован формат сплошного обследования всех субъектов Российской Федерации. По факту, исследованием были охвачены 83 субъекта РФ, за исключением Республики Ингушетия и Кировской области, где на момент сбора информации официальные сайты органов управления образованием находились в неактивном состоянии. Использованные в анализе данные отражают ситуацию на момент сбора первичной информации, а именно на апрель – май 2016 года.

Оценка проводилась на основе 4 критериев:

1 — открытость и доступность информации о независимой оценке качества образования;

2 — полнота условий для независимой оценки качества подготовки обучающихся;

3 — качество критериев независимой оценки образовательной деятельности организаций;

4 — качество организационных механизмов независимой оценки образовательной деятельности организаций.

В соответствии с методикой сравнительный анализ региональных систем НОКО проводился как по отдельным критериям (с расчетом соответствующих индексов), так и на основе обобщенной оценки с расчетом индекса развития организационного потенциала региональных систем НОКО.

Обработка и анализ полученных данных показал, что распределение значений частных индексов (по каждому из 4 критериев) и обобщенного индекса достаточно вариативно, но не позволяет ранжировать регионы с присуждением им определенного места, поскольку во многих случаях значения индексов нескольких субъектов РФ совпадают.

Это обусловило выбор формы представления результатов оценки в виде таблицы лиг.

Вся совокупность значений каждого индекса в отдельности и обобщенного индекса была разделена на 4 лиги:

1 лига – регионы-лидеры;

2 лига – успешные регионы;

3 лига – отстающие регионы;

4 лига – регионы-аутсайдеры.

Граница отсечения определялась по каждому индексу в отдельности в зависимости от специфики распределения значений (например, по максимальному разрыву, по модальному значению и др.), что отражает актуальное состояние определенных характеристик региональных систем независимой оценки качества образования.

Анализ показал, что при создании независимой системы оценки качества образования наиболее успешно регионам удалось решить комплекс задач информирования общества. Распределение субъектов РФ по значению индекса открытости и доступности информации о НОКО (рис. 1) показывает, что 55 регионов (или 66% всей совокупности) имеют значения индекса свыше 0,75.

При этом 6 субъектов РФ – Республика Коми, Республика Саха (Якутия), Удмуртская Республика, Краснодарский край, Тамбовская область и Тульская область – показали максимальное значение, равное 1. В этих субъектах отмечен наиболее полный комплекс информационных условий: наличие специальной страницы (раздела) по независимой оценке качества образования на официальном сайте органа управления образованием субъекта РФ; информация собрана на одном электронном ресурсе и является актуальной (не ранее 2015 года); представлена нормативная база НОКО федерального и регионального уровней; в открытом доступе есть сведения об общественном совете по НОКО и назначенном операторе; размещена информация о критериях и показателях оценки качества, о графике проведения оценки и о перечне образовательных организаций, подлежащих оценке в текущий период; представлены результаты независимой оценки качества и предложения по улучшению образовательной деятельности образовательных организаций.

 

Рис. 1

Таким образом, в 1 лигу по индексу открытости и доступности информации о НОКО попали 6 субъектов РФ, еще 49 субъектов вошли в лигу успешных регионов.

В то же время, в лигу аутсайдеров попали 6 субъектов, поскольку 3 субъекта РФ (Ненецкий автономный округ, ХМАО, г. Севастополь) показали значение индекса открытости и доступности информации о НОКО равное 0, и еще 3 субъекта РФ (Республика Дагестан, Автономная Республика Крым, Чукотский автономный округ) имеют значение равное 0,08.

Остальные 22 региона по значениям данного индекса были отнесены к лиге отстающих.

Распределение субъектов РФ по индексу открытости и доступности информации по НОКО представлено в таблице 1.

Таблица 1

Распределение субъектов РФ по индексу открытости и доступности информации о НОКО

Анализ выявил, что хуже всего в настоящее время обстоит дело с созданием условий для независимой оценки качества подготовки обучающихся. Предоставленное Законом право пройти независимое тестирование для проверки качества образовательных результатов по инициативе самих обучающихся, их родителей, иных участников образовательных отношений, может быть реализовано при создании специальных организационных условий в виде независимого центра тестирования либо отдельного направления деятельности региональных центров оценки качества образования.

Проведенное исследование показало, что по данному критерию наблюдается самая низкая вариативность значений индекса (рис.2), а модальное (типичное) значение равно 0.

В этой связи таблица лиг по индексу наличия в регионах условий для независимой оценки качества подготовки обучающихся была представлена только 3 группами: лидеры, успешные, аутсайдеры.

На диаграмме видно, что 86% субъектов РФ не создали организационных условий для независимой оценки качества подготовки обучающихся по инициативе граждан. В настоящее время даже в административных центрах подавляющего числа субъектов РФ отсутствуют организации, предоставляющие подобные услуги. Таким образом, наиболее представительной оказалась группа регионов – аутсайдеров, что, безусловно, отражает специфику актуальной ситуации с обеспечением возможности независимой оценки качества подготовки обучающихся в инициативном порядке.

Немногочисленная группа из 10 регионов предлагает тестовые проверки в разных форматах, включая инициативное тестирование при подготовке к ЕГЭ и ОГЭ. Даже такая активность может расцениваться как успех на фоне почти тотального отсутствия организационных условий для независимой оценки качества подготовки обучающихся. Поэтому данная группа была отнесена ко второй лиге.

Исключение составили 2 субъекта РФ: Москва, где созданы организационные условия и перечень образовательных программ, по которым проводится инициативное тестирование, продолжает расширяться (индекс равен 1) и Саратовская область, которая показала значение индекса, близкое к максимальному (0,83). Эти два региона были признаны лидерами и вошли в 1 лигу по данному индексу.

Рис. 2

Распределение субъектов РФ по индексу полноты условий для независимой оценки качества подготовки обучающихся представлено в таблице 2.

Таблица 2

Распределение субъектов РФ по индексу полноты условий для независимой оценки качества подготовки обучающихся

Несколько лучшая, но все же недостаточно позитивная, картина выявилась в отношении критериев НОКО, используемых в настоящее время субъектами РФ. Распределение регионов по значению индекса качества критериев независимой оценки образовательной деятельности организаций показывает, что здесь также высока доля субъектов с нулевым значением индекса (рис. 3). Эти субъекты (28% от всех, прошедших оценку) составили лигу аутсайдеров.

Рис. 3

При оценке качества критериев нас интересовали 2 аспекта. Первый аспект – насколько полно в регионах используются общие критерии НОКО, установленные ст. 95 Закона «Об образовании в Российской Федерации», а также рекомендованные Минобрнауки России показатели, содержательно наполняющие эти критерии. Второй аспект – распространенность практики разработки и использования собственных дополнительных региональных критериев оценки деятельности организаций, реализующих образовательные программы.

Исследование выявило, что только 16 субъектов РФ воспользовались предоставленной Законом возможностью ввести дополнительные к общим критерии оценки образовательной деятельности организаций, обнаружив активную позицию и готовность проводить оценку качества образования с учетом своих региональных приоритетов и требований к образовательным организациям. В подавляющем большинстве субъектов содержательная сторона оценки осталась за границами внимания органов управления, что показало определенную формальность подхода к независимой оценке качества образования.

Оказалось, что вариативность значений данного индекса не велика, однако содержательный анализ полученных регионами баллов, привел к выводу, что в первую лигу можно включить не только абсолютных лидеров по значению индекса качества критериальной базы оценки (Ленинградскую область, Оренбургскую область и Республику Адыгея), но и группу субъектов, имеющих несколько меньшие значения индекса, а именно: Ростовскую область, Хабаровский край, Магаданскую область. Правомерность включения последних субъектов в 1 лигу обоснована тем, что данные регионы используют критериальную базу оценки деятельности образовательных организаций, включающую как нормативно установленные критерии и показатели, так и дополнительные региональные критерии и показатели оценки.

В то же время, среди 16 регионов, которые ввели дополнительные региональные критерии оценки качества деятельности образовательных организаций, выявилась группа субъектов РФ, которые, судя по открытой информации, не используют установленные общие критерии оценки и рекомендованные Минобрнауки РФ показатели, раскрывающие эти критерии.

В частности, Республика Башкортостан (не использует установленные общие критерии и показатели оценки), Республика Якутия, Владимирская область и г. Москва (не используют показатели оценки, установленные Минобрнауки), Красноярский край, Пермский край, Белгородская, Томская, Рязанская, Свердловская области (частично использовали нормативно установленные общие критерии и показатели оценки).

Это обстоятельство не позволило отнести выше перечисленные регионы к группе лидеров, несмотря на высокую значимость проявленной инициативной позиции руководства в использовании своих региональных критериев.

Выделение группы успешных и группы отстающих регионов проходило по границе значения индекса, равного 0,5. Вторая лига включила 47 субъектов РФ, а 3 лига – 7 субъектов РФ.

Распределение субъектов РФ по индексу качества критериев независимой оценки образовательной деятельности организаций представлен в таблице 3.

Таблица 3

Распределение субъектов РФ по индексу качества критериев независимой оценки образовательной деятельности организаций

Анализ региональных моделей НОКО по критерию качества организационных механизмов независимой оценки образовательной деятельности организаций показал относительно низкую вариативность значений соответствующего индекса (рис. 4).


Рис. 4

Наиболее качественными оказались организационные механизмы в 3 субъектах РФ – Ленинградской области, Забайкальском крае и Липецкой области, хотя значения соответствующего индекса в этих регионах далеки от 1. Эти субъекты РФ были отнесены к лидерам по данному критерию оценки и вошли в 1 лигу. Высокие баллы группе лидеров обеспечены тем, что в этих регионах созданы базовые организационные условия: обновлен состав общественного совета с учетом задач НОКО, нормативно оформлено назначение регионального оператора, создана техническая возможность выражения мнений гражданами о качестве образовательной деятельности конкретных образовательных организаций и т.д.

Судя по официальным сайтам органов управления образованием четырех субъектов РФ (Ненецкий автономный округ, ХМАО, Чукотский автономный округ и г. Севастополь), в них отсутствуют даже минимально необходимые организационные условия для проведения НОКО. Эти регионы образовали группу аутсайдеров, то есть, вошли в 4 лигу.

Во всех остальных субъектах РФ выявилась достаточно пестрая картина, демонстрирующая различную степень активности органов управления образованием по отдельным направлениям работы, фрагментарность их организационных усилий, что, в целом, соответствует разным управленческим стратегиям – от лидерской до исполнительской.

Границей отсечения при формировании 2 и 3 лиги было выбрано значение индекса качества организационных механизмов НОКО равное 0,5. При этом 2 лига стала наиболее многочисленной (в нее вошли 54 региона), что, в целом, характеризует работу подавляющего большинства субъектов РФ по созданию организационных условий НОКО как успешную. В группу отстающих (3 лига) были включены 22 региона, которые, как правило, отличаются недостаточно качественной нормативной базой, не провели обновления общественных советов, а также имею иные организационные недоработки.

Распределение субъектов РФ по индексу качества организационных механизмов независимой оценки образовательной деятельности организаций представлен в таблице 4.

Таблица 4

Распределение субъектов РФ по индексу качества организационных механизмов независимой оценки образовательной деятельности организаций

Если обратиться к обобщенному индексу, характеризующему уровень развития организационного потенциала систем независимой оценки качества образования, рассчитанному на основе представленных выше частных индексов, то он показывает более сглаженную картину, выравнивающую те различия, которые проявились в оценке региональных систем НОКО по отдельным критериям (рис. 5).

Рис. 5

При том, что на диаграмме виден сдвиг вправо к более высоким значениям обобщенного индекса, при том, что больше половины субъектов РФ показывает значение индекса выше 0,5, достигнутый максимум составляет 0,72. Лидерами оказались 3 региона – Саратовская область, г. Москва и Удмуртская Республика, которые показали минимальные различия в значении общего индекса.

Более детальный анализ полученных данных свидетельствует, что региональные органы управления образованием, в целом, выполняют основные требования к организации независимой оценки качества образования в той части, которая имеет нормативное закрепление и контролируется федеральными органами власти и управления. Не случайно, наиболее высокие результаты отмечены по критерию открытости и доступности информации о НОКО. Снижение индексов организации независимой оценки качества образования происходит там, где существуют стратегические «развилки» для региональных органов управления образованием: ограничиться формальным проведением оценки в соответствии с нормативными требованиями или использовать новые возможности для более объективной оценки качества образования.

Итоговая картина позиционирования субъектов РФ в этом многоаспектном пространстве независимой оценки качества образования представлена в виде рэнкинга, где каждый из субъектов может увидеть свою позицию по отдельным критериям оценки, а также по обобщенному индексу, отражающему уровень развития организационного потенциала региональной системы НОКО в сравнении с другими регионами. Расположение субъектов РФ осуществлено на основе ранжирования по значению общего индекса (табл. 5).

В целом, рэнкинг показывает, в какой степени удалось к настоящему времени в масштабах всей страны сформировать независимую систему оценки качества образования в сравнении с замыслом федерального уровня. Просматриваются и направления дальнейшей работы каждого субъекта РФ для того, чтобы реально были повышены информированность и доверие граждан к системе образования, их удовлетворенность качеством образования.

Таблица 5

Сравнительная характеристика организации независимой оценки качества образования (НОКО) в субъектах РФ