Методы оценки конкурсных предложений

 

Победителем стал Поставщик 4, худшее предложение – Поставщика 1.

Казалось бы, выбор достаточно объективен. Однако, предположим, что  одна из компаний, причем не особо и претендующая на победу, например наш “аутсайдер” Поставщик 1, имела бы более высокую квалификацию (при этом ничего в предложениях других участников и системе оценки не меняется).

Увеличим число контрактов, выполненных Поставщиком 1 с 16 до 50. Обратим особо внимание на то, что ничего в предложениях остальных, в том числе и двух лидирующих, поставщиков не изменилось, но… (см. Таблицу 3.6.)

 

Таблица 3.6. Изменение  победителя при манипулировании  балльным методом

Критерий	Коэффициент		Поставщик		Поставщик	Поставщик	Поставщик
	весомости		1		2	3	4
	критерия
1. Цена (млн. руб)	0,8		1,5		1,4	1,06	1,15
В баллах			0		3,27	10	8,95
В баллах с			0		2,62	8	7,16
учетом
весомости
2. Опыт работы	0,2		50		7	5	19
(число
контрактов)
В баллах			10		1,44	0	4.11
В баллах с учетом			2		2,88	0	0,82
весомости
Суммарная			2		2,91	8	7,98
оценка
Место			IV		III	I	II

 

 

 

 

 

 

 

 

… победитель сменился!

Причина в том, что увеличение числа контрактов у первого поставщика «растянуло» количественную шкалу, а потому различие в баллах у остальных поставщиков заметно уменьшилось.

Получается что, об объективности  выбора можно говорить можно только с рядом ограничений. Более того, открываются широкие возможности для манипуляции его результатом, например путем введения в оценку лишних критериев, по которым предложение «нужного» поставщика заметно выделяется, или использование фиктивных предложений, способных сместить результаты оценки в нужном для злоумышленника направлении.

Однако не все так плохо, как может показаться. Во-первых, можно использовать балльный метод на основе рассмотренного нами выше экспертного установления интервалов значений. Во-вторых, можно перед расчетами исключать из рассмотрения поставщиков, показатели предложений которых сильно отличаются от средних значений.

Еще одним из возможных  выходов является сравнение показателей  с “эталоном” - значением, установленным заказчиком на основе анализа рыночного предложения или результатами ранее проведенных закупок.

Проблемы балльного метода на этом, увы, не ограничиваются. Существуют и иные возможности умышленного (или по недосмотру) манипулирования результатами конкурса.

Так, некоторые специалисты  по закупкам считают, что не всегда следует устанавливать веса критериев до проведения конкурса – следует сначала изучить предложения, и лишь на их основе понять, по каким параметрам проводить их сопоставление. Когда речь идет о закупках сложной продукции, особенно новейших разработок или консультационных услуг, в некоторых случаях это действительно может быть оправдано.

Однако в это случае организатор конкурса имеет широкие возможности для нечестной игры. Так, изменение весов критериев вполне может привести к смене победителя (см. таблицу 3.7.)

Таблица 3.7. Изменение  победителя при манипулировании  весами.

		Предложение 1				Предложение 2				Предложение 3
Оцениваемые		Цена	Квалиф.			Цена	Квалиф.			Цена	Квалиф.
критерии (в		7	9			8		9		9	7
баллах, из 10):
цена и
квалификация
Веса: 0,9 и 0,1		6,3	0,9			7,2		0,9		8,1	0,7
Итого		7,2 – третье место				8,1 – второе место				8,8 – победитель
Веса: 0,6 и 0,4		4,2	3,6			4,8		3,6		5,4	2,8
Суммарная оценка		7,8 – третье место				8,4 – победитель				8,2 – второе место

 

Разумеется, рассматриваемый  пример условный и потому сильно упрощен. На практике используется гораздо больше критериев, но именно по этой причине результатами можно довольно легко манипулировать, лишь незначительно меняя те или иные веса.

 

Основные этапы  балльной оценки.

Рассмотрим алгоритм (основные этапы) проведения балльной оценки (см. рис.3.6.).

1. Определение 1.1. Определяются требования к закупаемой продукции

 

оцениваемых    (работам, услугам).

критериев

 

(требований)

 

1.2. На основе этих требований  формулируется

 

перечень оцениваемых  критериев.

 

 

 

2. Определение 2.1. Определяется, выполнение каких

 

значимости критериев сформулированных выше критериев, является

обязательным, а каких  – желательным.

 

2.2. Определяется значимость (удельный вес) каждого

 

критерия (вес каждого  критерия оценивается экспертом

 

на основе результатов  исследования, полученных на

 

первом этапе) или нормативам/стандартам (в случае их

 

 

3. Оценка 3.1. Проверяется соответствие предложений

 

предложений обязательным критериям. При несоответствии

предложение отклоняется  без дальнейшего

 

рассмотрения (каждый критерий оценивается по 10

 

балльной шкале. Оценка ниже 5 баллов –

неудовлетворительная).

 

3.2. Оценивается каждое  из оставшихся предложений

 

(оценки от 0 до 10 по каждому  из оцениваемых

критериев).

 

 

3.3. Производится взвешенное  суммирование

 

 

 

 

4. Определение 4.1. Если все предложения не соответствуют

 

победителя    обязательным критериям – пересматривается система

 

критериев, возвращаясь к  п. 2., либо все предложения

 

отклоняются

 

4.2. Предложения ранжируются  по результатам оценки.

 

 

4.3. Анализируется достоверность  информации о лучшем предложении  – насколько формальные показатели  соответствуют реальным возможностям  претендента. При низком уровне  достоверности, особенно по обязательным  критериям, предложение отклоняется  и рассматривается следующее  по предпочтительности

 

Рис. 3.6. Основные этапы балльной оценки

 

Преодоление эффекта  компенсации в балльном методе

Как отмечалось выше, одной  из проблем бального метода является выбор не самого лучшего предложения, вследствие компенсации недостатков  по важным критер достоинствами по второстепенным. Мы уже рассмотрели возможность выхода из подобной ситуации за счет экспертной оценки используемых критериев.

Этот эффект можно сгладить путем использования мягкого  рейтинга и ограничений на возможные  значения критериев. Однако существуют и математические методы, позволяющие  решить эту задачу с достаточно хорошими результатами. Рассмотрим один из них⁶⁷.

Для того чтобы избежать перекосов, возникающих в результате эффекта компенсации, следует учитывать  долю вклада каждого из критериев  в суммарную оценку. Расчет производится по формуле :

 

Д ij =	b j × Бij	,	(1)
	Бi∑

где  Д _ij  -доля вклада j-го критерия (показателя) в суммарную оценку i-го предложения;

2. _j  – коэффициент весомости j-го критерия (показателя);
• _ij  – балльная оценка j-го критерия (показателя) для i-го предложения;

n

Бi∑ =   ∑ b j

× Бij  - суммарная оценка i-го предложения

j =1

n – число критериев (показателей).

Теперь   можно   оценить   разницу   между   идеальным

предложением (для   которого

значение всех критериев  максимально) и реальными предложениями следующим образом:

1

n

Pi∑

=

∑

b j - Д ij

,

(2)

2

j =1

Pi∑

- характеризует долю в суммарной оценке предложенияБi∑ , которая возникает за

n

Pi∑

∑

b j - Дij

ki∑

=

=

j =1

,

(3)

1 - bmin

2 × (1 - bmin )

 

n
Бiут∑ = (1 - ki∑ ) × Бi∑ = (1 - ki∑ ) × ∑b j × Бij	(4)

j =1

 

Рассмотрим применение этого  способа на примере (см. таблицу 3.8.)

 

Таблица 3.8. Результаты расчетов уточненных оценок

 

		Критерии			Коэффициен			Единица			Значения критерия для  различных
					т весомости
								измерения				поставщиков
					критерия
								критерия
													Номер поставщика
											Идеальное	1		2	3		4
1.		Цена предмета конкурса		0,8				млн.  руб.				1,161		1,38	1,1		0,988
		с учетом сроков
		осуществления платежей
		Количество баллов						балл		10		6,03		1	7,43		10
		Количество баллов с						балл		8		4,82		0,8	5,944		8
		учетом весомости
		Доля в суммарной								0,8		0,88		0,624	0,76		0,994
		оценке (ф-ла 1)
2.		Предложения по		0,15				сутки				10		5	30		–
		ускорению выполнения
		контракта - сокращение
		сроков поставок
		Количество баллов						балл		10		2,8		1	10		0
		Количество баллов с						балл		1,5		0,42		0,15	1,5		0
		учетом весомости
		Доля в суммарной								0,15		0,077		0,117	0,192		0,0
		оценке (ф-ла 1)
3.		Опыт выполнения		0,03				контракт				4		5	10		2
		аналогичных контрактов
		- количество
		выполненных контрактов
		Количество баллов						балл		10		3,25		4,375	10		1
		Количество баллов с						балл		0,3		0,098		0,131	0,3		0,03
		учетом весомости
		Доля в суммарной								0,03		0,018		0,10	0,04		0,004
		оценке (ф-ла 1)
4.		Наличие		0,02				—				0,4		0,5	0,3		0,2
		мобилизационных
		мощностей – доля от
		общей производственной
		мощности (приведенная)
		Количество баллов						балл		10		7		10	4		1
		Количество баллов с						балл		0,2		0,14		0,2	0,08		0,02
		учетом весомости
		Доля в суммарной								0,02		0,026		0,156	0,01		0,002
		оценке (ф-ла 1)
5.	Суммарная оценка						балл			10		5,48		1,281	7,823	8,05
	предложений
	поставщиков
	Разница с “идеальным”									0		0,086		0,21	0,05	0,194
	предложением (ф-ла 2)
	Коэффициент потерь от									0		0,087		0,213	0,051	0,198
	компенсации (ф-ла 3)
	Уточненная оценка (ф-									10		5,00		1,1	7,42	6,46
	ла 4)