KIO 69/12

Sygn. akt: KIO 69/12 WYROK z dnia 24.01.2012 r. Krajowa Izba Odwoławcza - w składzie: Przewodniczący: Ryszard Tetzlaff Protokolant: Paulina Nowicka po rozpoznaniu na rozprawie w Warszawie w dniu 24.01.2012 r. odwołania wniesionego do Prezesa Krajowej Izby Odwoławczej w dniu 09.01.2012 r. przez wykonawcę Fundacja Naukowa Instytut Badań Strukturalnych, ul. Rejtana 15/24, 25, 02-516 Warszawa w postępowaniu prowadzonym przez Skarb Państwa - Centrum Rozwoju Zasobów Ludzkich, ul. Tamka 3, 00-349 Warszawa przy udziale wykonawcy Uniwersytet Mikołaja Kopernika w Toruniu, ul. Gagarina 11, 87-100 Toruń zgłaszającego swoje przystąpienie do postępowania odwoławczego o sygn. akt: KIO 69/12 po stronie zamawiającego orzeka: 1. uwzględnia odwołanie i nakazuje Zamawiającemu unieważnienie czynności wyboru oferty najkorzystniejszej i ponowne dokonanie czynności oceny ofert w sposób zgodny z postanowieniami SIWZ, z uwzględnieniem okoliczności wskazanych w niniejszym uzasadnieniu; 2. kosztami postępowania obciąża Skarb Państwa - Centrum Rozwoju Zasobów Ludzkich, ul. Tamka 3, 00-349 Warszawa i: 2.1. zalicza w poczet kosztów postępowania odwoławczego kwotę 15.000 zł 00 gr (słownie: piętnaście tysięcy złotych zero groszy) uiszczoną przez Fundację Naukową Instytutu Badań Strukturalnych, ul. Rejtana 15/24, 25, 02-516 Warszawa tytułem wpisu od odwołania, 2.2. zasądza od Skarbu Państwa - Centrum Rozwoju Zasobów Ludzkich, ul. Tamka 3, 00-349 Warszawa na rzecz Fundacji Naukowej Instytutu Badań Strukturalnych, ul. Rejtana 15/24, 25, 02-516 Warszawa kwotę 18.600 zł 00 gr (słownie: osiemnaście tysięcy sześćset złote zero groszy) stanowiącej uzasadnione koszty strony z tytułu wpisu od odwołania oraz kosztów wynagrodzenia pełnomocnika. Stosownie do art. 198a i 198b ustawy z dnia 29 stycznia 2004 r. - Prawo zamówień publicznych (t.j. Dz. U. z 2010 r. 113, poz. 759 ze zm.) na niniejszy wyrok - w terminie 7 dni od dnia jego doręczenia - przysługuje skarga za pośrednictwem Prezesa Krajowej Izby Odwoławczej do Sądu Okręgowego w Warszawie. Przewodniczący: ……………………………… Sygn. akt: KIO 69/12 U z a s a d n i e n i e Postępowanie prowadzone w trybie przetargu nieograniczonego na: „Analiza czynników wpływających na zwiększenie ryzyka długookresowego bezrobocia - opracowanie metodologii profilowania bezrobotnych na lokalnym rynku pracy do stosowania przez PSZ", zostało wszczęte przez Skarb Państwa - Centrum Rozwoju Zasobów Ludzkich, ul. Tamka 3, 00-349 Warszawa zwany dalej: „Zamawiającym”, ogłoszeniem w Dzienniku Urzędowym Oficjalnych Publikacji Wspólnot Europejskich za numerem 2011/S 201-327339 z dnia 19.10.2011 r. W dniu 30.12.2011 r. (e-mailem) Zamawiający poinformował o wyborze oferty najkorzystniejszej Uniwersytet Mikołaja Kopernika w Toruniu, ul. Gagarina 11, 87-100 Toruń zwany dalej: „UMK w Toruniu” albo „Przystępującym”. W dniu 05.01.2012 r. Zamawiający nie udostępnił wnioskodawcy - Fundacji Naukowej Instytut Badań Strukturalnych, ul. Rejtana 15/24, 25, 02-516 Warszawa zwanej dalej: „Fundacją Naukową IBS” albo „Odwołującym” karty indywidualnych ocen członków komisji. W dniu 09.01.2012 r. (wpływ bezpośredni do Prezesa KIO) wpłynęło na podstawie art. 180 ust. 2 ustawy z dnia 29 stycznia 2004 r. Prawo zamówień publicznych (t.j. Dz. U. z 2010 r. Nr 113, poz. 759 z późn. zm.) zwanej dalej: „Pzp” odwołanie Fundacji Naukowej IBS na w/w czynność i zaniechanie. Kopia odwołania Zamawiający otrzymał w dniu 09.01.2012 r. (wpływ bezpośredni do Kancelarii Zamawiającego). Mając powyższe na uwadze, Odwołujący zarzucił Zamawiającemu dokonanie z naruszeniem Pzp następujących czynności: • dokonania oceny ofert w sposób niezgodny z postanowieniami Specyfikacji Istotnych Warunków Zamówienia zwanej dalej: „SIWZ” i naruszenie tym samym art. 91 ust. 1 Pzp; • zatajenie przed Odwołującym dokumentacji przetargowej w części dotyczącej ocen poszczególnych członków komisji, co stanowi naruszenie art. 8 ust. 1 Pzp. Odwołujący wnosił o: 1) unieważnienie czynności wyboru najkorzystniejszej oferty; 2) przeprowadzenie ponownej oceny ofert złożonych w postępowaniu w sposób zgodny z postanowieniami SIWZ; 3) zapewnienie pełnej jawności postępowania zgodnie z art. 8 ust 1 Pzp, w tym w szczególności w obszarze oceny ofert. Ponadto, Odwołujący wnosił o dopuszczenie i przeprowadzenie dowodu z następujących dokumentów: • kopia pisma Odwołującego do Zamawiającego z dnia 02.01.2012 r. w sprawie udostępnienie wglądu do dokumentacji przetargowej, wraz z potwierdzeniem otrzymania przez Zamawiającego; • kopia pisma Odwołującego złożonego u Zamawiającego dnia 05.01.2012 r. w sprawie udostępnienia wglądu do ocen indywidualnych, z potwierdzeniem przyjęcia przez Zamawiającego. Ocena ofert niezgodna z postanowieniami SIWZ. W przedmiotowym postępowaniu w SIWZ określono precyzyjne kryteria oceny merytorycznej ofert. W tabeli poniżej przedstawiamy liczbę punktów możliwych do uzyskania w poszczególnych kryteriach. Jednocześnie w ramach poszczególnych kryteriów SIWZ szczegółowo definiuje, które elementy oferty poddawane są ocenie i jaka liczba punktów może zostać w ich ramach przyznana. Kryterium maks. wg oferta UMK oferta IBS Kryterium 1. Cena 40 37,25 40 Kryterium 2. Identyfikacja problemów badawczych i operacjonalizacja celów badania 12 11,33 8,33 Kryterium 3. Metodologia badań i narzędzia badawcze 36 32,16 27,83 Kryterium 4. Plan badań, sposób organizacji i harmonogram 12 10,00 10,33 Razem 100 90,74 86,49 Zamawiający, po otwarciu ofert, nie może ich oceniać w sposób dowolny, ale tylko w taki, jaki podał w SIWZ. (wyrok ZA z dnia 28.01.2005, sygn. akt: UZP/ZO/0-121/05). Podkreślił, że postępowanie w sprawie o udzielenie zamówienia publicznego jest postępowaniem o wysoce sformalizowanym charakterze, wobec czego brak w nim miejsca na dowolność działań po stronie Zamawiającego. (wyrok SO w Warszawie z dnia 22.07.2005, sygn. akt: V Ca 592/05). Zamawiający poprzez sformułowanie SIWZ określił precyzyjne kryteria, a w ich ramach szczegółowe cechy oferty, podlegające ocenie. Zamawiającemu nie wolno oceniać ofert w kategoriach zgodności lub niezgodności ze swoimi intencjami - w tym przypadku bardzo blisko jest już do dowolności ocen, co narusza art. 7 Pzp. (wyrok ZA z dnia 28.01.2005, sygn. akt: UZP/ZO/0-121/05). Wg badania oferty UMK w Toruniu wykonanej przez Odwołującego, oferta ta jest w znacznym stopniu niespójna z kryteriami oceny przewidzianymi w SIWZ. W szczególności oferta UMK w Toruniu nie spełnia szeregu pod kryteriów oceny merytorycznej i powinna w ich ramach uzyskać (zgodnie z SIWZ) zerową punktację, co uzasadniono poniżej odwołując się do kwestionowanych punktów. Ocena w Kryterium 2. W ramach Kryterium nr 2 „Identyfikacja problemów badawczych i operacjonalizacja celów badania" Wykonawca mógł uzyskać od o do 12 pkt. Zgodnie z SIWZ w ramach podkryterium nr 2.1 przewidziano, że „2 pkt. - dodatkowo otrzyma oferta, w której przedstawione problemy badawcze zostaną odpowiednio uszczegółowione i wzajemnie powiązane wraz z uzasadnieniem (adekwatnie do opisu i kontekstu badania i celów zamówienia zawartych w załączniku 1 do SIWZ)”. Oferta UMK w Toruniu: W rozdziale oferty Wykonawcy pt. „Identyfikacja i sformułowanie problemów badawczych, cele projektu i ich operacjonalizacja" problemy badawcze zostały zidentyfikowane, sformułowane w punktach i uszczegółowione. Wykonawca nie przedstawił jednak wzajemnego powiązania problemów badawczych wraz z uzasadnieniem. W ramach podkryterium 2.2 zgodnie z SIWZ: „3 pkt. Otrzyma oferta, w której przedstawiona przez Wykonawcę operacjonalizacja celów badania będzie kompletna, tj. obejmująca robocze cele badania i zawierająca wstępne hipotezy badawcze, 2 pkt. - dodatkowo otrzyma oferta, w której przedstawione przez Wykonawcę (w ramach operacjonalizacji celów badania) wstępne hipotezy badawcze będą wzajemnie powiązane i odpowiednio ustrukturalizowane wraz z uzasadnieniem (adekwatnie od celów określonych w załączniku nr 1 do SIWZ)". Oferta UMK w Toruniu: Wykonawca na str. 166 oferty zamieścił hipotezy badawcze. Hipotezy zostały jednak tylko wymienione w punktach, nigdzie w ofercie nie zostały wzajemnie powiązane i ustrukturalizowane wraz z uzasadnieniem. Powyższe wskazuje, że w dwóch pod kryteriach kryterium 2 oferta UMK w Toruniu nie powinna uzyskać żadnych punktów, tracąc minimum 4 pkt. do oceny maksymalnej, wynoszącej 12 pkt. W związku z powyższym, w naszej opinii ocena oferty wykonawcy w ramach Kryterium nr 2 nie powinna przekraczać 8 pkt., podczas gdy oferta została oceniona na 11,33 pkt. Ocena w Kryterium 3. W ramach Kryterium nr 3: „Metodologia badań i narzędzia badawcze" Wykonawca mógł uzyskać od o do 36 pkt. Zgodnie z SIWZ w ramach podkryterium nr 3.2: „1,5 pkt. – dodatkowo otrzyma oferta, która będzie zawierała adekwatny do proponowanych metod badawczych dobór konkretnych technik badawczych (przyporządkowanie proponowanym metodom badawczym konkretnych technik badawczych)". Oferta UMK w Toruniu: Wykonawca w rozdziale pt. „Metodologia badania (metody, próby i narzędzia badawcze)" nie dokonał rozróżnienia metod i technik badawczych i nie przyporządkował technik do metod. Wykonawca w pkt 2: „Metodologii badania" nie określa, czy proponowane przez niego analizy i przegląd (str. 182-183 oferty) są metodami czy technikami. Konsekwentnie na str. 187 oferty Wykonawca stosuje pojęcie: „Metody/techniki badawcze" nie dokonując rozróżnienia pomiędzy metodami i technikami. W żadnym miejscu w ofercie nie dokonano tego rozróżnienia i nie przyporządkowano technik do metod. W ramach podkryterium nr 3.3 Wykonawca może otrzymać: „2 pkt. – wskazanie instrumentów/narzędzi zapewniających rzetelność uzyskanych informacji i danych oraz zbierania jak najpełniejszego materiału badawczego". Oferta UMK w Toruniu: Wykonawca w pkt 3 rozdziału pt. „Metodologia badania (metody, próby i narzędzia badawcze)" zamieścił opis narzędzia zapewniającego rzetelność informacji w odniesieniu tylko do jednej z proponowanych przez siebie metod: badania ilościowego opartego na danych pozyskanych z systemu SyriuszSTD. Wykonawca nie zagwarantował rzetelności pozostałych metod, w szczególności nie zapewnił rzetelności narzędzia do standaryzowanych ilościowych badań terenowych (sondażowych) w odniesieniu do których w metodologii badań społecznych formułuje się wymóg rzetelności. Należy podkreślić, że dane zbierane w badaniu ilościowym sondażowym stanowią odmienny zbiór danych, niezależny od pozyskiwanego z SyriuszSTD, dopiero później zbiory mają być połączone. A zatem proponowane przez Wykonawcę narzędzie zapewniające rzetelność danych z systemu SyriuszSTD (algorytm porządkujący dane pozyskiwane z SyriuszSTD) nie odnosi się do badania sondażowego na etapie konstrukcji kwestionariusza i realizacji terenowej badania, nie może więc gwarantować rzetelności danych pozyskiwanych w badaniu sondażowym. Rzetelność danych pozyskanych w planowanym sondażu nie jest więc zabezpieczona. W ramach podkryterium nr 3.5 zgodnie z SIWZ: „3 pkt. - dodatkowo otrzyma Wykonawca za przedstawienie w ofercie wyczerpującego uzasadnienia wyboru do badania, co najmniej 6, zróżnicowanych lokalnych rynków pracy w Polsce. Wykonawca może przedstawić w ofercie wyczerpujące uzasadnienie wyboru do badania większej liczby (niż 6) zróżnicowanych lokalnych rynków pracy w Polsce, z tym że nie wpłynie to na wysokość oceny". Oferta UMK w Toruniu: Wykonawca zawarł w ofercie, w pkt 5 „Metodologii badania" jedynie kryteria doboru do badania 6 lokalnych rynków pracy i sposób ich doboru, Wykonawca nie zamieścił jednak uzasadnienia wyboru do badania co najmniej 6 zróżnicowanych lokalnych rynków pracy w Polsce. Wybór sześciu rynków pracy nie tylko nie został uzasadniony, ale nawet nie został przeprowadzony, wymieniono tylko kryteria według których ma on zostać przeprowadzony w przyszłości. Postępowanie wykonawcy jest w tym przypadku odmienne od przyjętego w pkt 4 „Metodologii", gdzie Wykonawca nie tylko zamieścił kryteria wyboru krajów UE i OECD ale także wskazał konkretne kraje i uzasadnił ich wybór. W ramach podkryterium 3.6 w SIWZ wymagane są: „projekty proponowanych narzędzi badawczych w kontekście proponowanych metod i technik badawczych wraz z uzasadnieniem (0-5 pkt.)", a kryterium to jest oceniane następująco: „0 pkt. - brak propozycji narzędzi badawczych w kontekście proponowanych metod i technik badawczych, lub proponowane narzędzia badawcze będą nieadekwatne (nieodpowiadające) do proponowanych metod i technik badawczych, 3 pkt. - zaproponowane przez Wykonawcę narzędzia badawcze będą adekwatne (odpowiadające) do proponowanych metod i technik badawczych, 2 pkt. - dodatkowo, otrzyma Wykonawca, który przedstawi w ofercie wyczerpujące uzasadnienie dla proponowanych narzędzi badawczych". Oferta UMK w Toruniu: Wykonawca w pkt 7: „Metodologii badań" błędnie zatytułowanym: „Projekty proponowanych narzędzi badawczych (w kontekście proponowanych metod i technik badawczych)" zadeklarował, że poniżej przedstawia trzy narzędzia badawcze: 7.1 do badań jakościowych, 7.2 do badań ilościowych opartych na danych pozyskanych z systemu SyriuszSTD i 7.3 do ilościowych badań sondażowych. W rzeczywistości jednak w pkt. 7.1 i 7.3 przedstawiono nie projekty narzędzi, lecz jedynie zakres zagadnień - kwestie które będą poruszane a narzędziach, a w pkt 7.2 nie zamieszczono nawet tęgo typu zakresu. W odniesieniu do pkt 7.1 należy zauważyć, że narzędziem do przeprowadzenia indywidualnych wywiadów pogłębionych jest scenariusz wywiadu, tymczasem w pkt 7.1 nie zamieszczono scenariusza, lecz jedynie wymieniono kwestie, które zostaną uwzględnione w planowanym do opracowania w przyszłości scenariuszu. W pkt 7.2 jako narzędzie badawcze wymieniono nakładkę na system SyriuszSTD i uzasadniono jej zastosowanie, nie opisano jednak zakresu ani konstrukcji nakładki, w szczególności nie wymieniono, jakie zmienne będzie ona czerpała z systemu SyriuszSTD, a zatem jest to tylko deklaracja propozycji narzędzia, a nie projekt narzędzia. W odniesieniu do pkt 7.3 należy stwierdzić, że narzędziem do badania sondażowego jest kwestionariusz. W pkt 7.3 opisano założenia do skonstruowania w przyszłości kwestionariusza, w tym wymieniono jakie zagadnienia będzie on obejmował i w jaki sposób zostaną one pogrupowane w moduły. Jest to więc propozycja koncepcji zgodnie z którą może w przyszłości zostać zaprojektowany kwestionariusz. W ofercie nie zamieszczono jednak projektu narzędzia - kwestionariusza. Nie sformułowano pytań kwestionariuszowych w brzmieniu takim, w jakim mają one być zadawane respondentom i nie przedstawiono porządku pytań, z zatem oferta nie zawiera narzędzia do badania sondażowego. W ww. podkryteriach kryterium 3 oferta UMK w Toruniu nie powinna uzyskać żadnych punktów, tj. tracąc minimum 11,5 pkt. do oceny maksymalnej, wynoszącej 35 pkt. W związku z powyższym, w naszej opinii ocena oferty wykonawcy w ramach Kryterium nr 3 nie powinna przekraczać 24,5 pkt., podczas gdy oferta została oceniona na 32,16 pkt. Odwołujący nie jest w stanie przeprowadzić dokładnej analizy źródeł popełnionych przez Zamawiającego błędów w ocenie merytorycznej, ponieważ Zamawiający odmówił Odwołującemu dostępu do dokumentacji przetargu w części dotyczącej oceny merytorycznej i punktacji poszczególnych podkryteriów przez członków komisji przetargowej. Złamanie zasady jawności postępowania. Na mocy art. 8 ust. 1 Pzp postępowanie o udzielenia zamówienia jest jawne. Zamawiający musi zapewnić Wykonawcom wgląd do dokumentacji przetargu. Zasada ta ma charakter obowiązujący bezwzględnie, a wyjątki przewidziane ustawą nie mają zastosowania w przedmiotowym postępowaniu. Zamawiający jest zobowiązany do prowadzenia dokładnej dokumentacji postępowania. Dotyczy to w szczególności kluczowych jego etapów, do których z pewnością należy ocena merytoryczna i wybór najkorzystniejszej oferty. Jednocześnie podkreślił, że zgodnie z postanowieniami SIWZ członkowie komisji zobowiązani byli dokonać ocen indywidualnych. W opisie poszczególnych kryteriów SIWZ stwierdza, że: „każdy z członków Komisji przetargowej (oceniających oferty) może przyznać określoną liczbę punktów (...), w podziale na opisane poniżej podkryteria, zdefiniowane przez Zamawiającego na potrzeby oceny ofert". Tym samym istnieć muszą oceny indywidualne członków komisji. Ponieważ zgodnie z art. 9 ust. 1 Pzp postępowanie o udzielenie zamówienia prowadzi się z zachowaniem formy pisemnej, oceny te muszą mieć formę pisemną, a tym samym stanowią część dokumentacji przetargowej. Fakt, że wg rozporządzenia Prezesa Rady Ministrów w sprawie protokołów postępowania o udzielenie zamówienia publicznego z dnia 26 października indywidualna karta oceny przestała być elementem protokołu wynikającym z mocy prawa nie zmienia tego, że Zamawiający musi prowadzić dokumentację procesu oceny merytorycznej i udostępnić ją na wniosek Zamawiającego. W szczególności ww. rozporządzenie stwierdza, że protokół zawiera informacje dotyczące wyboru najkorzystniejszej oferty - a informacje o ocenach poszczególnych członków komisji niewątpliwie są takimi. W szczególności w wypadku skomplikowanej procedury oceny merytorycznej - z jaką mamy do czynienia w przedmiotowym postępowaniu - Zamawiający musi prowadzić dokumentację przeprowadzonej oceny. W przeciwnym wypadku mimo najbardziej nawet obiektywnych i możliwych do zewnętrznej weryfikacji postanowień SIWZ w zakresie wyboru oferty najkorzystniejszej, proces ten staje się nieprzejrzysty, uznaniowy i niemożliwy do weryfikacji przez strony postępowania lub zewnętrzną kontrolę. O umożliwienie wglądu w dokumentację postępowania, w tym w indywidualne oceny członków komisji Odwołujący zwrócił się pismem z dnia 02.01.2011 r., z prośbą o udostępnienie dokumentacji dnia 05.01.2012 r. Następnie, w związku z uniemożliwieniem przez Zamawiającego dostępu do pełnej dokumentacji procesu wyboru najkorzystniejszej oferty (w tym w szczególności indywidualnych ocen członków komisji), Odwołujący ponownie dnia 05.01.2012 r., w siedzibie Zamawiającego (w trakcie przeglądania udostępnionego fragmentu dokumentacji), wystosował pismo z prośbą o pilne udostępnienie ww. dokumentów. Pismo to pozostało bez odpowiedzi. W przedmiotowym postępowaniu uniemożliwienie Odwołującemu wglądu do ocen punktowych przyznanych przez poszczególnych członków komisji spowodowało, że wątpliwości Odwołującego powstałe po przeglądzie oferty UMK w Toruniu i opisane powyżej, zostały spotęgowane, W istocie postępowanie Zamawiającego sprawiło, że Odwołujący, mimo wątpliwości co do zasadności rozstrzygnięcia dokonanego przez Zamawiającego, nie miał możliwości dokonania weryfikacji procedury oceny i wyboru najkorzystniejszej oferty. Odwołujący stwierdza, że według wszelkiego prawdopodobieństwa ocena ofert w przedmiotowym postępowaniu została wykonana w sposób niezgodny z kryteriami oceny zdefiniowanymi w SIWZ. Jednocześnie Zamawiający odmówił Odwołującemu wglądu w dokumentacje umożliwiającego potwierdzenie lub wykluczenie tego zarzutu. Tym samym Zamawiający albo naruszył naczelną zasadę jawności postępowania, albo nie prowadził wymaganej przepisami prawa dokumentacji postępowania. W każdym przypadku stanowi to przesłankę do unieważnienia czynności oceny i wyboru najkorzystniejszej oferty i jej powtórzenia w zgodzie z postanowieniami SIWZ, w tym zwłaszcza zdefiniowanymi w SIWZ kryteriami wyboru, oraz w zgodzie z Pzp, w tym w szczególności z jej postanowieniami w zakresie jawności postępowania i jego dokumentacji. Zamawiający w dniu 10.01.2012 r. wezwał (emialem) w trybie art. 185 ust.1 Pzp uczestników postępowania przetargowego do wzięcia udziału w postępowaniu odwoławczym. W dniu 12.01..2012 r. (wpływ bezpośredni do Prezesa KIO) UMK w Toruniu zgłosił przystąpienie do postępowania odwoławczego po stronie Zamawiającego wnosząc o oddalenie odwołania. Kopia zgłoszenia została przekazana Zamawiającemu oraz Odwołującemu. W dniu 23.01.2012 r. (wpływ bezpośredni do Prezesa KIO) Zamawiający wobec wniesienia odwołanie do Prezesa KIO wniósł na piśmie, w trybie art. 186 ust. 1 Pzp, odpowiedź na odwołanie, w której wnosił o oddalenie w całości odwołania. Kopia została przekazana Odwołującemu na posiedzeniu. Przedmiotem postępowania o udzielenie zamówienia jest realizacja usługi naukowo-badawczej opisanej szczegółowo w SIWZ, a konkretnie w Opisie Przedmiotu Zamówienia (załącznik nr 1do SIWZ). W Polsce nie przeprowadzono do tej pory ogólnopolskich, reprezentatywnych badań dotyczących profilowania bezrobotnych. Jedyne przeprowadzone badanie na ten temat dotyczyło lokalnego rynku pracy (w Toruniu) i zostało zrealizowane kilka lat temu. Ze względu na złożony i naukowo-badawczy charakter przedmiotu zamówienia i jego skomplikowaloność merytoryczną, Zamawiający zgodnie z przepisami Pzp (art. 21 ust. 4) oraz zgodnie z obowiązującą u Zamawiającego „Procedurą Udzielania Zamówień Publicznych" (§ 9 Regulaminu pracy komisji przetargowej w Centrum Rozwoju Zasobów Ludzkich) powołał dwóch biegłych, pracowników naukowych, z dwóch różnych ośrodków akademickich w Polsce, którzy dokonali analizy ofert złożonych przez wykonawców ww. postępowaniu i przygotowali pisemne opinie nt. złożonych ofert. Należy podkreślić, że wybór biegłych, został dokonany w sposób otwarty, miał charakter publiczny Zamawiający powołał specjalną komisję ds. wyboru ekspertów/biegłych z udziałem przedstawiciela MPiPS, która przeprowadziła w pełni konkurencyjne postępowanie na wyłonienie biegłych, wskazując dorobek naukowy jako warunek udziału w postępowaniu. W konsekwencji wybrano Prof. Mirosława S. z Uniwersytetu Gdańskiego (Wydział Zarządzania) oraz Prof. Mariusza Z. z Politechniki Śląskiej w Gliwicach (Instytut Ekonomii i Informatyki). Po publicznym otwarciu ofert ww. postępowaniu biegli złożyli oświadczenie zgodne z art. 17 ust. 1 (dostępne w dokumentacji postępowania) potwierdzając tym samym swoją bezstronność. Wybrani Biegli opracowali pisemne opinie nt. wszystkich ofert (dokonali oceny merytorycznej części merytorycznej ofert). Opinie i oceny biegłych nt. badanych ofert, mimo, że nie są identyczne, to są zgodne w ocenie oferty najlepszej pod względem merytorycznym. W zgodnej opinii i ocenie dwóch ww. Profesorów - oferta nr 3 UMK w Toruniu została uznana za najlepszą pod względem merytorycznym. Zaznaczył, że Zamawiający chcąc maksymalnie zobiektyzować proces oceny ofert pod względem merytorycznym, zawarł w SIWZ stosowne zapisy, zgodnie z którymi proces oceny ofert (kryteria merytoryczne: 2.3.4) miał zindywidualizowany charakter, a w Komisji przetargowej była obecna osoba reprezentująca MPiPS, która również indywidualnie dokonała oceny merytorycznej ofert. Członkowie Komisji przetargowej, oceniający oferty merytoryczne, zapoznali się z ofertami, zapoznali się z pisemnymi opiniami Biegłych nt. ofert złożonych ww. postępowaniu, następnie, każdy z członków Komisji przetargowej (oceniających oferty) dokonał indywidualnej oceny każdej oferty, przyznając określoną liczbę punktów z przedziału właściwego dla danego kryterium, z uwzględnieniem opisanych w SIWZ kryteriów i podkryteriów oceny ofert. Następnie punkty za kryteria, o których mowa SIWZ, przyznane przez poszczególnych członków Komisji Przetargowej dokonujących oceny, zostały w ramach każdego kryterium zsumowane, a następnie została wyciągnięta średnia arytmetyczna z każdej sumy. Średnia arytmetyczna została zaokrąglona do dwóch miejsc po przecinku. W ocenienie Zamawiającego i w zgodniej opinii biegłych, żadna z przedstawionych ofert ww. postępowaniu nie była doskonała, i w mniejszym lub większym stopniu wypełnia przyjęte do oceny kryteria, a więc przyznawane punkty mają różnicować zgłoszone oferty i pozwolić na dokonanie wyboru oferty najkorzystniejszej. Stąd też należy rozpatrywać liczbę uzyskiwanych punktów za wypełnienie danego kryterium nie tylko w sposób absolutny ale przede wszystkim w relacji do innych ofert. Co ważne i warte podkreślenia, żadna z badanych ofert nie uzyskała maksymalnej możliwej ilości punktów w ramach każdego z określonych w SIWZ kryteriów merytorycznych (Kryteria: 2; 3; 4). Oceny ofert dokonane przez poszczególnych członków Komisji Przetargowej mimo, że nie są identyczne, to są zgodne w ocenie oferty najlepszej pod względem merytorycznym. W zgodnej ocenie członków komisji przetargowej oceniających oferty - oferta nr 3 -UMK w Toruniu została uznana za najlepszą pod względem merytorycznym, a po uwzględnieniu punktacji za kryterium „cena" oferta ta została uznana za najkorzystniejszą. Należy też zaznaczyć, że różnica w punktacji w indywidualnej członków komisji przetargowej oceniających oferty nie była znacząca. W przypadku oceny oferty nr 3 UMK w Toruniu, różnica ta w ramach kryterium nr 2 wyniosła 1 pkt. między punktacją najniższą, a punktacją najwyższą; różnica w ramach kryterium nr 3 wyniosła 2 pkt. między punktacją najniższą, a punktacją najwyższą; w ramach kryterium nr 3 różnica w punktacji między punktacją najniższą, a punktacją najwyższą nie wystąpiła. Zamawiający w Roz. 4 SIWZ (pkt.4.1,1, lit (a) i (b) określił co powinna zawierać oferta merytoryczna Wykonawcy oraz wskazał, że treść oferty musi odpowiadać treści specyfikacji. Ponadto, Zamawiający określił w OPZ - pkt.3.4.1 (zał. Nr 1 do SIWZ) co powinna zawierać zaproponowana przez Wykonawcę w ofercie metodologia prowadzenia badań, analiz i realizacji zamówienia. W ocenie Zamawiającego, oferta UMK w Toruniu zawiera wszystkie niezbędne elementy określone w SIWZ i odpowiada treści SIWZ. Schemat postępowania badawczego w ofercie UMK przedstawiono zgodnie z wytycznymi zawartymi w SIWZ w części IV - Wymagania dotyczące oferty (s. 41-43 SIWZ). Wielość poruszanych przez UMK w Toruniu zagadnień wpłynęła jednak na to, że są one zawarte w różnych częściach oferty, często rozproszone. Nie wpływa to jednak w żaden sposób na kompleksowość i wartość merytoryczną oferty UMK w Toruniu. Podkryterium 2.1- identyfikacja i sformułowanie problemów badawczych - przyznana liczba punktów przez Komisję przetargową - 4,666666 pkt.(zsumowana liczba punktów przyznanych przez członków komisji oceniających oferty i podzielona przez liczbę członków komisji oceniających oferty). Uzasadnienie przyznanej punktacji przez Zamawiającego: Dokonana przez Wykonawcę w ofercie, identyfikacja i sformułowanie problemów badawczych są pełne i wyczerpujące. Przedstawione przez Wykonawcę w ofercie problemy badawcze zostały odpowiednio uszczegółowione i wzajemnie powiązane wraz z niezbędnym uzasadnieniem (adekwatnie do opisu kontekstu badania i celów zamówienia zawartych w załączniku 1 do SIWZ). Wykonawca zaproponował dodatkowe problemy badawcze, które zostały dobrze powiązane z podstawowymi problemami wyartykułowanymi w SIWZ. Oferta Wykonawcy w tej części jest bardzo dojrzała, uwzględniająca zarówno najnowsze wyniki badań naukowych z zakresu bezrobocia długotrwałego i jego uwarunkowań, jak i obowiązujące akty prawne, w obrębie których podejmowane są działania przeciwdziałające temu zjawisku. Problemy badawcze ściśle korespondują z koncepcjami już prowadzonych polityk rynku pracy w Europie, w tym z Europejską Strategią Zatrudnienia i doświadczeniami krajów OECD. Wykonawca wykazał się bardzo dobrą znajomością uwarunkowań praktycznego wykorzystania procedur profilowania bezrobotnych w Polsce, w tym uwarunkowań z zakresu dostępności i szczegółowości danych statystycznych, systemów informatycznych, itp. W ofercie wyróżniono i szczegółowo oraz kompetentnie omówiono 11 problemów badawczych, logicznie ze sobą powiązanych. Dotyczą one zarówno samego problemu bezrobocia długotrwałego, wczesnej identyfikacji zagrożeń, profilowania bezrobotnych (w tym dynamicznego) oraz efektywności profilowania bezrobotnych w oparciu o modelowanie ekonometryczne. Szczególne wartościowe w prezentacji problemów badawczych w tej ofercie jest odwołanie się do wielu doświadczeń międzynarodowych. Wskazał, iż Zamawiający w Roz. 4 SIWZ (pkt.4.1.1, lit (a) i (b) określił co powinna zawierać oferta merytoryczna Wykonawcy oraz wskazał, że treść oferty musi odpowiadać treści specyfikacji. Ponadto, Zamawiający określił w OPZ- „IV. Wymagania dotyczące oferty" (zał. Nr 1 do SIWZ) że „Wykonawca w ofercie przedstawi Szczegółowy opis sposobu realizacji przedmiotu zamówienia, w tym: 1. Dokona całościowej identyfikacji problemów/pytań badawczych i ostatecznej operacjonalizacji celów badania, w szczególności: a) dokona uszczegółowienia pytań i problemów badawczych, o których mowa w Załączniku nr 1 do SIWZ/OPZ oraz przedstawi własne propozycje pytań/problemów badawczych (pytania/problemy badawcze muszą odpowiadać zakresowi badania); b) przedstawi (proponowane) identyfikowane i sformułowane pytania/problemy badawcze odpowiednio ustrukturalizowane i wzajemnie powiązane". W ocenie Zamawiającego, oferta UMK w Toruniu zawiera w tym punkcie wszystkie elementy określone w SIWZ i odpowiada treści specyfikacji. Dokonana przez Wykonawcę identyfikacja i sformułowanie problemów badawczych są pełne i wyczerpujące. Przedstawione przez UMK w Toruniu w ofercie problemy badawcze zostały odpowiednio uszczegółowione i wzajemnie powiązane wraz z niezbędnym uzasadnieniem (uzasadnienie adekwatne do opisu kontekstu badania i celów zamówienia zawartych w załączniku 1 do SIWZ). Wykonawca zaproponował dodatkowe problemy badawcze, które zostały dobrze powiązane z podstawowymi problemami wyartykułowanymi w SIWZ. Podkryterium 2.2- operacjonalizacja celów szczegółowych badania.... - przyznana liczba punktów przez Komisję przetargową - 6,666666 pkt. (zsumowana liczba punktów przyznanych przez członków komisji oceniających oferty i podzielona przez liczbę członków komisji oceniających oferty). Uzasadnienie przyznanej punktacji przez Zamawiającego: Przedstawiona przez Wykonawcę w ofercie operacjonalizacja celów badania jest kompletna tj. obejmuje robocze cele badania i zawiera wstępne hipotezy badawcze. Przedstawione przez Wykonawcę w ofercie (w ramach operacjonalizacji celów badania) wstępne hipotezy badawcze zostały wzajemnie powiązane i odpowiednio ustrukturalizowane wraz z uzasadnieniem (adekwatnie do celów określonych w Załączniku nr 1 do SIWZ). Wykonawca przedstawił operacjonalizację celów badania odpowiednio uszczegółowioną, tj. zawierającą w opisie celów badania informacje dotyczące istoty i źródła (wskazanie źródeł) danych, które zostaną użyte w trakcie realizacji badań wraz z uzasadnieniem celowości wyboru konkretnego źródła w kontekście realizacji celów badania, z uwzględnieniem szerokiego kontekstu naukowo-badawczego. W ofercie wyróżniono trzy cele główne, które uzupełnia pięć dodatkowych celów badawczych. Wysoko ocenić należy dwa pierwsze cele główne, a szczególnie wysoko - ze względu na walor aplikacyjny, istotny dla realizacji celu zamówienia - cel 3; Skonstruowanie dwóch narzędzi dla pracowników PUP umożliwiających praktyczne wykorzystanie opracowanej metodologii. Oba te narzędzia wzajemnie się uzupełniają (są komplementarne) i w bezpośredni sposób nawiązują do możliwości obecnie funkcjonujących w urzędach pracy systemów informatycznych. Wszystkie osiem celów badawczych wyszczególnionych w ofercie uznać należy za wewnętrznie spójne, oparte na dobrej znajomości problematyki zamówienia, biorące pod uwagę możliwości dostarczenia danych statystycznych do ekonometrycznego profilowania osób długotrwale bezrobotnych. Wstępne pięć hipotez badawczych dobrze koresponduje z celami badawczymi oraz z ogólnym celem zamówienia. Obszernie i kompetentnie dokonano operacjonalizacji celów szczegółowych badania w formie siedmiu etapów działań. W każdym etapie podano i kompetentnie scharakteryzowano zaplanowane przedsięwzięcia. O dojrzałości tego elementu oferty świadczy ujęcie w kilku etapach ważnej kwestii współpracy w zakresie realizacji badań z ośrodkami międzynarodowymi (wymienionymi z nazwy) oraz wykorzystania studiów literaturowych w zasobach polskich i zagranicznych. Wysoko ocenić należy także etapy 3 i 4, obejmujące ilościowe i jakościowe badania terenowe z wykorzystaniem procedury profilowania bezrobotnych oraz modelu ekonometrycznego, a także możliwość stworzenia metodologii profilowania bezrobotnych i jej przetestowanie. Zamawiający w Roz. 4 SIWZ (pkt.4.1.1, lit (a) i (b) określił co powinna zawierać oferta merytoryczna Wykonawcy oraz wskazał, że treść oferty musi odpowiadać treści specyfikacji. Ponadto, Zamawiający określił w OPZ- „IV. Wymagania dotyczące oferty" (zał. Nr 1 do SIWZ) że „Wykonawca w ofercie przedstawi Szczegółowy opis sposobu realizacji przedmiotu zamówienia, w tym: 1. Dokona całościowej identyfikacji problemów/pytań badawczych i ostatecznej operacjonalizacji celów badania, w szczególności: (...) c) dokona ostatecznej operacjonalizacji celów szczegółowych badania oraz wskaże źródła danych, które zostaną użyte w trakcie realizacji badań, wraz z uzasadnieniem celowości wyboru konkretnego źródła w kontekście realizacji celów badania, z uwzględnieniem kontekstu naukowo-badawczego. Operacjonalizacja celów badania powinna polegać na przygotowaniu roboczych celów badania i wstępnych hipotez, które będą odzwierciedlać przedstawione wcześniej szczegółowe problemy badawcze. Przygotowane szczegółowe cele badań i wstępne hipotezy, powinny odzwierciedlać podstawowe problemy badań oraz wyżej określone potrzeby Zamawiającego. Operacjonalizacja celów badania powinna zostać przedstawiona w sposób opisowy, zaś hipotezy przynajmniej wymienione poprzez wyliczenie". W ocenie Zamawiającego, oferta UMK w Toruniu zawiera w tym punkcie wszystkie elementy określone w SIWZ i odpowiada treści specyfikacji. Dokonana przez Wykonawcę operacjonalizacja celów badania jest kompletna tj. obejmuje robocze cele badania i zawiera wstępne hipotezy badawcze. Przedstawione przez Wykonawcę (w ramach operacjonalizacji celów badania) wstępne hipotezy badawcze zostały wzajemnie powiązane i odpowiednio ustrukturalizowane wraz z uzasadnieniem (adekwatnie do celów określonych w Załączniku nr 1 do SIWZ). Ponadto, Wykonawca przedstawił operacjonalizację celów badania odpowiednio uszczegółowioną tj. zawierającą w opisie celów badania informacje dotyczące istoty i źródła (wskazanie źródeł) danych, które zostaną użyte w trakcie realizacji badań wraz z uzasadnieniem celowości wyboru konkretnego źródła w kontekście realizacji celów badania, z uwzględnieniem kontekstu naukowo-badawczego. Liczba punktów w kryterium 2 (Identyfikacja problemów badawczych i operacjonalizacia celów badania) przyznana przez Komisie przetargowa - 11,33 pkt. (zsumowana liczba punktów przyznanych przez członków komisji oceniających oferty i podzielona przez liczbę członków komisji oceniających oferty). Punktacja szczegółowa członków komisji przetargowej, oceniających oferty, w ramach tego kryterium oceny ofert nie była identyczna, różnica między najwyższą, a najniższą punktacja wyniosła 1 pkt. Podkryterium 3.2- proponowane metody i techniki badawcze - przyznana liczba punktów przez Komisję przetargową - 5,0 pkt. (zsumowana liczba punktów przyznanych przez członków komisji oceniających oferty i podzielona przez liczbę członków komisji oceniających oferty). Uzasadnienie przyznanej punktacji przez Zamawiającego: Oferta Wykonawcy zawiera trafny dobór proponowanych metod badawczych do celów badania. Oferta zawiera ponadto adekwatny do proponowanych metod badawczych dobór konkretnych technik badawczych, Zawarte w ofercie uzasadnienie dla części metod i technik badawczych, z perspektywy planowanych badań jest rozproszone, w różnych częściach oferty. Wykonawca przedstawił w ofercie wyczerpujące i adekwatne uzasadnienie dla proponowanych metod i technik badawczych w kontekście przedmiotu badań i sformułowanych celów badawczych. Na wysokim poziomie opracowano część dotyczącą metodologii i narzędzi badawczych, bardzo istotną zaletą opracowania jest odniesienie się do Sl SYRIUSZ, zwłaszcza pod względem możliwości jego wykorzystania przy odpowiednim filtrowaniu potrzebnych danych. W ofercie Wykonawcy zawarty jest zbiór metod i technik badawczych adekwatnych do celu zamówienia, kompetentnie zaprojektowany i scharakteryzowany. Wysoko należy ocenić logikę i wewnętrzną spójność tego zbioru, w którym mieszczą się m.in.: analiza porównawcza koncepcji i metod profilowania bezrobotnych w krajach UE i OECD, analiza możliwości wykorzystania danych z KSMRP do modelowania ekonometrycznego, wieloczynnikowa analiza zmiennych determinujących bezrobocie długookresowe, badania ilościowe i jakościowe, testowanie metodologii profilowania bezrobotnych z wykorzystaniem modelowania ekonometrycznego. Wykonawca w ofercie wyczerpująco przedstawił uzasadnienie zaproponowanych metod i technik badawczych, uwzględniając ich walor poznawczy i utylitarny, w tym dotychczasowe doświadczenia z realizacji polityki przeciwdziałania długotrwałemu bezrobociu. Zamawiający w Roz. 4 SIWZ (pkt.4.1.1, lit (a) i (b) określił co powinna zawierać oferta merytoryczna Wykonawcy oraz wskazał, że treść oferty musi odpowiadać treści specyfikacji. Ponadto, Zamawiający określił w OPZ- „IV. Wymagania dotyczące oferty" (zał. Nr 1 do SIWZ), że Wykonawca przedstawi m.in. „opis proponowanych metod i technik badawczych z uzasadnieniem celowości ich zastosowania; w opisie powinna się znaleźć prezentacja zarówno metod badawczych, o których mowa w Załączniki nr 1 do SIWZ/OPZ, jak też inne metody i techniki badawcze zaproponowane przez Wykonawcę". W ocenie Zamawiającego, oferta UMK w Toruniu zawiera w tym punkcie wszystkie elementy określone w SIWZ i odpowiada treści specyfikacji. Oferta UMK zawiera trafny dobór proponowanych metod badawczych do celów badania. Ponadto, zawiera adekwatny do proponowanych metod badawczych dobór konkretnych technik badawczych (proponowanym metodom badawczym przyporządkowano konkretne techniki badawcze - w sensie redakcyjnym to przyporządkowanie jest rozproszone). *Metodę badań ilościowych na danych pozyskanych z systemu SyriuszSTD przedstawiono na s. 188-189 i uszczegóławiano dalej zgodnie z zapisami SIWZ: Metodzie tej przyporządkowano technikę pozyskiwania danych - pozyskanie danych z systemu SyriuszSTD (s. 188-189) i technikę analizy danych - modelowanie ekonometryczne (s.188-189). *Obszerny i wyczerpujący opis założeń konstrukcji modeli ekonometrycznych i ich estymacji przedstawiono na s. 207-226. *Opis narzędzia badawczego - nakładki do pobierania, opracowywania i przetwarzania danych o bezrobotnych z systemu SyriuszSTD - przedstawiono na s.206. "Zakres uzyskiwanych przy jej pomocy danych został wskazany przy omawianiu zmiennych niezbędnych do szacowania modeli ekonometrycznych na podstawie danych z systemu SyriuszSTD oraz konstrukcji aplikacji do profilowania bezrobotnych (s. 188-189, 193 i nast). Nakładka ta jest opracowaniem autorskim pracowników UMK i jej szczegóły techniczne stanowią tajemnicę Uczelni. Posiadanie tego narzędzia przez UMK stanowi jednocześnie o znacznej przewadze konkurencyjnej jego oferty. *Metodę badań sondażowych przedstawiono na s. 189-190 i uszczegóławiano dalej zgodnie z zapisami SIWZ: Metodzie tej przyporządkowano technikę pozyskiwania danych - wywiad kwestionariuszowy (s. 189-190) i technikę analizy danych - opis statystyczny prowadzący do budowy wzorca osoby szczególnie zagrożonej długotrwałym bezrobociem (s. 189 i s.204-205) i modelowanie ekonometryczne (s. 188-189). *Obszerny i wyczerpujący opis założeń konstrukcji modeli ekonometrycznych i ich estymacji przedstawiono na s. 207-226. *Opis narzędzia badawczego - kwestionariusza wywiadu - przedstawiono na s. 206-207. *Metodę badań jakościowych przedstawiono na s. 188 i uszczegóławiano dalej zgodnie z zapisami SIWZ: Metodzie tej przyporządkowano technikę pozyskiwania danych - indywidualne wywiady pogłębione (s. 188) i technikę analizy danych - jakościową analizę, prowadzącą do stworzenia typologii bezrobotnych i w połączeniu z danymi z badań ilościowych - do stworzenia wzorca osoby długotrwale bezrobotnej (s.188). Opis narzędzia badawczego - scenariusza IDI - przedstawiono na s. 205-206. Wykonawca przedstawił w ofercie wyczerpujące i adekwatne uzasadnienie dla proponowanych metod i technik badawczych w kontekście przedmiotu badań i sformułowanych celów badawczych. Zawarty w ofercie UMK w Toruniu zbiór metod i technik badawczych jest adekwatny do celu zamówienia, kompetentnie zaprojektowany i scharakteryzowany. Wysoko ocenić należy logikę i wewnętrzną spójność tego zbioru, w którym mieszczą się m.in.: analiza porównawcza koncepcji i metod profilowania bezrobotnych w krajach UE i OECD, analiza możliwości wykorzystania danych z KSMRP do modelowania ekonometrycznego, wieloczynnikowa analiza zmiennych determinujących bezrobocie długookresowe, badania ilościowe i jakościowe, testowanie metodologii profilowania bezrobotnych z wykorzystaniem modelowania ekonometrycznego. Autorzy oferty szczegółowo i wyczerpująco przedstawili uzasadnienie zaproponowanych metod i technik badawczych, uwzględniając ich walor poznawczy i utylitarny, w tym dotychczasowe doświadczenia z realizacji polityki przeciwdziałania długotrwałemu bezrobociu. W całym tym fragmencie oferty dostrzega się solidną, profesjonalną wiedzę Wykonawcy w tym obszarze merytorycznym. Podkryterium 3.3 - propozycje i opis instrumentów/narzędzi zapewniających rzetelność uzyskanych informacji... - przyznana liczba punktów przez Komisję przetargową - 2,16666 pkt. (zsumowana liczba punktów przyznanych przez członków komisji oceniających oferty i podzielona przez liczbę członków komisji oceniających oferty). Uzasadnienie przyznanej punktacji przez Zamawiającego: Wykonawca wskazał w ofercie instrumenty/narzędzia zapewniające rzetelność uzyskanych informacji i danych oraz zbierania jak najpełniejszego materiału badawczego. Wykonawca nie przedstawił w ofercie wyczerpującego uzasadnienia dla proponowanych instrumentów/narzędzi zapewniających rzetelność uzyskanych informacji i danych. W ofercie jest zawarta propozycja porządkowania danych statystycznych, ale brakuje określenia procedur pośrednich zapewnienia rzetelności informacji. W ofercie przedstawiono narzędzie zapewniające rzetelność danych statystycznych (algorytm porządkujący materiał statystyczny z systemu Syriusz STD) i uzasadnienie tego narzędzia. Propozycja ta omówiona jest z dużą znajomością realiów systemu zbierania i udostępniania danych o rynku pracy. Wykonawca nie zawarł w ofercie wyczerpującego uzasadnienia dla narzędzi zapewniających rzetelność danych pozyskiwanych ze źródeł pierwotnych. Zamawiający w Roz. 4 SIWZ (pkt.4.1.1, lit (a) i (b) określił co powinna zawierać oferta merytoryczna Wykonawcy oraz wskazał, że treść oferty musi odpowiadać treści specyfikacji. Ponadto, Zamawiający określił w OPZ- „IV. Wymagania dotyczące oferty" (zał. Nr 1 do SIWZ), że Wykonawca przedstawi m.in. „propozycje i opis instrumentów (narzędzi) zapewniających rzetelność uzyskanych informacji i danych oraz zbierania jak najpełniejszego materiału badawczego umożliwiającego formułowanie obiektywnych i użytecznych wniosków". W ocenie Zamawiającego, oferta UMK w Toruniu zawiera w tym punkcie wszystkie elementy określone w SIWZ i odpowiada treści specyfikacji, tj. oferta zawiera wskazanie instrumentów/narzędzi zapewniających rzetelność uzyskanych informacji i danych oraz zbierania jak najpełniejszego materiału badawczego, ponadto oferta zawiera uzasadnienie dla proponowanych instrumentów/narzędzi zapewniających rzetelność uzyskanych informacji i danych oraz zbierania jak najpełniejszego materiału badawczego. W ofercie UMK w Toruniu na s. 204 wskazano sposób losowego doboru próby. Określono również liczebność próby niezbędną do zapewnienia rzetelności wyników przy określonym współczynniku ufności oraz przy określonym prawdopodobieństwie popełnieniu statystycznego błędu wyników. Gwarantuje to rzetelność uzyskanych danych i umożliwia określenie z góry prawdopodobieństwa popełnienia błędu w procedurze wnioskowania statystycznego. Jednakże w ocenie członków komisji przetargowej oceniających oferty, zawarte w ofercie tego wykonawcy uzasadnienie dla proponowanych instrumentów/narzędzi zapewniających rzetelność uzyskanych informacji i danych oraz zbierania jak najpełniejszego materiału badawczego, nie jest wyczerpujące. Podkryterium 3.5 - kryteria i sposób doboru do badania co najmniej 6 zróżnicowanych lokalnych rynków pracy... - przyznana liczba punktów przez Komisję przetargową - 9,0 pkt. (zsumowana liczba punktów przyznanych przez członków komisji oceniających oferty i podzielona przez liczbę członków komisji oceniających oferty). Wykonawca wskazał w ofercie konkretne i precyzyjne kryteria doboru do badania 6 zróżnicowanych lokalnych rynków pracy w Polsce. Wykonawca przedstawił w ofercie wyczerpujące uzasadnienia wyboru do badania 6 zróżnicowanych lokalnych rynków pracy w Polsce. Wykonawca wskazał w ofercie adekwatny (odpowiadający) do proponowanych metod i technik badawczych sposób doboru/konstrukcji prób badawczych, na 6 zróżnicowanych lokalnych rynkach pracy w Polsce. Wykonawca przedstawił w ofercie wyczerpujące uzasadnienie dla proponowanego sposobu doboru/konstrukcji prób badawczych na każdym z proponowanych 6 lokalnych rynkach pracy w Polsce. Koncepcję dwufazowego wyboru do badania 6 zróżnicowanych lokalnych rynków pracy, opartą na utworzeniu sześciu rozłącznych grup powiatów - w pierwszym etapie i wyborze po jednym reprezentancie (powiecie) z każdej grupy - w drugim etapie, jest uzasadniona i spójna z celami badania. W pierwszym etapie Wykonawca zamierza się posłużyć się metodą taksonomiczną Warda, opartą tu na 10 zmiennych charakteryzujących lokalne rynki pracy. W dalszej kolejności zweryfikowana zostanie jakość grupowania (stopień homogeniczności grup). Jest to koncepcja poprawna i w sposób wyczerpujący uzasadniona w ofercie, wsparta odpowiednimi odniesieniami do współczesnej literatury naukowej z tego zakresu. W ofercie zostały zaprezentowane sposoby konstrukcji prób i określania ich liczebności dla badania jakościowego i dwóch badań ilościowych: na podstawie danych zastanych i na podstawie badania sondażowego. Wskazane zostały ponadto właściwe (efektywne) techniki próbkowania oraz odpowiednie do realizacji badań ilościowych i analizy ich wyników narzędzia informatyczne. Wykonawca przedstawił i opisał w ofercie sposoby dotarcia do różnych grup respondentów w badaniach ilościowych i jakościowych (Wykonawca zakłada ścisłą współpracę z pracownikami urzędów pracy w realizacji badań terenowych, w tym sondażowych). Zamawiający w Roz. 4 SIWZ (pkt.4.1.1, lit (a)) określił co powinna zawierać oferta merytoryczna Wykonawcy („kryteria i sposób doboru do badania co najmniej 6 lokalnych rynków pracy w Polsce") oraz wskazał w Roz. 4 SIWZ (pkt.4.1.1, lit (b)), że treść oferty musi odpowiadać treści specyfikacji. Zamawiający (w SIWZ) świadomie nie żądał od Wykonawców przedstawienia w ofercie konkretnych lokalnych rynków pracy (określenia rzeczywistych powiatów) na których będą realizowane badania empiryczne. Zgodnie z wiedzą Zamawiającego, przeprowadzenie badań empirycznych uwzględniających osoby bezrobotne na lokalnym rynku pracy, wymaga współpracy instytucji przeprowadzającej badanie z kierownictwem właściwego urzędu (faktycznie jest konieczna zgoda Dyrektora PUP). W opinii Zamawiającego kierownictwo PUP może odmówić współpracy z instytucją badawczą w realizacji badania, w konsekwencji instytucja badawcza po konsultacji z Zamawiającym (i MPiPS) będzie zmuszona wybrać do badania inny lokalny rynek pracy o podobnej/zbliżonej charakterystyce. Dlatego Zamawiający nie żądał od wykonawców na etapie składania ofert przedstawienia konkretnych lokalnych rynków pracy (określenia rzeczywistych powiatów) na których będą realizowane badania empiryczne. W ocenie Zamawiającego, oferta UMK w Toruniu zawiera w tym punkcie wszystkie elementy określone w SIWZ i odpowiada treści specyfikacji. UMK w Toruniu, wbrew twierdzeniu Odwołującego, postąpił właściwie nie wskazując konkretnych lokalnych rynków pracy (tj. nie określił rzeczywistych/konkretnych powiatów) na których będą realizowane badania empiryczne. Oferta UMK w Toruniu świadczy, że ten Wykonawca posiada wiedzę i doświadczenie w badaniach osób bezrobotnych w Polsce, jest świadom występujących ograniczeń w prowadzeniu badań dotyczących osób bezrobotnych w Polsce. Sposób doboru i wielkość próby w badaniach sondażowych przedstawiono na s. 202-203 oferty. Sposób doboru i wielkość próby w badaniach jakościowych przedstawiono na s. 202 oferty. Zaproponowana w ofercie Wykonawcy procedura doboru do badania 6 lokalnych rynków pracy i sposób ich doboru jest w ocenie Zamawiającego bardzo pracochłonna i będzie elementem postępowania badawczego w ramach projektu. Dodać należy, że zapewnia ona obiektywizację wyboru i jednocześnie dość ściśle określa jednostki, które zostaną wybrane do badania, mimo że na tym etapie ich nie identyfikuje. Tym samym UMK w Toruniu unika arbitralności wskazań zawartych w innych ofertach, co słusznie spotkało się z negatywną opinią biegłych. Błędne jest w ocenie Zamawiającego porównanie procedur wyboru do badania lokalnych rynków pracy oraz krajów UE i OECD. W pierwszym przypadku wyboru dokonuje się z trzystu kilkudziesięciu podmiotów, wykorzystując metody statystyczne, w drugim spośród kilkunastu krajów na podstawie analizy jakościowej. Podkryterium 3.6 - projekty proponowanych narzędzi badawczych.... - przyznana liczba punktów przez komisję przetargową - 4,0 pkt. (zsumowana liczba punktów przyznanych przez członków komisji oceniających oferty i podzielona przez liczbę członków komisji oceniających oferty); Uzasadnienie przyznanej punktacji przez Zamawiającego: Zaproponowane przez Wykonawcę w ofercie narzędzia badawcze są adekwatne (tj. odpowiadające) do proponowanych metod i technik badawczych. W ofercie tego Wykonawcy brakuje wyczerpującego uzasadnienia dla proponowanych narzędzi badawczych. W ofercie zostały ujęte propozycje narzędzi badawczych do badań jakościowych, oraz do dwóch rodzajów badań ilościowych (pozyskujących dane ze źródeł pierwotnych oraz wtórnych). W badaniach jakościowych Wykonawca proponuje właściwe, adekwatne do celu badań narzędzie, jakim jest scenariusz badania, uwzględniający trzy obszerne, dobrze określone i interesujące bloki tematyczne. Kompetentna pod względem statystycznym i informatycznym jest prezentacja narzędzi badawczych do analizy danych zaczerpniętych z systemu Syriusz STD oraz uzasadnienie stworzenia poza tym systemem narzędzi do obróbki plików wyeksportowanych w postaci surowej. Za wartościową i adekwatną do postawionego celu uznać należy propozycję konstrukcji kwestionariusza (narzędzia badawczego w badaniach sondażowych) do badania reprezentacyjnego, składającego się z czterech, scharakteryzowanych w ofercie modułów. Sposób zbierania danych w badaniu sondażowym został podany (wywiady indywidualne bezpośrednie, ang. face-to-face), ale mało wyczerpująco uzasadniony. Brak w ofercie gotowych narzędzi badawczych (do badań jakościowych i sondażowych), nie oznacza wprost braku projektów narzędzi badawczych. Zamawiający w SIWZ (tj. w OPZ) zawarł informację, że „Zamawiający zastrzega sobie prawo do akceptacji narzędzi badawczych...". Tym samym założył, że * projekty proponowanych narzędzi badawczych, zawarte w ofertach Wykonawców, mają charakter wstępny tzn. nie mają charakteru ostatecznego i będą modyfikowane i muszą być akceptowane przez Zamawiającego w trakcie realizacji przedmiotu zamówienia (tj. realizacji umowy). Zamawiający w SIWZ (tj. w OPZ) zawarł informację, że „... W przypadku planowanego przeprowadzenia badań jakościowych Wykonawca powinien przygotować oraz szczegółowo opisać w ofercie poszczególne kroki niezbędne do wykonania takich badań (np. sposób doboru respondentów, szacunkowa liczba respondentów, technika badania, zakres merytoryczny badania)...". Tym samym nie sprecyzował dokładnie co powinny zawierać projekty proponowanych narzędzi badawczych w badaniach jakościowych, zawarte w ofertach Wykonawców. W konsekwencji UMK w Toruniu opisał w swojej ofercie sposób doboru respondentów, szacunkową liczbę respondentów w planowanych badaniach jakościowych oraz opisał technikę badania i zakres merytoryczny badania jakościowego. UMK w Toruniu przyjął założenie, że projekty proponowanych narzędzi badawczych zarówno w badaniach jakościowych jak i ilościowych, mają charakter wstępny tzn. nie mają charakteru ostatecznego i będą modyfikowane i muszą być akceptowane przez Zamawiającego w trakcie realizacji przedmiotu zamówienia(tj. realizacji umowy). W opinii Zamawiającego dokonana ocena fragmentu oferty UMK w Toruniu, jest w pełni zgodna z kryteriami ocen określonymi w SIWZ („3 pkt. - zaproponowane przez Wykonawcę narzędzia badawcze będą adekwatne (odpowiadające) do proponowanych metod i technik badawczych"). Zdaniem Zamawiającego zaproponowane przez UMK w Toruniu, ofercie narzędzia badawcze są adekwatne (tj. odpowiadające) do proponowanych metod i technik badawczych. Ponadto, zgodnie z postanowieniami określonymi w SIWZ - „2 pkt. -dodatkowo, otrzyma Wykonawca, który przedstawi w ofercie wyczerpujące uzasadnienie dla proponowanych narzędzi badawczych" - w tej kwestii, członkowie Komisji przetargowej, oceniający oferty, nie byli jednomyślni w ocenie. Jedni uznali uzasadnienia dla proponowanych narzędzi badawczych za wyczerpujące i przyznali dodatkowe 2 punkty, inni uznali, że uzasadnienie dla proponowanych narzędzi badawczych nie jest wyczerpujące i nie przyznali dodatkowych 2 punktów. Liczba punktów w kryterium 3 (Metodologia badań i narzędzia badawcze) przyznana przez Komisję przetargową - 32,16 pkt. (zsumowana liczba punktów przyznanych przez członków komisji oceniających oferty i podzielona przez liczbę członków komisji oceniających oferty). Punktacja szczegółowa członków komisji przetargowej, oceniających oferty, w ramach tego kryterium oceny ofert nie była identyczna, różnica między najwyższą, a najniższą punktacja wyniosła 2 pkt. (zsumowana liczba punktów przyznanych przez członków komisji oceniających oferty i podzielona przez liczbę członków komisji oceniających oferty). Punktacja szczegółowa członków komisji przetargowej, oceniających oferty, w ramach tego kryterium oceny ofert. Łączna liczba punktów oferty merytorycznej (kryteria:11,33 + 32,16 + 10) = 53,49 pkt. Skład orzekający Krajowej Izby Odwoławczej, po przeprowadzeniu rozprawy w przedmiotowej sprawie, zapoznaniu się z postanowieniami SIWZ, ofertą Przystępującego, opiniami biegłych powołanych przez Zamawiającego Prof. Mirosława S. z Uniwersytetu Gdańskiego (Wydział Zarządzania) oraz Prof. Mariusza Z. z Politechniki Śląskiej w Gliwicach (Instytut Ekonomii i Informatyki), kartami indywidualnej oceny złożonych ofert poszczególnych członków komisji przetargowej, odwołaniem wraz z załącznikami, przystąpieniem, odpowiedzią na odwołanie, po wysłuchaniu oświadczeń, jak i stanowisk stron oraz Przystępującego złożonych ustnie do protokołu w toku rozprawy, ustalił i zważył, co następuje. W pierwszej kolejności skład orzekający Izby ustalił, że nie została wypełniona żadna z przesłanek skutkujących odrzuceniem odwołania w trybie art. 189 ust. 2 Pzp, a Wykonawca wnoszący odwołanie posiada interes w rozumieniu art. 179 ust. 1 Pzp, uprawniający go do złożenia odwołania, przy założeniu potwierdzenia się zarzutów. Odwołujący, którego oferta została sklasyfikowana na drugim miejscu w rankingu oceny ofert, zaraz po ofercie uznanej za najkorzystniejszą, w przypadku potwierdzenia się podnoszonych zarzutów, ma szanse na uzyskanie przedmiotowego zamówienia. Skład orzekający Izby działając zgodnie z art. 190 ust. 7 Pzp dopuścił w niniejszej sprawie dowody: z dokumentacji postępowania o zamówienie publiczne nadesłanej przez Zamawiającego do akt sprawy w kopii potwierdzonej za zgodność z oryginałem o sygn. akt: KIO 69/12, postanowień SIWZ, oferty Przystępującego, opinii biegłych powołanych przez Zamawiającego Prof. Mirosława S. z Uniwersytetu Gdańskiego (Wydział Zarządzania) oraz Prof. Mariusza Z. z Politechniki Śląskiej w Gliwicach (Instytut Ekonomii i Informatyki), kart indywidualnej oceny złożonych ofert poszczególnych członków komisji przetargowej, odwołania wraz z załącznikami (kopii pisma Odwołującego do Zamawiającego z dnia 02.01.2012 r. w sprawie udostępnienie wglądu do dokumentacji przetargowej, wraz z potwierdzeniem otrzymania przez Zamawiającego, jak i kopii pisma Odwołującego złożonego u Zamawiającego dnia 05.01.2012 r. w sprawie udostępnienia wglądu do ocen indywidualnych, z potwierdzeniem przyjęcia przez Zamawiającego), przystąpienia oraz odpowiedzi na odwołanie. Przy rozpoznawaniu przedmiotowej sprawy skład orzekający Izby wziął pod uwagę także stanowiska i oświadczenia stron oraz Przystępującego złożonych ustnie do protokołu w toku rozprawy. Odnosząc się do podniesionych w treści odwołania zarzutów stwierdzić należy, że odwołanie zasługuje na uwzględnienie. Względem zarzutu naruszenia przez Zamawiającego art. 8 ust.1 Pzp, poprzez zatajenie przez Odwołującego dokumentacji przetargowej w części dotyczącej oceny poszczególnych członków komisji przetargowej, Izba uznała, że w/w zarzut został potwierdzony. Izba dokonała następujących ustaleń: Dnia 02.01.2012 r. Odwołujący przekazał Zamawiającemu wniosek w sprawie udostępnienie wglądu do dokumentacji przetargowej, tj. w oferty złożone w postępowaniu, indywidualne karty oceny ofert, jak i pozostałą dokumentację przetargową istotną z punktu widzenia postępowania przetargowego (np. pisma wzywające do uzupełnienia oferty, protokół postępowania). Wskazywał dzień 05.01.2012 r., jako odpowiedni dla wglądu. W dniu 05.01.2012 r. Odwołujący złożył u Zamawiającego pismo w sprawie udostępnienia wglądu do ocen indywidualnych. Stwierdził, że czyni niniejsze, albowiem podczas pierwotnie zawnioskowanego wglądu przedstawiono jedynie protokół zbiorczy, o którym nie zawarto ocen poszczególnych członków i ich uzasadnienia. Zgodnie z Rozdz. 7. SIWZ: „Ocena ofert – kryteria oceny”, pkt 7.2. Sposób oceny ofert, ppkt 7.2.1: „Zamawiający będzie oceniał oferty przyznając ofertom punkty, z zastosowaniem następujących zasad: (…….) Kryterium nr 2 : W kryterium „Identyfikacja problemów badawczych i operacjonalizacja celów badania”, każdy z członków Komisji przetargowej (oceniających oferty) indywidualnie dokona oceny, przedstawionej przez Wykonawcę propozycji identyfikacji problemów badawczych i operacjonalizacji celów badania , które będą mogły być wykorzystane w trakcie realizacji przedmiotu zamówienia. (…) Kryterium nr 3: W kryterium „Metodologia badań i narzędzia badawcze”, każdy z członków Komisji przetargowej (oceniających oferty) indywidualnie dokona oceny, przedstawionej przez Wykonawcę propozycji Metodologii badań i narzędzi badawczych, które będą mogły być wykorzystane w trakcie realizacji przedmiotu zamówienia. (…) Kryterium nr 4: W kryterium „Plan badań, sposób organizacji i harmonogram realizacji przedmiotu zamówienia”, każdy z członków Komisji przetargowej (oceniających oferty) indywidualnie dokona oceny, przedstawionej przez Wykonawcę propozycji Planu badań, sposobu organizacji i harmonogramu realizacji przedmiotu zamówienia, które będą mogły być wykorzystane w trakcie realizacji przedmiotu zamówienia. (….) Z kolei w ppkt 7.2.2 wskazanego wyżej rozdziału wskazuje się, że: „Punkty za kryteria ( i podkryteria), o których mowa w pkt. 7.2.1 SIWZ przyznane przez poszczególnych członków Komisji Przetargowej dokonujących oceny zostaną w ramach każdego kryterium (podkryterium) zsumowane, a następnie zostanie wyciągnięta średnia arytmetyczna z każdej sumy. Średnia arytmetyczna zostanie zaokrąglona do dwóch miejsc po przecinku.”. Natomiast w ppkt 7.2.3 wskazanego wyżej rozdziału stwierdza się, że: „Liczby punktów, o których mowa w pkt. 7.2.2 zostaną wpisane do protokołu postępowania, a następnie, po zsumowaniu stanowić będą końcową ocenę oferty.”. Biorąc pod uwagę powyższe ustalenia, Izba stwierdziła co następuje. W ramach rozprawy Zamawiający wyjaśnił, że odmówił udostępnienia kart indywidualnej oceny złożonych ofert przez członków komisji przetargowej z uwagi na zmiany w przepisach wykonawczych do Pzp, tzn. zmiany wprowadzone Rozporządzeniem z dnia 26.10.2010 r. w sprawie protokołu postępowania o udzielnie zamówienia publicznego (Dz. U. z 2010 r., Nr 223, poz. 1458) zwanego dalej: „Rozporządzeniem w sprawie protokołu” w wyniku których, z mocy prawa niniejsze karty przestały być obowiązkowym elementem protokołu, tzn. załącznikiem do protokołu. Izba nie podzieliła w przedmiotowym stanie faktycznym stanowiska Zamawiającego. Nie można zaprzeczyć, że w wyniku wskazywanej zmiany brak jest, tak jak dotychczas oddzielnych druków ZP – stanowiących karty indywidualnej oceny złożonych ofert przez członków komisji przetargowej. Jednakże, zgodnie z uzasadnieniem do Rozporządzeniem w sprawie protokołu zmiana miała na celu zapewnienie przejrzystości i jasności protokołu postępowania. Zrezygnowano ze skomplikowanego systemu odesłań z protokołu do dużej liczby druków dodatkowych w ten sposób, aby informacje zawarte dotąd w drukach dodatkowych były zamieszczone bezpośrednio w treści protokołu oraz wyłącznie w zakresie, w jaki jest to konieczne. Dotychczasowa liczba 14 druków została ograniczona do tylko jednego druku. W ramach pkt 13 wzoru protokołu: „ocena ofert” istnieje obowiązek podania punktacji, jaką otrzymała dana oferta. Do wzoru protokołu dodano na końcu m.in. część, w ramach którego należy wymienić załączniki do protokołu: „proponuje się, by w tej części Zamawiający wymienił wszystkie dokumenty, informacje, oświadczenia, itp. zgromadzone w toku przygotowania i prowadzenia postępowania, a składające się na dokumentacje postępowania o udzielenie zamówienia publicznego, co będzie odpowiadać treści art. 96 ust.2 [Pzp], a także ustawowemu upoważnieniu do określenia w rozporządzeniu zakresu dodatkowych informacji zawartych w protokole (…)”. „Proponuje się, aby nie zmieniać obecnie obowiązujących podstawowych zasad dotyczących udostępnienia protokołu oraz załączników do protokołu (…) (§ 5 projektu rozporządzenia)”. W ocenie Izby, z postanowień SIWZ (Rozdz. 7 pkt 7.2, ppkt. 7.2.1 i 7.2.2), wynika jednoznacznie indywidualna ocena złożonych ofert przez członków komisji przetargowej, wobec powyższego należy uznać, że członkowie Komisji Przetargowej w związku z pisemnością postępowania dokonają stosownej oceny na oddzielnych kartach, stanowiących inne dokumenty, oświadczenia i informacje składane przez Zamawiającego (art. 96 ust. 2 Pzp), zgromadzone w toku przygotowania i prowadzenia postępowania, a składające się na dokumentacje postępowania o udzielenie zamówienia publicznego, i jako takie stanowiące bezsprzecznie załączniki do protokołu. W konsekwencji winny zostać one udostępnione na wniosek Odwołującego. Izba wskazuje, że nie tylko we wniosku z dnia 05.01.2012 r., ale także we wniosku z dnia 02.01.2012 r. Odwołujący sformułował żądanie w tym zakresie. Jednocześnie, należy zauważyć, że mimo, iż zarzut nie odnosi się wprost do zaniechania udostępnienia opinii sporządzonych przez biegłych powołanych przez Zamawiającego. Wniosek z dnia 02.01.2012 r. odnosi się także do pozostałej dokumentacji przetargowej istotnej z punktu widzenia postępowania przetargowego, bezsprzecznie opinie biegłych mają taki walor. Nie zmienia to jednakże faktu, iż Odwołujący nie skorzystał z przysługującemu ma prawa wglądu do akt sprawy odwoławczej, w tym dokumentacji nadesłanej przez Zamawiającego (§ 8 ust. 2 Rozporządzenia Prezesa Rady Ministrów z dnia 22 marca 2010 r. w sprawie regulaminu postępowania przy rozpoznawaniu odwołań (Dz. U. Nr 48 poz. 280). W konsekwencji Izba, zgodnie z wnioskiem Odwołującego, zobowiązuje Zamawiającego do zapewnienia pełnej jasności postępowania zgodnie z art. 8 ust.1 Pzp, w tym w szczególności w obszarze oceny ofert. Biorąc powyższe pod uwagę, Izba uznała jak na wstępie. Względem zarzutu naruszenia przez Zamawiającego art. 91 ust.1 Pzp, poprzez dokonanie oceny ofert w sposób niezgodny z postanowieniami SIWZ, Izba uznała, że w/w zarzut został także potwierdzony. Izba dokonała następujących ustaleń: Zgodnie z Rozdziałem 4. SIWZ: „Opis sposobu przygotowania ofert”, pkt 4.1 „Wymogi formalne oferty”, ppkt 4.1.1 Oferta musi spełniać następujące wymogi: (litera a.) „oferta merytoryczna musi zawierać Szczegółowy opis sposobu realizacji przedmiotu zamówienia sporządzony zgodnie z zapisami zawartymi w „Szczegółowym opisie przedmiotu zamówienia” stanowiącym Załącznik nr 1 do SIWZ, opatrzony podpisem osoby uprawnionej. W ofercie merytorycznej, każdy Wykonawca powinien zawrzeć następujące elementy:. 1).Identyfikacja problemów badawczych i operacjonalizacja celów badania (w tym: identyfikacja i sformułowanie problemów badawczych; operacjonalizacja szczegółowych celów badania); 2). Metodologia badań i narzędzia badawcze (w tym: odniesienie się do wyników badań i teorii naukowych dotyczących przedmiotu badania; proponowane metody i techniki badawcze; propozycje instrumentów/narzędzi zapewniających rzetelność uzyskanych informacji i danych; kryteria wyboru do badania nie mniej niż 7 krajów UE i OECD; kryteria i sposób doboru do badania co najmniej 6 lokalnych rynków pracy w Polsce; projekty proponowanych narzędzi badawczych; opis wstępnych założeń do konstrukcji modelu ekonometrycznego); 3). Plan badań, sposób organizacji i harmonogram realizacji przedmiotu zamówienia (w tym: plan pracy oraz rozdysponowanie i podział zadań pomiędzy członkami Zespołu badawczego; uwzględnianie ścieżki krytycznej dla całego projektu, ścieżki krytycznej dla działań współzależnych oraz uwzględnienie terminów i cząstkowych rezultatów działań/kamieni milowych; koncepcja organizacji i przeprowadzenia 16 seminariów regionalnych). Na podstawie informacji zawartych w Szczegółowym opisie sposobu realizacji przedmiotu zamówienia zostanie dokonana ocena oferty w zakresie kryteriów nr 2, nr 3 i nr 4 oceny ofert, o których mowa w pkt. 7.2.1 SIWZ.”. Z kolei zgodnie z Rozdz. 7. SIWZ: „Ocena ofert – kryteria oceny” określono, że (pkt 7.1 - Kryteria) Zamawiający dokona oceny ofert, które nie zostały odrzucone, na podstawie poniżej przedstawionych kryteriów oceny ofert: „Kryterium 1 Cena oferty – waga 40 pkt. (40%) Kryterium 2 Identyfikacja problemów badawczych i operacjonalizacja celów badania – waga 12 pkt. (12%) Kryterium 3 Metodologia badań i narzędzia badawcze – waga 36 pkt. (36%) Kryterium 4 Plan badań, sposób organizacji i harmonogram realizacji zamówienia – waga 12 pkt. (12%)” W ramach sposobu oceny ofert (pkt 7.2 wskazanego wyżej rozdziału), ppkt 7.2.1 Zamawiający będzie oceniał oferty przyznając ofertom punkty, z zastosowaniem następujących zasad: „(…) Kryterium nr 2: W kryterium „Identyfikacja problemów badawczych i operacjonalizacja celów badania”, każdy z członków Komisji przetargowej (oceniających oferty) indywidualnie dokona oceny, przedstawionej przez Wykonawcę propozycji identyfikacji problemów badawczych i operacjonalizacji celów badania, które będą mogły być wykorzystane w trakcie realizacji przedmiotu zamówienia. W tym kryterium, każdy z członków Komisji przetargowej (oceniających oferty) może przyznać określoną liczbę punktów z przedziału od 0 do 12, w podziale na opisane poniżej podkryteria, zdefiniowane przez Zamawiającego na potrzeby oceny ofert. Najwyższą liczbę punktów w ramach tego kryterium otrzyma oferta, w której opis identyfikacji problemów badawczych i operacjonalizacji celów badania będzie spójny i kompletny tj. zgodny z poniżej zdefiniowanymi kryteriami i celami zamówienia. Zamawiający zakłada, że zastosowanie takiej identyfikacji problemów badawczych i operacjonalizacji celów badania pozwoli osiągnąć cele zamówienia, o których mowa w Załączniku nr 1 do SIWZ (OPZ). Ocena będzie dokonywana z zastosowaniem następujących podkryteriów: 2.1 identyfikacja i sformułowanie problemów badawczych, w tym uszczegółowienie pytań/problemów badawczych, o których mowa w Załączniku nr 1 do SIWZ/OPZ oraz propozycja dodatkowych pytań/problemów badawczych. Uszczegółowione pytania/problemy badawcze muszą odpowiadać zakresowi badania – (0-5pkt.); Oceniane w następujący sposób: 0 pkt. – brak identyfikacji i sformułowania problemów badawczych, lub zidentyfikowane i sformułowane problemy badawcze będą jedynie powtórzeniem treści zawartych w załączniku 1 do SIWZ, dotyczących problemów badawczych, 3 pkt. – otrzyma oferta, w której dokonana przez Wykonawcę identyfikacja i sformułowanie problemów badawczych będą pełne i wyczerpujące, 2 pkt. - dodatkowo otrzyma oferta, w której przedstawione problemy badawcze zostaną odpowiednio uszczegółowione i wzajemnie powiązane wraz z uzasadnieniem (adekwatnie do opisu kontekstu badania i celów zamówienia zawartych w załączniku 1 do SIWZ); 2.2 operacjonalizacja celów szczegółowych badania, tj. wskazanie roboczych celów badania i wstępnych hipotez badawczych, które będą odzwierciedlać przedstawione wcześniej szczegółowe problemy badawcze oraz wskazanie źródeł danych, które zostaną użyte w trakcie realizacji badań, wraz z uzasadnieniem celowości wyboru konkretnego źródła w kontekście realizacji celów badania, z uwzględnieniem kontekstu naukowo-badawczego– (0-7pkt.). Oceniane w następujący sposób: 0 pkt. – brak operacjonalizacji celów badania tj. brak roboczych celów badania, wzajemnie powiązanych i ustrukturalizowanych (zhierarchizowanych), brak wstępnych hipotez badawczych, które będą odzwierciedlać przedstawione wcześniej szczegółowe problemy badawcze lub brak wskazania źródeł danych, które zostaną użyte w trakcie realizacji badań, 3pkt. - otrzyma oferta, w której przedstawiona przez Wykonawcę operacjonalizacja celów badania będzie kompletna tj. obejmująca robocze cele badania i zawierająca wstępne hipotezy badawcze, 2pkt. – dodatkowo otrzyma oferta, w której przedstawione przez Wykonawcę (w ramach operacjonalizacji celów badania) wstępne hipotezy badawcze będą wzajemnie powiązane i odpowiednio ustrukturalizowane wraz z uzasadnieniem (adekwatnie do celów określonych w Załączniku nr 1 do SIWZ), 2 pkt. – dodatkowo otrzyma oferta, w której Wykonawca przedstawi operacjonalizację celów badania odpowiednio uszczegółowioną tj. zawierającą w opisie celów badania informacje dotyczące istoty i źródła (wskazanie źródeł) danych, które zostaną użyte w trakcie realizacji badań wraz z uzasadnieniem celowości wyboru konkretnego źródła w kontekście realizacji celów badania, z uwzględnieniem kontekstu naukowo-badawczego. Punkty za kryterium „Identyfikacja problemów i operacjonalizacja celów badania” zostaną przyznane w skali punktowej do 12 pkt., zgodnie z punktacją szczegółową za poszczególne podkryteria opisaną w pkt. 7.1 SIWZ. Sposób obliczenia punktacji w kryterium 2: Liczba punktów zdobytych w kryterium 2 przez ofertę badaną Ocena punktowa = ........................................................................................... x 12pkt. Największa możliwa liczba punktów w ocenianym kryterium Kryterium nr 3: W kryterium „Metodologia badań i narzędzia badawcze”, każdy z członków Komisji przetargowej (oceniających oferty) indywidualnie dokona oceny, przedstawionej przez Wykonawcę propozycji Metodologii badań i narzędzi badawczych, które będą mogły być wykorzystane w trakcie realizacji przedmiotu zamówienia. W tym kryterium, każdy z członków Komisji przetargowej (oceniających oferty) może przyznać określoną liczbę punktów z przedziału od 0 do 36, w podziale na opisane poniżej podkryteria, zdefiniowane przez Zamawiającego na potrzeby oceny ofert. Najwyższą liczbę punktów w ramach tego kryterium otrzyma oferta, w której opis Metodologii badań i narzędzi badawczych będzie spójny i kompletny tj. zgodny z poniżej zdefiniowanymi podkryteriami i celami zamówienia. Zamawiający zakłada, że zastosowanie takiej Metodologii badań i narzędzi badawczych pozwoli osiągnąć cele zamówienia, o których mowa w Załączniku nr 1 do SIWZ (OPZ). Ocena będzie dokonywana z zastosowaniem następujących podkryteriów: (….) 3.2 proponowane metody i techniki badawcze z uzasadnieniem celowości ich zastosowania; w opisie powinna się znaleźć prezentacja zarówno metod badawczych, o których mowa w Załączniku nr 1 do SIWZ/OPZ, jak też inne metody oraz techniki badawcze zaproponowane przez Wykonawcę (0-5pkt.); Oceniane w następujący sposób: 0 pkt. – brak proponowanych metod i technik badawczych lub proponowane metody i techniki badawcze będą jedynie powtórzeniem treści zawartych w załączniku 1 do SIWZ, dotyczących metod i technik badawczych, 1,5 pkt. – otrzyma oferta, która będzie zawierała trafny dobór proponowanych metod badawczych do celów badania, 1,5 pkt. – dodatkowo otrzyma oferta, która będzie zawierała adekwatny do proponowanych metod badawczych dobór konkretnych technik badawczych (przyporządkowanie proponowanym metodom badawczym konkretnych technik badawczych), 2 pkt. – dodatkowo, otrzyma Wykonawca, który przedstawi w ofercie wyczerpujące i adekwatne uzasadnienie dla proponowanych metod i technik badawczych w kontekście przedmiotu badań i sformułowanych celów badawczych; 3.3 propozycje i opis instrumentów/narzędzi zapewniających rzetelność uzyskanych informacji i danych oraz zbierania jak najpełniejszego materiału badawczego umożliwiającego formułowanie obiektywnych i użytecznych wniosków, wraz z uzasadnieniem (0-3pkt.); Oceniane w następujący sposób: 0 pkt. – brak propozycji instrumentów/narzędzi zapewniających rzetelność uzyskanych informacji i danych oraz zbierania jak najpełniejszego materiału badawczego umożliwiającego formułowanie obiektywnych i użytecznych wniosków, 2 pkt. – wskazanie instrumentów/narzędzi zapewniających rzetelność uzyskanych informacji i danych oraz zbierania jak najpełniejszego materiału badawczego, 1 pkt. – dodatkowo, otrzyma Wykonawca, który przedstawi w ofercie wyczerpujące uzasadnienie dla proponowanych instrumentów/narzędzi zapewniających rzetelność uzyskanych informacji i danych oraz zbierania jak najpełniejszego materiału badawczego; (…) 3.5 kryteria i sposób doboru do badania co najmniej 6 zróżnicowanych lokalnych rynków pracy wraz z uzasadnieniem oraz proponowany sposób doboru/konstrukcji prób badawczych, na każdym z proponowanych, lokalnych rynków pracy w Polsce, w kontekście proponowanych metod i technik badawczych – (0-11 pkt.); Oceniane w następujący sposób: 0 pkt. – brak propozycji kryteriów i opisu sposobu wyboru do badania co najmniej 6 zróżnicowanych lokalnych rynków pracy w Polsce i brak opisu doboru/konstrukcji prób badawczych na każdym z proponowanych do badania, lokalnym rynku pracy w Polsce, 2 pkt. – wskazanie konkretnych i precyzyjnych kryteriów doboru do badania co najmniej 6 zróżnicowanych lokalnych rynków pracy w Polsce. Wykonawca może zaproponować do badania większą liczbę (niż 6) zróżnicowanych lokalnych rynków pracy w Polsce, z tym że nie wpłynie to na wysokość oceny, 3 pkt. – dodatkowo otrzyma Wykonawca za przedstawienie w ofercie wyczerpującego uzasadnienia wyboru do badania, co najmniej 6, zróżnicowanych lokalnych rynków pracy w Polsce. Wykonawca może przedstawić w ofercie wyczerpujące uzasadnienie wyboru do badania większej liczby (niż 6) zróżnicowanych lokalnych rynków pracy w Polsce, z tym że nie wpłynie to na wysokość oceny, 2 pkt. – dodatkowo otrzyma Wykonawca za wskazanie adekwatnego (odpowiadającego) do proponowanych metod i technik badawczych sposobu/sposobów doboru/konstrukcji prób badawczych, na co najmniej 6, zróżnicowanych lokalnych rynkach pracy w Polsce, 2 pkt. – dodatkowo otrzyma Wykonawca za przedstawienie w ofercie wyczerpującego uzasadnienia dla proponowanego sposobu/sposobów doboru/konstrukcji prób badawczych na każdym z proponowanych, co najmniej 6, zróżnicowanych lokalnych rynkach pracy w Polsce. 2 pkt. – dodatkowo otrzyma Wykonawca, który przedstawi i opisze w ofercie sposoby dotarcia do różnych grup respondentów w badaniach ilościowych i jakościowych na każdym z proponowanych (co najmniej 6) zróżnicowanych lokalnych rynkach pracy w Polsce. 3.6 projekty proponowanych narzędzi badawczych w kontekście proponowanych metod i technik badawczych wraz z uzasadnieniem (0-5pkt.); Oceniane w następujący sposób: 0 pkt. – brak propozycji narzędzi badawczych w kontekście proponowanych metod i technik badawczych, lub proponowane narzędzia badawcze będą nieadekwatne (nieodpowiadające) do proponowanych metod i technik badawczych, 3 pkt. – zaproponowane przez Wykonawcę narzędzia badawcze będą adekwatne (odpowiadające) do proponowanych metod i technik badawczych, 2 pkt. – dodatkowo, otrzyma Wykonawca, który przedstawi w ofercie wyczerpujące uzasadnienie dla proponowanych narzędzi badawczych; (……) Punkty za kryterium „Metodologia badań i narzędzia badawcze” zostaną przyznane w skali punktowej do 36 pkt., zgodnie z punktacją szczegółową za poszczególne podkryteria opisaną w pkt 7.1 SIWZ. Sposób obliczenia punktacji w kryterium 3: Liczba punktów zdobytych w kryterium 3 przez ofertę badaną Ocena punktowa = ........................................................................................... x 36pkt. Największa możliwa liczba punktów w ocenianym kryterium”. Zgodnie z odpowiedzią na odwołania członkowie komisji przetargowej zapoznali się z opiniami biegłych powołanych przez Zamawiającego Prof. Mirosława S. z Uniwersytetu Gdańskiego (Wydział Zarządzania) oraz Prof. Mariusza Z. z Politechniki Śląskiej w Gliwicach (Instytut Ekonomii i Informatyki) przed przyznaniem punktacji w ramach kart indywidualnej oceny złożonych ofert. Izba z uwagi na obszerny charakter tak opinii, jak i uzasadnień przyznawanej punktacji odniesie się do kwestii zasadniczych, które zadecydowały o uwzględnieniu odwołania, w kwestiach szczegółowych odsyłając do wskazanych dokumentów, jak i argumentacji Zamawiającego z rozprawy. Biorąc pod uwagę powyższe ustalenia, Izba stwierdziła co następuje. W pierwszej kolejności, Izba wskazuje, że wobec faktu, że w toku rozprawy okazało się, że Zamawiający i Odwołujący w sposób odmienny rozumieją sposób przyznawania punktacji według kryteriów oceny ofert dotyczących elementów merytorycznych złożonych ofert – kryterium od 2 do 4, konieczne było ustalenie, czy dopuszczalne było zakresowe, czy też zero/jedynkowe przyznawanie punktacji. Przedmiotowe miało fundamentalne znaczenie także wobec zakwestionowanej punktacji w odniesieniu do kryterium 2 i 3. Odwołujący sformułował zarzuty, co do prawidłowości punktacji względem podkryterium 2.1 i 2.2 (kryterium 2) oraz podkryetrium 3.2, 3.3, 3.5 i 3.6 (kryterium 3). Izba po analizie, całokształtu zgromadzonego materiału dowodowego oraz argumentacji Zamawiającego i Przystępującego, jak i postanowień SIWZ, wskazuje, że ocena ofert – punktacja winna zostać przeprowadzona zgodnie z określonymi kryteriami zawartymi w Rozdz. 7 SIWZ, nie zaś w odniesieniu do pozostałych ofert, jak wskazywał na rozprawie Zamawiający. Należy zauważyć, że w „swoistych preambułach” do podkryterium 2 i 3 stwierdza się, że: „każdy z członków Komisji przetargowej (oceniających oferty) może przyznać określoną liczbę punktów z przedziału od 0 do 12, w podziale na opisane poniżej podkryteria, zdefiniowane przez Zamawiającego na potrzeby oceny ofert. (….) Ocena będzie dokonywana z zastosowaniem następujących podkryteriów: (….)”. Zaś, po wskazaniu każdego z podkryterium w ramach kryterium 2 i 3 każdorazowo Zamawiający uściśla, że niniejsze podkryteria będą: „Oceniane w następujący sposób”. Z powyższych postanowień SIWZ wynika niezbicie, że punktacja może zostać przyznana tylko według zasad wskazanych dla danego podkryterium np. podkryterium 2.1 (0 pkt, 3 pkt oraz dodatkowo 2 pkt), dla podkryterium 2.2 (0 pkt, 3 pkt, dodatkowo 2 pkt oraz także kolejne dodatkowe 2 pkt), dla podkryterium 3. 2 (0 pkt., 1,5 pkt, dodatkowo 1,5 pkt oraz także kolejne dodatkowe 2 pkt), dla podkryterium 3.3 (0 pkt., 2 pkt, dodatkowo 1 pkt), dla podkryterium 3.5 (0 pkt., 2 pkt, dodatkowo 3 pkt, kolejne dodatkowe 2 pkt, kolejne dodatkowe 2 pkt oraz także kolejne dodatkowe 2 pkt) i dla podkryterium 3.6 (0 pkt, 3 pkt oraz dodatkowe 2 pkt). Wymienione punkty można było uzyskać pod warunkiem spełnienia określonych warunków, tzn. elementów, które będzie zawierała merytoryczna część oferty: „Na podstawie informacji zawartych w Szczegółowym opisie sposobu realizacji przedmiotu zamówienia zostanie dokonana ocena oferty w zakresie kryteriów nr 2, nr 3 i nr 4 oceny ofert, o których mowa w pkt. 7.2.1 SIWZ.” (Rozdz. 4, pkt 4.1, ppkt. 4.1.1 SIWZ). Izba rozumie argumentacje Zamawiającego z rozprawy w przedmiotowym zakresie, jednakże interpretacja kryteriów przedstawiona na rozprawie, nie ma wystarczających podstaw w postanowieniach SIWZ. Wskazane powyżej postanowienia SIWZ mają charakter niebudzący żadnych wątpliwości i wiodący (w odróżnieniu od przywołanych przez Zamawiającego na rozprawie), inne rozumienie wypacza sens wskazanych postanowień. W ocenie Izby, fakt, że określone sformułowania będące elementem oceny w ramach danego podkryterium mają charakter nieprecyzyjny, co przyznał Zamawiający na rozprawie, nie daję podstaw do stopniowania przyznawanej punktacji w oderwaniu od przyjętych przez Zamawiającego w SIWZ kryteriów. Złożone oferty nie powinny być oceniane w stosunku do siebie, lecz w odniesieniu do postanowień SIWZ, które określały modelową ofertę. Okoliczność, że członkowie Komisji Przetargowej nie uzasadniali w jakikolwiek sposób nie przyznanie max. ilości punktów, przy jednoczesnym całkowicie pozytywnym uzasadnieniu w danym podkryetrium (np. 2.1, czy też 2.2), jak i przyznawali punktacje (określoną ilość punktów), którą nie można było uzyskać przy uwzględnieniu obowiązujących zasad przyznawania określonej ilości punktów (podkryetrium 3.3), stanowi wystarczającą podstawę do uwzględnienia odwołania, tym bardziej że stanowi to okoliczność przyznaną przez Zamawiającego, z uwagi na zastosowany zakresowy sposób przyznawania punktacji. Jednocześnie, należy wskazać, że autorem SIWZ jest Zamawiający, i ponosi w związku z powyższym wszelkie konsekwencje wynikające z tego faktu. Jeżeli, dany element zawarty w opis danego podkryterium, w którym wskazywano, ile punktów i za co należy przyznać, nie jest spełniony przez danego Wykonawcę w pełni, a tylko częściowo, to z uwagi na brak możliwości stopniowania punktacji i zero/jedynkowy charakter oceny wynikający z przywołanych postanowień SIWZ, mamy do czynienia z sytuacją w ramach, której dany Wykonawca nie jest uprawniony do uzyskania punktacji za dany element. Naturalnie w razie wątpliwości istnieje możliwość wezwania do wyjaśnień (art. 87 ust.1 Pzp), przy czym nie mogą one prowadzić do zmiany oferty. Poza tym, ugruntowane jest w orzecznictwie stanowisko, że wszelkie niejasności postanowień SIWZ, winny być interpretowane na korzyść Wykonawcy. Izba nie zamierza polemizować z opiniami biegłych, także Odwołujący co do zasady, tak stwierdził na rozprawie, jednakże Odwołującego budził wątpliwości sposób przyznawania punktacji przez Zamawiającego (Zamawiający uniemożliwił zapoznanie się z kartami indywidualnej oceny ofert członków Komisji Przetargowej). Należy także zauważyć, że opinie biegłych zostały wzięte przez członków Komisji Przetargowej pod uwagę, ale miały one charakter posiłkowy, każdorazowo, każdy z członków przyznawał punktacje samodzielnie. Ustalenia dokonane przez Izbę w toku rozprawy i zgromadzony materiał dowodowy, potwierdził, iż Zamawiający przyznawał punktacje przy założeniu, jak stwierdził w odpowiedzi na odwołanie, że: „(...) należy rozpatrywać liczbę uzyskiwanych punktów za wypełnienie danego kryterium nie tylko w sposób absolutny ale przede wszystkim w relacji do innych ofert”, czyli przy założeniu dużego poziomu abstrakcyjności wobec zasad, które sam określił w Rozdz. 7 SIWZ. Izba nie zamierza odnosić się do kwestii stricte merytorycznych, uznając, że kwestie formalne związane z zasadami przyznawania punktacji mają charakter fundamentalny, i jako takie stanowią wystarczającą podstawę do uwzględnienia odwołania. Fakt, że Odwołujący nie znał, ani kart indywidualnej oceny ofert, ani też opinii biegłych powołanych przez Zamawiającego także nie pozostaje bez wpływu na stanowisko przyjęte przez Izbę. Należy jedynie wskazać, że opinia drugiego biegłego (Prof. Mariusza Z. z Politechniki Śląskiej w Gliwicach (Instytut Ekonomii i Informatyki), nie jest tak jednoznaczna jak opinia biegłego obecnego na rozprawie (Prof. Mirosława S. z Uniwersytetu Gdańskiego (Wydział Zarządzania), m.in. wskazał na str. 2, 3, 4, 5, 6 i 7 swojej opinii zastrzeżenia w zakresie oferty Przystępującego w zakresie podkryterium 2.1, 2.2, 3.2, 3.3, 3.5 oraz częściowo 3.6. Niniejsze zastrzeżenia przynajmniej w pewnej części korelują z merytorycznymi zarzutami Odwołującego. W ocenie Izby, stwierdzone naruszenie może mieć istotny wpływ na wynik postępowania, ponieważ może doprowadzić do wyboru innego wykonawcy w postępowaniu niż dotychczas, z uwagi przede wszystkim na ocenny charakter spornego kryterium oceny ofert oraz odmienny sposób przyznawania punktacji. Biorąc powyższe pod uwagę, Izba uznała jak na wstępie. W tym stanie rzeczy, Izba uwzględniła odwołanie na podstawie art. 192 ust. 1 zdanie pierwsze i ust. 2 Pzp oraz orzekła jak w sentencji na podstawie art. 192 ust. 3 pkt 1 Pzp. O kosztach postępowania orzeczono stosownie do wyniku na podstawie art. 192 ust. 9 i 10 Pzp, a także w oparciu o § 5 ust. 2 pkt 1 i ust. 4 w zw. z § 3 pkt 1 lit. a i pkt 2 lit. b rozporządzenia Prezesa Rady Ministrów z dnia 15 marca 2010 r. w sprawie wysokości i sposobu pobierania wpisu od odwołania oraz rodzajów kosztów w postępowaniu odwoławczym i sposobu ich rozliczania (Dz. U. z 2010 r. Nr 41, poz. 238). Izba uznała wniosek Odwołujący o zasądzenie kosztów wynagrodzenia pełnomocnika uznając za uzasadnione koszty w kwocie 3.600,00 zł, tj. zgodnie z przedłożonym rachunkiem (§ 3 pkt 2 lit. b w/w rozporządzenia). Przewodniczący: ………………………………