The Polish Championship in Software Testing and the biggest testing conference. Join us - become the champion!

A qualification round

March 7 12:00

Task 1

Testing of an application distributed by us and reporting the most critical - to your judgement - defects. Altogether you report ONLY 8 defects, main 5 will be evaluated. 3 reserve defects will be evaluated if draws occur. You have 24h for this.

Completed

Task 2

Evaluating your own work - during that stage you match defects already reported by you with the ones known to comission or assign them to other category (inter alia: duplicate, non reproducible etc). You have 24h for this.

Completed

Application prepared by

ALERT:

Method of reporting and evaluating will be published not later than start time of qualification round.

Our terms of use is filled with many rules, not adhering to them may end in disqualification. It is a result of experiences from the last year's competition and we ask for getting familiar with the Terms of use in order to avoid unpleasant consequences.

Questions and answers

How many reports does a team have to prepare?

One report. Only captain of a team reports.

If I send 6 "main" defects, will I be disqualified?

YES. 5 "main" defects have to be sent.

If I evaluate my report incorrectly, will I be disqualified

NO. Comission will modify evaluation according to their own internal guidelines.

There is an info in the Term of use, stating that a duplicate makes 0 points. Is it a duplicate of a defect already reported by me (one of 8) or is there any shared database and a rule - finders keepers? With finders keepers rule, it would be nice to know earlier, in order to reserve time till 12:00.

There won't be a shared database. The duplicate refers to your own report.

From the Terms of use of qualification round: "In qualification round, acknowledged defects are only those, that can be reproduced on one of the testing environments of Jury. Jury operates on 10 popular configurations. Defects that cannot be reproduced on any of those configurations - will not be acknowledged in the final classification after qualification round." -> Will those configurations be shared as a public information?

Detailed information about the configurations will not be shared. The configurations are based on analysis of the most popular environments according to ranking.pl. Suitable hardware for qualification round is described in the general Terms of Use of the Championship.

Terms of Use

Regulamin Kwalifikacji do Mistrzostw Polski w testowaniu oprogramowania TestingCup 2017

§1 Wstęp

1. Niniejszy Regulamin jest uzupełnieniem Regulaminu Mistrzostw Polski w testowaniu oprogramowania i odnosi się tylko do Kwalifikacji.

2. Podczas Kwalifikacji obowiązują:

a. Regulamin Kwalifikacji do Mistrzostw Polski w Testowaniu Oprogramowania (niniejszy dokument).

b. Regulamin Mistrzostw Polski w Testowaniu Oprogramowania ( http://testingcup.pl/regulamin.html ).

3. Celem Kwalifikacji jest wyłonienie uczestników Mistrzostw Polski w Testowaniu oprogramowania.

§2 Przebieg

1. Kwalifikacje rozpoczynają się dnia 7 marca 2017 r. o godzinie 12:00

2. Kwalifikacje polegają na:

a. Testowaniu dostarczonej aplikacji i raportowaniu defektów.

b. Ocenie własnych defektów poprzez przypisanie każdego z nich do kategorii:

i. znany defekt (wraz z referencją do tego defektu),

ii. nieznany defekt,

iii. duplikat (wraz z referencją do defektu którego jest duplikatem),

iv. defekt trywialny lub literówka,

v. “niedefektu”- rozumiane jako zachowanie aplikacji zgodne z oczekiwaniem bądź sugestia odnośnie funkcjonalności.

3. Od 7 marca 2017 r. od godziny 12:00 do 8 marca 2017 r. do godziny 12:00 uczestnicy kwalifikacji mają czas na szukanie i zgłoszenie defektów. Zgłoszenia dokonują wykorzystując metodę wybraną przez organizatora.

4. Od 9 marca 2017 r. od godziny 12:00 do 10 marca 2017 r. do godziny 12:00 uczestnicy kwalifikacji mają czas na przypisania własnych defektów do listy znanych defektów lub odpowiedniej kategorii. Po tym czasie defekty nieprzypisane do znanych defektów lub kategorii nie mają wpływu na klasyfikację, tj. nie zostaną uwzględnione podczas zliczania punktów.

5. W trakcie testowania uczestnicy mogą zgłosić:

a. 5 defektów najbardziej krytycznych tzw. “główne”, które są brane pod uwagę w ocenie prac,

b. 3 dodatkowe defekty tzw. “rezerwowe”, wykorzystywane tylko w przypadku remisu na granicy progu kwalifikującego.

6. W przypadku wysłania większej liczby defektów drużyna lub uczestnik indywidualny zostają zdyskwalifikowani.

7. W przypadku przekroczenia zdefiniowanych w Regulaminie terminów i godzin drużyna lub uczestnik indywidualny zostają zdyskwalifikowani.

8. W kwalifikacjach brane są pod uwagę tylko defekty reprodukowalne na jednym ze środowisk testowych Komisji Sędziowskiej. Komisja Sędziowska dysponuje 10 popularnymi konfiguracjami. Defekty których nie uda się zreprodukować na którymkolwiek z tych środowisk nie będą brane pod uwagę w końcowej klasyfikacji po kwalifikacjach.

9. Jeśli w jednym zgłoszeniu defektu znajduje się ich dwa lub więcej, punktacji dokonuje się na podstawie najmniej krytycznego defektu.

10. Punktacja:

a. Każdy defekt znany przed rozpoczęciem kwalifikacji ma przypisaną punktację: 0,1,2,5,7 lub 10 punktów. Punktacja jest związana z ważnością defektu. Przypisania punktacji dokonuje Komisja Sędziowska.

b. Każdy nieznany defekt zostanie zweryfikowany przez Komisję Sędziowską i zostanie mu przypisana punktacja. Przypisania punktacji dokonuje Komisja Sędziowska.

c. Za zgłoszenie niereprodukowalne (patrz §2.8 niniejszego dokumentu) uczestnicy otrzymują 0 punktów.

d. Za duplikat uczestnicy otrzymują 0 punktów.

e. Za defekt trywialny bądź literówkę uczestnicy otrzymują 1 punkt.

f. Za “niedefekt” uczestnicy otrzymują 0 punktów.

11. Komisja Sędziowska dokona weryfikacji przypisania defektu (dokonanego przez zawodników indywidualnych lub drużyny) do danej kategorii i referencji i w razie potrzeby zmieni je na poprawne.

12. Ostatecznego przypisania do kategorii i referencji dokonuje Komisja Sędziowska.

13. Reguły komunikacji zostały opisane w Regulaminie Mistrzostw Polski w testowaniu oprogramowania w §3.21 i § 3.22

14. W czasie kwalifikacji zabronione jest wykorzystywanie dekompilatorów.

§3 Wyniki

1. Klasyfikacje generalne są prowadzone na podstawie sumy punktów za zgłoszone defekty.

2. Wyniki kwalifikacji (rozumiane jako listę zakwalifikowanych drużyn i uczestników indywidualnych) zostaną ogłoszone na stronie internetowej www.testingcup.pl najpóżniej 10 dni od dnia rozpoczęcia Kwalifikacji.

3. Odwołania od decyzji Komisji Sędziowskiej będą przyjmowane w terminie do 3 dni od dnia ogłoszenia wyników Kwalifikacji na Mistrzostwa. Organizator zastrzega sobie możliwość rozstrzygnięcia odwołania w ciągu 14 dni od wpłynięcia zgłoszenia.

§4 Postanowienia końcowe:

1. Organizator zastrzega sobie prawo do zmiany Regulaminu.

2. Uczestnicy nieprzestrzegający Regulaminu mogą zostać zdyskwalifikowani.

3. W sprawach nieuregulowanych przez postanowienia niniejszego Regulaminu zastosowanie mają przepisy prawa powszechnie obowiązującego, w szczególności przepisy Kodeksu Cywilnego.

4. Poprzez uczestnictwo w Kwalifikacjach uczestnik Mistrzostw oświadcza, że wszystkie postanowienia niniejszego Regulaminu są jasne, zrozumiałe i akceptuje je bez zastrzeżeń.