Форум Всеукраїнської інтернет-олімпіади NetOI

Andrii Popyk · 2018-12-31 21:16:01

Доброго дня, шановний Юрій Пасіхов.

Пише вам переможесь першої олімпіади вашого сайту Netoi-1998 , Андрій Попик з Хмельницького
https://netoi.org.ua/index_ua.php?lng=ua&cid=567

Хочу висловити деякі думки про минуле і сьогодення NETOI.

Тоді в 1998 році, ваша олімпіада була просто неймовірним проривом (бо взагалі інтернет-змагань була дуже мала кількість), і учасники в NETOI були не лише з України.

Тоді ще не був так розповсюджений інтернет, і розв'язки доводилось надсилати електроною поштою (відносячи їх на дискеті туди де ця електронна пошта була , звідки її надсилали з якоїсь програми для MS-DOS ).

Але час змінюється, і сьогодні, в 2018/2019 роках NETOI трохи схожа на вимерлого динозавра

Ось учні які набрали 38 балів на задачу Gardener у яких програма просто читала числа scanf'ами, і потім знаходила максимум в масиві зі 100 чисел отримала 38 балів (хоча коли вони відправляють зараз на перевірку - отримують 40).
То ж ота вся табличка хто отримав 36-38 балів за останню простеньку задачу, отримали так лише через те, що під час вашої перевірки там був Time Limit в

На сьогодні NETOI трохи нагадує лотерею, де лише від ВИПАДКУ залежить набере учень 100% балів чи 95% (і табличка 2-го туру тому підтвердження).

То ж щоб зробити подарунок всім учасникам NETOI зробіть, будь ласка, наступне:
- давайте в умовах задач обмеження по часу (і обмеження по пам'яті), як це прийнято на сучасних олімпіадах. (без цього - перевірка просто шаманство).

- зробіть можливість відправляти кілька раз розв'язок (просто щоб оцінювався останній). Вже скільки випадків що люди помилково відправляли не ту програму, і після цього вже не могли відправити правильну

- оприлюднюйте тести до задач одразу після кожного туру (а не лише після кінця олімпіади). Це і допоможе учасникам знайти свої помилки (або помилки в тестах), і збільшить довіру до результатів у самих учасників.

- зробіть онлайн тур цього року з використанням системи автоматизованої перевірки EJUDGE чи аналогічну (щоб учасники онлайн туру могли зробити не 1 відправку, а кілька, якщо десь зробили випадкову помилку і лише через це не набрали високий бал), як ще запроваджено на Всеукраїнській та Міжнародній олімпіадах

І перетестуйте другий тур з нормальними лімітами часу (а не в межах похибки), бо дивно споглядати 36-40 балів за задачу Gardener в призерів Міжнародної олімпіади

А інших учасників олімпіади, тренерів, глядачів - висловлюйте свої думки з цього приводу в цій темі.

PS. А загалом ви робите хорошу справу, тільки треба її адаптувати до умов часу, інакше в учасників буде відчуття лотереї, а не відчуття справедливості

ikovrigin · 2018-12-31 21:49:30

К сожалению не только правила и проверяющая программа устарела, но и задачи остались те же .
Большая часть заданий онлайн туров являются задачами прошлых олимпиад. Раньше требования к тестам были "мягче", сейчас олимпиадное программирование превратилось в спорт с жесткими правилами и тесты должны соответствовать ограничениям.
Для примера 2 тур.
Автобус https://www.e-olymp.com/ru/problems/6132 тесты и решения в том числе есть на сайте olymp.vinnica.ua.
Билеты https://www.e-olymp.com/ru/problems/799 этой задаче вообще миллион лет где она только не светилась. например решение тут. http://gimn14.lutsk.ua/schoololymp/joom … e?start=25
Некоторые задачи первого тура так же гуглятся.
Набор тестов в том же автобусе скорее всего взят еще с 2000 года, и не является полным (как и ограничения о чем неоднократно жаловались на форуме).
Если бы как на некоторых соревнованиях была фаза открытых взломов думаю многие участники смогли убедить жюри в этом.
Олимпиадное программирование ушло вперед надеюсь и Всеукраинская интернет олимпиада не будет анахронизмом и будет развиваться вместе с дисциплиной.

Жюри_Пасихов · 2018-12-31 22:15:19

1. Ви дивилися проміжні результати. Превірка проводиться багаторазово, до повного співпадіння резульатів трьох "прогонів" підряд. У нас достатньо жорсткі таймліміти, і при часі на проходження тесту 0.03 с. часто можлива ситуація "раз прйшов, раз ні" І це можливо в будь-якій системі перевірки. Просто організатори змагань "ховають" це через використання часу на тест не меньше 0.1 с або т.з. "блочних" методів тестування.
2. Задачі дійсно прості і у більшості своїй з доступних джерел. І це абсолюто усвідомлена позиція. Останні роки склалася ситуація, в якій "чим темніша ніч, тм яскравіші зорі" У України все кращі результати на міжднародній олімпіаді і все вужча "географія" переможців. Якщо вже з перших турів орієнтуватися на "зірок", крім них ніхто нічого не зможе зробити, і подібна олімпіада просто втрачає сенс. Адже її основна мета - залучити талановитих новачків, які позбавлені "тренерської" турботи. Хоча в 3 і фінальному турі задачі у нас вельми непрості і у більшості своїй авторські, тому в будь-якому випадку перемагає найсильніший.
3. Щодо правил. Нам не подобається можливість багато разів здавати розв'язок, хоча це прийнято, на жаль, на провідних олімпіадах. Учасник не шукає помилку, а "вбиває" розв'язок в систему, чіпляючи "латки".До того ж врахуйте довготерміновий та заочний характер турів. Якщо добре подумати, то легко зрозуміти, що група з 5-7 учасників -однокласників легко за місяць заставить "ввійти" найскладніші задачі, не уявляючи, як їх розв'язувати... Саме через довготерміновий і заочний характер турів ми оприлюднюємо тести після завершення олімпіади. У випадку ж помилок (таке кілька разів за 20 років траплялося,на жаль) ми їх виправляємо і вибачаємося.
4. Щодо EJUDGE. У еас він є розгорнутий. Але є чимало підстав (я вже неодноразово писав про це) використовувати нашу систему. Зараз пишеться нова, осучаснена версія, в якій враховано 20-річний досвід експлуатації. Але в будь-якому випадку правила ми міняти не плануємо.
Дякую за критику. Будемо намагатися виправити недоліки, не змінюючи концепції....
PS Я дійсно пам'ятаю вас як переможця, пане Андрію Знаю, що ви працюєте з школярами, займаєтеся олімпіадною інформатикою. Пропоную вам залучитися до волонтерського колективу авторів та організаторів олімпіади і допомогти нам виправити вказані вами недоліки. Пишіть.

Andrii Popyk · 2018-12-31 22:18:40

ikovrigin написав:
Большая часть заданий онлайн туров являются задачами прошлых олимпиад.

Раньше требования к тестам были "мягче", сейчас олимпиадное программирование превратилось в спорт с жесткими правилами и тесты должны соответствовать ограничениям.
Для примера 2 тур.
Автобус https://www.e-olymp.com/ru/problems/6132 тесты и решения в том числе есть на сайте olymp.vinnica.ua.
Билеты https://www.e-olymp.com/ru/problems/799 этой задаче вообще миллион лет где она только не светилась. например решение тут. http://gimn14.lutsk.ua/schoololymp/joom … e?start=25

Так, забавно було споглядати (в черзі відправок) як останні 2 дні задачу Автобус тестували всі кому не лінь на e-olymp.

А те що архів UOI 2000 можна було завантажити на сайті цієї ж олімпіади (з тестами і авторськими розв'язками) - це окрема весела історія.

Жюри_Пасихов · 2018-12-31 22:39:04

Поки писав попередній пост, з'явилися нові критики :-( Прочитайте, все ж моє повідомлення вище ....

Andrii Popyk · 2018-12-31 23:11:41

Жюри_Пасихов написав:
1. Ви дивилися проміжні результати. Превірка проводиться багаторазово, до повного співпадіння резульатів трьох "прогонів" підряд. У нас достатньо жорсткі таймліміти, і при часі на проходження тесту 0.03 с. часто можлива ситуація "раз прйшов, раз ні" І це можливо в будь-якій системі перевірки. Просто організатори змагань "ховають" це через використання часу на тест не меньше 0.1 с або т.з. "блочних" методів тестування.

Коли ви берете таймліміти 0.01, 0.02, 0.03 і т.д. - при тому що неточність вимірювань (з різних причин, в тому числі і навантаженості техніки, операційної системи і т.д.) може сягати розміру таймліміта - тоді і вилазять такі проблеми.
І набрання 100% балів за просту задачу стає лотереєю.

На мою думку таймліміти мають відсікати алгоритми O(N^2) від O(NlogN), та O(NlogN) від O(N), а не просто бути маленькою величиною на око (щоб одні лінійні розв'язки проходили, а інші ні, і хто зна за яким принципом).

Бачу зараз в таблиці перетестовані результати за Gardener - тут вже більш правдоподібні результати.
Дякую за розумну і логічну реакцію!

Жюри_Пасихов написав:
3. Щодо правил. Нам не подобається можливість багато разів здавати розв'язок, хоча це прийнято, на жаль, на провідних олімпіадах. Учасник не шукає помилку, а "вбиває" розв'язок в систему, чіпляючи "латки".До того ж врахуйте довготерміновий та заочний характер турів. Якщо добре подумати, то легко зрозуміти, що група з 5-7 учасників -однокласників легко за місяць заставить "ввійти" найскладніші задачі, не уявляючи, як їх розв'язувати... Саме через довготерміновий і заочний характер турів ми оприлюднюємо тести після завершення олімпіади. У випадку ж помилок (таке кілька разів за 20 років траплялося,на жаль) ми їх виправляємо і вибачаємося.

Щодо довготривалих заочних турів - тут я вас підтримую (тут не логічно робити багаторазові спроби).
Я мав на увазі надати можливість відправки (без тестування) - просто щоб оцінювався останній розв'язок.
В сучасній системі учасник якщо випадково відправив на офіційну перевірку не ту задачу випадково, вже перевідправити не може
А під час онлайн туру був випадок позаминулого року, що тур завершився на 10 хв раніше ніж очікували діти (і дехто не встиг відправити).
А так можна відправляти на перевірку проміжні програми, а на офіційній перевірці перевіриться останній розв'язок (до прикладу Хмельницька обалсна заочна олімпіада функціонує по такому принципу на тому ж ejudje)

Жюри_Пасихов написав:
4. Щодо EJUDGE. У еас він є розгорнутий. Але є чимало підстав (я вже неодноразово писав про це) використовувати нашу систему. Зараз пишеться нова, осучаснена версія, в якій враховано 20-річний досвід експлуатації. Але в будь-якому випадку правила ми міняти не плануємо.
Дякую за критику. Будемо намагатися виправити недоліки, не змінюючи концепції....

Ну тут можна з вами дискутувати, але ваша позиція тут зрозуміла і має право на існування.
Головне що ця умова оцінки лише одного розв'язка однакова для всіх (тобто змагальність присутня), хоча я прихильник того, щоб на онлайн турі давати перевірку по аналогії з Всеукраїнською олімпіадою (так чіткіше відібрати найсильніших).
Але ось з таймлімітами треба щось робити (бо вони дають різні результати для однакових по суті програм, навіть для однієї і тієї ж програми, якщо перевірка показує розбіжність в результатах при послідовних запусках - це не добре.

Жюри_Пасихов написав:
PS Я дійсно пам'ятаю вас як переможця, пане Андрію Знаю, що ви працюєте з школярами, займаєтеся олімпіадною інформатикою. Пропоную вам залучитися до волонтерського колективу авторів та організаторів олімпіади і допомогти нам виправити вказані вами недоліки. Пишіть.

Дякую, але оскільки займаюсь зі школярами, то не берусь робити задачі в олімпіадах де вони беруть участь (бо так або даєш задачі які знаєш, що вони зроблять, або даєш знаючи, що вони не зроблять - в обох випадках дискримінуючи або їх, або інших учасників )

PS. На онлайн тур тоді прохання, раз не буде багаторазових відправок, вирішити питання з таймлімітами (ну щоб вони не відсікали асимптотично правильні розв'язки)

А так веселих свят, і подяка вам за всі ті роки розвитку інформатики в Україні. Ваша NETOI дійсно була мегапроривом в 1998 (коли навіть Всеукраїнські університетські олімпіади проводились за смішним принципом, а ACM ще не рухнувся в Україні).

Відредаговано Andrii Popyk (2018-12-31 23:12:31)

ikovrigin · 2019-01-01 10:49:35

Уважаемый Юрий Якович.
То что Вы делаете очень важно. Тестирующая система и правила, это все второстепенно и если все играют по одним правилам это Ваше право решать какие они.
Как по мне все проблемы сводятся только к одному нельзя брать тесты 10 летней давности. Современные компьютеры стали на столько мощными, что старые тесты укладываются в погрешность. Тесты должны работать минимум пол секунды. Тесты должны отсекать сложность алгоритма, а не тестировать "оптимальность ввода данных". Это позволит так же детям использующим питон (который стал де-факто лучшим языком для новичков) участвовать и иметь шансы на победу. Ну не может современный подросток который только начинает программировать и даже участвует во многих онлайн олимпиадах понять что 0.11 секунды это "долго" и это TL.
С Новым Годом!
Здоровья и процветания Вам и проекту NETOI.

mmanvelyan · 2019-01-01 13:58:21

ikovrigin написав:
Автобус https://www.e-olymp.com/ru/problems/6132 тесты и решения в том числе есть на сайте olymp.vinnica.ua.
Билеты https://www.e-olymp.com/ru/problems/799 этой задаче вообще миллион лет где она только не светилась. например решение тут. http://gimn14.lutsk.ua/schoololymp/joom … e?start=25
Некоторые задачи первого тура так же гуглятся.

Скажите, пожалуйста, есть ли существенные различия в тестах в задачах на e-olymp и в этом туре и в тестах за 2000 год?
Интересно, на каком тесте решение, которое проходит на 100% на e-olymp и просходит каждый тест с 2000 года не более чем за 1 секунду, не прошло проверку в этом туре. Или опять на неполное решение повлияли нюансы с TL.

Жюри_Пасихов написав:
Саме через довготерміновий і заочний характер турів ми оприлюднюємо тести після завершення олімпіади.

Опубликование тестов после олимпиады лишает участников возможности быстрой работы над ошибками или обратиться к жури для апелляции результатов тура. Хотя я понимаю, что формально правилами апелляция не предусмотрена.

С точки зрения участника недобор нескольких баллов в явно правильном решении приносит только разочарование и демотивацию для дальнейшего участия.

Vlad · 2019-01-01 18:24:03

mmanvelyan написав:
Скажите, пожалуйста, есть ли существенные различия в тестах в задачах на e-olymp и в этом туре и в тестах за 2000 год?

На e-olymp такие же тесты, как и на Всеукраинской олимпиаде. На NetOI в этом туре два теста отличаются, а остальные такие же, как и на Всеукраинской олимпиаде.

HeRosIma · 2019-01-04 16:32:16

Що ж робити, коли в мене на перевірці задача Gardener заходить на всі бали, а у результатах на 36 з 40?
Якщо не можна цього виправити у 2 турі, то як можна застерегти себе від втрати балів на не дуже складних задачах у наступному, 3 турі?

Форум Всеукраїнської інтернет-олімпіади NetOI

#1 2018-12-31 21:16:01

Новорічне звернення до Юрія Пасіхова з приводу тестування NETOI :)

#2 2018-12-31 21:49:30

Re: Новорічне звернення до Юрія Пасіхова з приводу тестування NETOI :)

#3 2018-12-31 22:15:19

Re: Новорічне звернення до Юрія Пасіхова з приводу тестування NETOI :)

#4 2018-12-31 22:18:40

Re: Новорічне звернення до Юрія Пасіхова з приводу тестування NETOI :)

ikovrigin написав:

#5 2018-12-31 22:39:04

Re: Новорічне звернення до Юрія Пасіхова з приводу тестування NETOI :)

#6 2018-12-31 23:11:41

Re: Новорічне звернення до Юрія Пасіхова з приводу тестування NETOI :)

Жюри_Пасихов написав:

Жюри_Пасихов написав:

Жюри_Пасихов написав:

Жюри_Пасихов написав:

#7 2019-01-01 10:49:35

Re: Новорічне звернення до Юрія Пасіхова з приводу тестування NETOI :)

#8 2019-01-01 13:58:21

Re: Новорічне звернення до Юрія Пасіхова з приводу тестування NETOI :)

ikovrigin написав:

Жюри_Пасихов написав:

#9 2019-01-01 18:24:03

Re: Новорічне звернення до Юрія Пасіхова з приводу тестування NETOI :)

mmanvelyan написав:

#10 2019-01-04 16:32:16

Re: Новорічне звернення до Юрія Пасіхова з приводу тестування NETOI :)

Нижній колонтитул