О Problem Forge

Что мы сделали

Если описать то, что здесь есть, совсем буднично: каждый месяц приносит двенадцать новых экземпляров десяти классических задач. Кроме того, есть задача месяца (её трудность будет сильно меняться) — ещё с двенадцатью экземплярами. Обычная таблица лидеров нужна для мотивации, и всё можно решить стандартными инструментами (если хватит времени). То есть у всех задач, которые идут в счёт, решения гарантированно есть. Кроме того, есть одна или несколько задач с наградой — приз, обычно очень скромный гонорар, получит первый имеющий право на участие человек (или команда), который отправит верное решение любой из них.

Мы приложили невероятно много усилий, чтобы подразумеваемое соревнование было как можно честнее.

Решения закодированы; здесь никто не обязан загружать код или объяснять, как он получил свои ответы. Точно так же мы невероятно тщательно скрыли, как мы всё сделали за кулисами. Каждый сам решает, что он хочет попробовать и как действовать. Регистрация бесплатна — хотя мы оставляем за собой право начать брать плату за любое использование, которое выходит за рамки простого развлечения. Мы не показываем рекламу и не продаём данные. Что именно мы храним об участниках, зачем и как долго, написано в политике конфиденциальности. (Если коротко: мы храним как можно меньше.)

Зачем мы это сделали

Есть поговорка: великие учителя не учат, а мотивируют. Этот сайт с испытаниями вдохновлён многими замечательными обучающими сайтами, где есть упражнения, помогающие лучше освоить языки программирования, структуры данных и алгоритмы. Они великолепны. Всё множество головоломок, трюков и испытаний, доступных в интернете, создавалось десятилетиями. Большую часть с любовью сделали волонтёры. Конечно, профессионалы не всегда согласны в том, сколько стоят такие головоломки по сравнению с навыками, которыми они пользуются каждый день; и всё же какое-то время подборка этих маленьких испытаний повторяла стандартные вопросы на собеседованиях в таких местах, как Alphabet, Amazon, Apple, ... (В полный список, возможно, попала бы и та редкая корпорация-другая, название которой начинается не на букву A.)

Эти сайты определённо помогли профессионалам начать, вырасти и вырваться вперёд.

Когда дело не в образовании и не в деньгах, оно может быть в художественном мастерстве. Не все пользуются этими ресурсами одинаково, но стремление к изящному решению обычно становится неотъемлемой частью игры.

Кстати, подразумеваемые соревнования — это определённо игры. А значит, удовольствие. Свобода. Может быть, причуда или каприз. Для тех, кто думает так же, как мы, есть некая радость в том, чтобы придумать, как сформулировать задачу, ответом на которую служит код Huffman, и чтобы при этом не было очевидно, что ответ — код Huffman.

Надеемся, что ещё больше радости в том, чтобы распутывать такие узлы и трюки.

В каком-то смысле объяснить, зачем существует этот сайт, вот так просто: мы любим всё это. Всё целиком. Решать задачи ради развлечения — занятие довольно нишевое, так что единодушия в этом вопросе мы не ждём. Если коротко, мы всё же ждём неохотного временного согласия со следующими расплывчатыми утверждениями: эти сайты по-прежнему очень ценны (по крайней мере для некоторых из нас); многим участникам по-прежнему полезно то, что они предлагают; и до совсем недавнего времени соревновательная сторона некоторых других сайтов регулярно мотивировала многих осваивать новые навыки.

Вот метафора, над которой стоит немного подумать: когда кто-то приезжает на спортивной машине в местный клуб лёгкой атлетики и начинает бить все местные рекорды, атлетов это, как правило, немного обескураживает. Возможно, есть заметная разница между тем, чтобы владеть Ferrari, и тем, чтобы годами готовиться к марафонам. Как бы то ни было, есть и другой возможный ответ: может быть, мы создали эту арену потому, что любителям спортивных машин нужно соревнование другого рода. (Представьте, пожалуй, ралли Dakar, а не круги по ухоженной трассе Formula One.)

Если метафора вам не очень заходит: печальная общественная перемена, которую нам приходится обсуждать, связана с небольшим сдвигом в восприятии слова мотивировать. Мягко говоря, широкое (и растущее) распространение LLM немного изменило картину в этой области. Как бы то ни было, это, наверное, самое мягкое изложение некоторых споров вокруг LLM (и всей шумихи и раздутых обещаний вокруг них), на какое мы способны. Возможно, в других местах правильный ответ на весь этот шум и драму — длинное полемическое эссе, брошенное на ветер социальных сетей.

У нас здесь так просто не принято; вместо этого мы придумали игру.

(Да, «когда у тебя в руках только молоток, ...» Справедливая критика. Признаём.)

Здешние ресурсы можно использовать, чтобы оценивать LLM в соревновании.

Здешние ресурсы можно использовать, чтобы оценивать в соревновании навыки составления промптов.

Если вам это по душе, мы приглашаем вас показать, на что способны люди без LLM.

Юридическое примечание: это индивидуальное сравнительное тестирование, предлагаемое только для развлечения. Формальное сравнительное тестирование для любых других целей, возможно, будет предложено в будущем, но во время бета-тестирования настоятельно не рекомендуется.

Что может мотивировать вас участвовать

Мы понятия не имеем, что мотивирует лично вас. Мир огромен, и в нём живёт много людей с разными мыслями. В подливе споров попадаются комки, и всё это очень запутанно. По словам одного нашего друга, политэконома, мнения обычно поляризуются и выстраиваются вокруг ценовых уровней. Одна сторона хочет, чтобы цены росли; другая — чтобы падали. (Мы тоже не до конца поняли это объяснение.) Как бы то ни было, это навело нас на мысль стать судьями в большом перетягивании каната, и вот что у нас получилось:

Если вам есть что доказать насчёт ИИ, возможно, это подходящее место.

Можно немного порассуждать о командах, которые складываются. Может быть, вы верите, что скоро людям больше никогда не придётся прикасаться к языкам программирования. Может быть, у вас есть оскорбление в духе «мой LLM лучше твоего LLM», которое требует ответа, и вам нужно одолжить поле для дуэли.

Или, может быть, вы считаете составление промптов навыком или просто другой формой программирования. Может быть, вы думаете, что успешным инженерам завтрашнего дня придётся научиться как следует пользоваться новыми инструментами.

Немало людей говорят, что человечество должно выдернуть вилку из розетки и остановить все эти ужасающие перемены, пока ещё можно. Справедливости ради, многие сценарии, разыгранные в литературе и кино за последний век, действительно заканчиваются тем, что власть берут роботы (или их с трудом побеждают находчивые люди). Так что, может быть, просто может быть, кто-то из вас захочет заранее отрепетировать эту битву и привести свои стратегии в порядок. Кстати, написать вручную программу, которая превзойдёт то, что создал ИИ, может оказаться — а может и не оказаться — настолько трудно, как вы думаете. (Труднее, возможно, будет уберечь свои исследования и код от огромных впускных клапанов великой машины плагиата.) А может, всё так же просто, как желание потратить лишние токены, за которые вы уже заплатили. В конце концов, есть ведь и награды. (Наш друг-политэконом высказал и эту мысль: «Деньги — это хорошо; их можно обменять на товары и услуги». Наш хорошо обдуманный ответ в самом конце долгого разговора о деньгах: «Верно, лотерейные билеты — ставка получше, но где в этом удовольствие?»)

Мы могли бы бесконечно говорить обо всех этих точках зрения. Давайте лучше получим твёрдые данные.

Что может мотивировать кого-то сделать больше

Ещё немного размахивания руками о том, что мы не умеем читать мысли. Если решать задачи ради развлечения — занятие нишевое, то придумывать задачи ради развлечения — ниша внутри ниши. Каждый месяц нам будет нужен новый материал для задачи месяца. Как и любому новому проекту, нам нужна помощь и в мелочах. На первом месте в этом списке — точный перевод. Мы не ищем волонтёров, но если вам интересно, то и нам интересно. Просто напишите нам письмо, и мы договоримся о времени для разговора.

К сожалению, присылать нам идеи не стоит никогда. По юридическим причинам. Любой присланный нам материал неявно передаётся нам. Просто не утруждайтесь. С другой стороны, план дальнейшего развития сайта откроет новые пути. Появится возможность публиковать трудные задачи и предлагать награды. Если вы сможете понять, что здесь на самом деле происходит, вы, возможно, увидите много причин далеко за пределами простого развлечения создавать головоломки, чтобы их решали другие.

И наконец, пончики в хозяйственном магазине не продают. Мы явно не зарабатываем денег. Так что, пожалуйста, не пытайтесь нас обмануть.

Кто ведёт сайт

Problem Forge ведёт компания Problem Forge, LLC. Это наш цирк, и это наши обезьяны.

Контакт: admin@problemforge.com.

Кстати, программа проверки имеет открытый исходный код (MIT). Файлы задач и ответы находятся в общественном достоянии (CC0). Остальная часть сайта является собственностью владельца.

Благодарности

Логотип — наковальня. Её нарисовал Gerald G, и впервые рисунок появился на Openclipart. Мы взяли его из файла «Anvil, labelled en.svg» на Wikimedia Commons, где Andy Dingley добавил подписи. На главной странице он показан с подписями, переведёнными. В маленьком логотипе подписей нет, и он обрезан. Автор передал рисунок в общественное достояние по CC0 1.0 Universal. Указывать автора не обязательно, но мы всё равно указываем и благодарим его.

Рисунки лестницы рядом со ступенями каждой задачи основаны на оригинальном рисунке Esme Susan Van Wieren, © 2015, и переработаны с её разрешения.

Поддержка

Problem Forge поддерживают его игроки и спонсоры. См. страницу При поддержке.

Запутались?

Вы здесь впервые? Прочитайте С чего начать. Дополнительную литературу о классических задачах см. на странице Литература. Думаете использовать ИИ? Прочитайте Об использовании ИИ.