Over Problem Forge

Wat we hebben gedaan

Heel nuchter beschreven: elke maand brengt twaalf nieuwe exemplaren van tien klassieke problemen. Daarnaast is er een probleem van de maand (waarvan de moeilijkheid enorm zal wisselen) met nog eens twaalf exemplaren. De gebruikelijke ranglijst is er om je te motiveren, en alles is op te lossen met standaardgereedschap (als je maar genoeg tijd hebt). Dat wil zeggen: alle problemen die meetellen, hebben gegarandeerd een oplossing. Daarnaast zijn er een of meer beloningsproblemen -- een prijs, meestal een heel bescheiden vergoeding, gaat naar de eerste persoon (of het eerste team) die in aanmerking komt en voor een van die problemen een juiste oplossing instuurt.

Er is buitengewoon veel moeite gestoken in een zo eerlijk mogelijke wedstrijd.

Oplossingen zijn gecodeerd; niets hier vraagt van iemand om code te uploaden of uit te leggen hoe hij aan zijn antwoorden kwam. Op dezelfde manier hebben wij er buitengewoon goed op gelet om te verbergen hoe we achter de schermen alles hebben gedaan. Ieder beslist zelf wat hij wil proberen en hoe hij te werk gaat. Registreren is gratis -- al behouden we ons het recht voor om kosten te gaan rekenen voor elk gebruik dat verder gaat dan louter ontspanning. We tonen geen advertenties en verkopen geen gegevens. Wat we precies over de deelnemers bewaren, waarom en hoe lang, staat in de privacyverklaring. (Kort samengevat: we bewaren zo weinig als we kunnen.)

Waarom we het hebben gedaan

Er is een gezegde dat grote leraren niet lesgeven, maar motiveren. Deze uitdagingssite is geïnspireerd door veel geweldige leersites die oefeningen bieden om beter te worden in programmeertalen, datastructuren en algoritmen. Ze zijn top. Het hele bestand aan puzzels, trucs en uitdagingen dat online te vinden is, is in de loop van decennia opgebouwd. Het meeste is met liefde gemaakt door vrijwilligers. Natuurlijk zijn professionals het niet altijd eens over de waarde van zulke puzzels vergeleken met de vaardigheden die ze elke dag gebruiken; toch leek een selectie van deze kleine uitdagingen een tijdlang sterk op de standaard sollicitatievragen bij bedrijven als Alphabet, Amazon, Apple, ... (De volledige lijst bevat misschien ook dat zeldzame bedrijf of twee dat niet met de letter A begint.)

Deze sites hebben professionals zeker geholpen om te beginnen, verder te komen en vooruit te raken.

Als het niet om onderwijs of geld gaat, kan het om artistieke vaardigheid gaan. Niet iedereen gebruikt deze bronnen op dezelfde manier, maar streven naar een elegante oplossing wordt meestal een vast onderdeel van het spel.

Trouwens, de wedstrijden die hier besloten liggen, zijn absoluut spelletjes. Dat betekent plezier. Loslaten. Misschien grilligheid of een gril. Voor wie denkt zoals wij, zit er wat vreugde in uitzoeken hoe je een probleem zo formuleert dat een Huffman-codering het antwoord is, zonder dat het duidelijk is dat een Huffman-codering het antwoord is.

Hopelijk zit er nog meer vreugde in het ontwarren van dat soort knopen en trucs.

In zekere zin is uitleggen waarom deze site bestaat precies zo simpel: we houden van dit spul. Van alles. Omdat problemen oplossen voor je plezier nogal een nichebezigheid is, verwachten we daarover geen eensgezindheid. Kort gezegd verwachten we wel dat de volgende vage beweringen schoorvoetend en tijdelijk worden aanvaard: deze sites zijn nog steeds erg waardevol (voor sommigen van ons in elk geval); veel deelnemers hebben nog steeds iets aan wat ze bieden; en tot heel kort geleden motiveerde het wedstrijdaspect van bepaalde andere sites velen regelmatig om nieuwe vaardigheden te leren.

Hier is een beeldspraak om eens bij stil te staan: als iemand met een sportwagen naar de plaatselijke atletiekclub komt en alle plaatselijke records gaat verpulveren, werkt dat voor de atleten nogal ontmoedigend. Misschien is er een merkbaar verschil tussen een Ferrari bezitten en jarenlang voor marathons hebben getraind. Hoe dan ook, er is nog een mogelijk antwoord: misschien hebben we deze arena gebouwd omdat liefhebbers van sportwagens een ander soort wedstrijd nodig hebben. (Denk misschien aan de Dakar-rally, niet aan rondjes over een keurig verzorgd Formula One-circuit.)

Als de beeldspraak bij jou niet goed aankomt: de jammerlijke maatschappelijke verandering die we wel moeten bespreken, draait om een kleine verschuiving in hoe het woord motiveren wordt opgevat. Zacht uitgedrukt heeft de wijdverbreide (en groeiende) opmars van LLM's het landschap op dit gebied een beetje verschoven. Hoe dan ook, dat is waarschijnlijk de zachtste weergave die we kunnen opbrengen van een paar van de controverses rond LLM's (en alle hype en opgeblazen praat eromheen). Misschien hoort op andere plekken het juiste antwoord op al dat soort lawaai en drama een lang, strijdlustig essay te zijn dat in de wind van de sociale media wordt geworpen.

Zo doen we dat hier gewoon niet; in plaats daarvan hebben we een spel ontworpen.

(Ja, "als je alleen een hamer hebt, ..." Terechte kritiek. Die nemen we voor onze rekening.)

Je kunt wat hier staat gebruiken om LLM's in een wedstrijd tegen elkaar te beoordelen.

Je kunt wat hier staat gebruiken om promptvaardigheden in een wedstrijd tegen elkaar te beoordelen.

Als je daar zin in hebt, moedigen we je aan om te laten zien wat mensen kunnen zonder LLM's.

Juridische opmerking: dit is individuele benchmarking, alleen aangeboden als vermaak. Formele benchmarking voor een ander doel wordt misschien in de toekomst aangeboden, maar wordt tijdens de bètatest sterk afgeraden.

Wat jou zou kunnen motiveren om mee te doen

We hebben geen idee wat jou persoonlijk motiveert. De wereld is groot en er wonen veel mensen met verschillende gedachten. Er zitten klonten in de jus van de argumenten en het is allemaal erg rommelig. Volgens een bevriende politiek econoom raken meningen meestal gepolariseerd en scharen ze zich rond prijspunten. De ene kant wil dat prijzen stijgen; de andere wil dat ze dalen. (Wij snapten die uitleg ook niet helemaal.) Hoe dan ook, dat zette ons aan het denken over scheidsrechter zijn in een grotere touwtrekwedstrijd, en we kwamen hierop uit:

Als je iets te bewijzen hebt over AI, is dit misschien de plek om het te doen.

We zouden wat kunnen speculeren over de teams die zich vormen. Misschien geloof je dat mensen binnenkort nooit meer een programmeertaal hoeven aan te raken. Misschien heb je een "mijn LLM is beter dan jouw LLM"-belediging die om een antwoord vraagt, en wil je een duelveld lenen.

Of misschien zie je prompten als een vaardigheid, of beschouw je het als gewoon een andere vorm van programmeren. Misschien denk je dat de succesvolle engineers van morgen zullen moeten leren de nieuwe gereedschappen goed te gebruiken.

Heel wat mensen opperen dat de mensheid de stekker uit al die gruwelijke veranderingen moet trekken nu het nog kan. Eerlijk is eerlijk: veel scenario's uit boeken en films van de afgelopen eeuw eindigen met robots aan de macht (of met robots die nipt worden verslagen door slimme mensen). Dus misschien, heel misschien, willen een paar van jullie die strijd alvast oefenen en je strategieën op orde krijgen. In dat verband: een programma met de hand maken dat beter presteert dan iets wat door AI is gemaakt, is misschien wel of misschien niet zo moeilijk als je denkt. (De moeilijkere taak is misschien om je onderzoek en code buiten de enorme aanzuigkleppen van de grote plagiaatmachine te houden.) Of het kan allemaal zo simpel zijn als een paar extra tokens willen opmaken waar je al voor hebt betaald. Er zijn per slot van rekening die beloningen om aan te denken. (Onze bevriende politiek econoom maakte dit punt ook: "Geld is goed; je kunt het ruilen voor goederen en diensten." Ons weldoordachte antwoord helemaal aan het eind van een lang gesprek over geld: "Klopt, loten zijn een betere gok, maar wat is daar nou leuk aan?")

We zouden eindeloos over al deze standpunten kunnen praten. Laten we in plaats daarvan wat harde gegevens verzamelen.

Wat iemand zou kunnen motiveren om meer te doen

Nog meer handgebaren over het feit dat we geen gedachten kunnen lezen. Als problemen oplossen voor je plezier al een nichebezigheid is, dan is problemen bedenken voor je plezier een niche binnen een niche. Elke maand hebben we nieuw materiaal nodig voor het probleem van de maand. Zoals bij elk nieuw project hebben we ook hulp nodig bij kleinere dingen. Nauwkeurig vertalen staat bovenaan die lijst. We werven geen vrijwilligers, maar als jij interesse hebt, hebben wij dat ook. Stuur ons gewoon een e-mail, dan plannen we een moment om te praten.

Helaas moet je ons nooit ideeën sturen. Juridische redenen. Alles wat je ons stuurt, draag je stilzwijgend aan ons over. Doe het gewoon niet. Op een ander niveau zal het plan voor de verdere ontwikkeling van de site nieuwe wegen openen. Er komt een gelegenheid om moeilijke problemen te plaatsen en beloningen uit te loven. Als je doorhebt wat hier echt aan de hand is, zie je misschien veel redenen, ver voorbij louter vermaak, om puzzels voor anderen te maken.

Tot slot: je haalt geen donuts bij de bouwmarkt. We verdienen duidelijk geen geld. Dus probeer ons alsjeblieft niet op te lichten.

Wie de site beheert

Problem Forge wordt beheerd door Problem Forge, LLC. Dit is ons circus en dat zijn onze apen.

Contact: admin@problemforge.com.

Trouwens, het controleprogramma is open source (MIT). Probleembestanden en antwoorden zijn publiek domein (CC0). De rest van de site is eigendom van de beheerder.

Met dank aan

Het logo is een aambeeld, getekend door Gerald G en eerst gedeeld op Openclipart. We hebben het genomen uit het bestand “Anvil, labelled en.svg” op Wikimedia Commons, waar Andy Dingley labels toevoegde. De startpagina toont het met de labels, vertaald. Het kleine logo laat ze weg en is bijgesneden. De maker heeft de tekening aan het publiek domein geschonken onder CC0 1.0 Universal. Een vermelding is niet verplicht, maar we geven haar toch, met onze dank.

De laddertekeningen naast de treden van elk probleem zijn gebaseerd op een originele tekening van Esme Susan Van Wieren, © 2015, en zijn met haar toestemming bewerkt.

Steun

Problem Forge wordt gesteund door zijn spelers en sponsors. Zie Met steun van.

In de war?

Nieuw hier? Lees Begin hier. Voor meer leesstof over de klassieke problemen, zie Bronnen. Denk je erover AI te gebruiken? Lees Over het gebruik van AI.