À propos de Problem Forge

Ce que nous avons fait

Pour décrire très prosaïquement ce qu'il y a ici : chaque mois apporte douze nouveaux exemplaires de dix problèmes classiques. En plus, il y a un problème du mois (dont la difficulté variera énormément) avec douze autres exemplaires. Le classement habituel est là pour motiver, et tout peut se résoudre avec des outils standard (avec assez de temps). Autrement dit, tous les problèmes qui comptent ont la garantie d'avoir des solutions. En plus, il y a un ou plusieurs problèmes à prime : un prix, en général des honoraires très modestes, sera remis à la première personne admissible (ou à la première équipe) qui envoie une solution correcte à l'un d'entre eux.

Des efforts extraordinaires ont été déployés pour rendre la compétition implicite aussi équitable que possible.

Les solutions sont encodées ; rien ici n'oblige qui que ce soit à importer du code ni à expliquer comment il a obtenu ses réponses. De la même manière, nous avons pris un soin extraordinaire à cacher comment nous avons tout fait en coulisses. Chacun peut décider de ce qu'il veut essayer et de la façon dont il veut procéder. L'inscription est gratuite, même si nous nous réservons le droit de commencer à faire payer toute utilisation qui va au-delà du simple loisir. Nous n'affichons aucune publicité et ne vendons aucune donnée. Ce que nous gardons exactement sur les participants, pourquoi et pendant combien de temps figure dans l'avis de confidentialité. (En bref, nous gardons le moins possible.)

Pourquoi nous l'avons fait

Un dicton dit que les grands enseignants n'enseignent pas, ils motivent. Ce site de défis s'inspire de nombreux excellents sites d'apprentissage qui proposent des exercices pour progresser en langages de programmation, en structures de données et en algorithmes. Ils sont géniaux. L'ensemble des énigmes, astuces et défis disponibles en ligne s'est constitué au fil des décennies. La plupart ont été conçus avec amour par des bénévoles. Bien sûr, les professionnels ne s'accordent pas toujours sur la valeur de ces énigmes comparée aux compétences qu'ils utilisent tous les jours ; pourtant, pendant un temps, une sélection de ces défis atomiques reflétait les questions d'entretien d'embauche classiques chez des entreprises comme Alphabet, Amazon, Apple, ... (La liste complète comprendrait peut-être aussi une ou deux rares sociétés dont le nom ne commence pas par la lettre A.)

Ces sites ont clairement aidé des professionnels à se lancer, à progresser et à prendre de l'avance.

Quand il ne s'agit ni d'éducation ni d'argent, il peut s'agir de talent artistique. Tout le monde n'utilise pas ces ressources de la même façon, mais la recherche d'une solution élégante devient en général une partie intégrante du jeu.

Au fait, les compétitions implicites sont bel et bien des jeux. Ce qui implique de l'amusement. Du lâcher-prise. Peut-être de la fantaisie ou du caprice. Pour quiconque pense comme nous, il y a une certaine joie à trouver comment formuler un problème dont la réponse est un codage de Huffman sans qu'il soit évident que la réponse est un codage de Huffman.

Espérons qu'il y a encore plus de joie à démêler ce genre de nœuds et d'astuces.

D'une certaine façon, expliquer pourquoi ce site existe est aussi simple que ça : nous adorons ce genre de choses. Tout. La résolution de problèmes pour le plaisir étant une activité un peu de niche, nous ne nous attendons pas à un consensus sur ce point. En bref, nous nous attendons en revanche à une acceptation réticente et provisoire des vagues affirmations suivantes : ces sites ont encore beaucoup de valeur (pour certains d'entre nous, en tout cas) ; beaucoup de participants profitent encore de ce qu'ils offrent ; et, jusqu'à très récemment, les aspects compétitifs de certains autres sites motivaient régulièrement beaucoup de gens à acquérir de nouvelles compétences.

Voici une métaphore à méditer un moment : quand quelqu'un amène une voiture de sport au club d'athlétisme du coin et se met à pulvériser tous les records locaux, c'est un peu décourageant pour les athlètes. Il y a peut-être une différence perceptible entre posséder une Ferrari et avoir passé des années à s'entraîner pour des marathons. Bref, il y a une autre réponse possible : peut-être avons-nous créé cette arène parce que les passionnés de voitures de sport ont besoin d'un autre genre de compétition. (Pensez plutôt au rallye Dakar qu'à des tours sur un circuit de Formula One bien entretenu.)

Si la métaphore ne vous parle pas, le malheureux changement social dont nous sommes obligés de parler tourne autour d'un infime glissement dans la perception du mot motiver. Pour le dire gentiment, la prolifération répandue (et croissante) des LLM a un peu modifié le paysage dans ce domaine. Bref, c'est sans doute la présentation la plus douce que nous puissions faire de certaines des controverses soulevées par les LLM (et par tout le battage et l'esbroufe qui les entourent). Ailleurs, peut-être, la bonne réponse à tout ce bruit et à tout ce drame passe par un long essai polémique lancé au vent des réseaux sociaux.

Ce n'est tout simplement pas notre façon de faire ; à la place, nous avons conçu un jeu.

(Eh oui, « quand on n'a qu'un marteau, ... » Critique légitime. Nous l'assumons.)

Vous pouvez utiliser les ressources d'ici pour évaluer des LLM en compétition.

Vous pouvez utiliser les ressources d'ici pour évaluer en compétition des compétences en prompting.

Si le cœur vous en dit, vous êtes invité à montrer ce que les humains savent faire sans LLM.

Mention légale : il s'agit d'un benchmarking individuel proposé uniquement à des fins de divertissement. Un benchmarking formel à toute autre fin pourra être proposé à l'avenir, mais il est fortement déconseillé pendant la phase bêta.

Ce qui pourrait vous motiver à participer

Nous n'avons aucune idée de ce qui vous motive personnellement. Le monde est vaste et abrite beaucoup de gens aux pensées différentes. Il y a des grumeaux dans la sauce des arguments, et tout cela est très confus. D'après un ami économiste politique, les opinions tendent à se polariser et à s'aligner sur des niveaux de prix. Un camp veut que les prix montent ; l'autre veut qu'ils baissent. (Nous n'avons pas tout à fait compris cette explication non plus.) Bref, cela nous a fait penser à jouer les arbitres dans une plus grande partie de tir à la corde, et voici ce que nous en avons tiré :

Si vous avez quelque chose à prouver au sujet de l'IA, c'est peut-être l'endroit idéal pour le faire.

Nous pourrions spéculer un peu sur les équipes qui se forment. Peut-être pensez-vous que, bientôt, les êtres humains n'auront plus jamais à toucher un langage de programmation. Peut-être avez-vous reçu une insulte du genre « mon LLM est meilleur que ton LLM » qui exige une réponse, et voulez-vous emprunter un terrain pour le duel.

Ou peut-être voyez-vous le prompting comme une compétence, ou le considérez-vous simplement comme une autre forme de programmation. Vous pensez peut-être que les ingénieurs qui réussiront demain devront apprendre à utiliser efficacement les nouveaux outils.

Pas mal de gens suggèrent que l'humanité doit débrancher tous ces changements terrifiants tant qu'il est encore temps. Pour être juste, beaucoup de scénarios joués dans la littérature et au cinéma au siècle dernier finissent bel et bien avec des robots au pouvoir (ou vaincus de justesse par des humains astucieux). Alors peut-être, juste peut-être, que certains d'entre vous veulent répéter cette bataille à l'avance et organiser leurs stratégies. À ce propos, écrire à la main un programme qui surpasse un artefact produit par l'IA est peut-être aussi difficile que vous le pensez, ou peut-être pas. (La tâche la plus difficile sera peut-être de garder vos recherches et votre code hors des immenses soupapes d'admission de la grande machine à plagiat.) Ou tout cela pourrait être aussi simple que de vouloir utiliser quelques tokens en trop que vous avez déjà payés. Après tout, il y a ces primes à prendre en compte. (Notre ami économiste politique a aussi fait cette remarque : « L'argent, c'est bien ; on peut l'échanger contre des biens et des services. » Notre réponse mûrement réfléchie, tout à la fin d'une longue conversation sur l'argent : « C'est vrai, les billets de loterie sont un meilleur pari, mais où est le plaisir là-dedans ? »)

Nous pourrions parler sans fin de tous ces points de vue. Récoltons plutôt des données concrètes.

Ce qui pourrait motiver quelqu'un à en faire plus

Encore des explications vagues sur le fait que nous ne lisons pas dans les pensées. Si la résolution de problèmes pour le plaisir est une activité un peu de niche, la création de problèmes pour le plaisir est une niche dans la niche. Chaque mois, il nous faudra du nouveau matériel pour le problème du mois. Comme pour tout nouveau projet, nous avons aussi besoin d'aide pour des choses plus petites. Des traductions exactes sont en tête de cette liste. Nous ne cherchons pas de bénévoles, mais si cela vous intéresse, cela nous intéresse. Envoyez-nous simplement un e-mail, et nous fixerons un moment pour en parler.

Malheureusement, vous ne devez jamais nous envoyer d'idées. Pour des raisons juridiques. Tout ce qui nous est envoyé nous est implicitement cédé. Ne vous donnez pas cette peine. À un autre niveau, le plan de développement futur du site ouvrira de nouvelles voies. Il y aura une possibilité de publier des problèmes difficiles et d'offrir des primes. Si vous arrivez à comprendre ce qui se passe vraiment ici, vous verrez peut-être bien des raisons, bien au-delà du simple divertissement, de créer des énigmes à résoudre pour les autres.

Enfin, on ne trouve pas de beignets à la quincaillerie. De toute évidence, nous ne gagnons pas d'argent. Alors, s'il vous plaît, n'essayez pas de nous arnaquer.

Qui gère le site

Problem Forge est géré par Problem Forge, LLC. C'est notre cirque, et ce sont nos singes.

Contact : admin@problemforge.com.

Au fait, le vérificateur est open source (MIT). Les fichiers des problèmes et les réponses sont dans le domaine public (CC0). Le reste du site est propriétaire.

Crédits

Le logo est une enclume dessinée par Gerald G et publiée d'abord sur Openclipart. Nous l'avons prise dans le fichier « Anvil, labelled en.svg » sur Wikimedia Commons, où Andy Dingley a ajouté des légendes. La page d'accueil la montre avec les légendes, traduites. Le petit logo les omet et est recadré. L'auteur a placé le dessin dans le domaine public sous CC0 1.0 Universal. Aucun crédit n'est exigé, mais nous le donnons quand même, avec nos remerciements.

Les dessins d'échelle à côté des échelons de chaque problème sont tirés d'un dessin original d'Esme Susan Van Wieren, © 2015, et adaptés avec sa permission.

Soutien

Problem Forge est soutenu par ses joueurs et ses sponsors. Voir Avec le soutien de.

Un peu perdu ?

Vous êtes nouveau ? Lisez Par où commencer. Pour d'autres lectures sur les problèmes classiques, voir les Références. Vous pensez utiliser l'IA ? Lisez Sur l'usage de l'IA.