이 문서는 참고용 번역입니다. 효력 있는 원문은 영어 버전입니다. 영어 원문 읽기.

Problem Forge 소개

우리가 한 일

여기 있는 것을 아주 평범하게 설명하자면, 매달 고전적인 문제 10개마다 새 사본이 12개씩 나옵니다. 그 밖에 이달의 문제(난이도가 달마다 크게 달라집니다)가 있고, 여기에도 사본이 12개 있습니다. 의욕을 북돋우기 위해 흔히 보는 순위표도 있고, 모든 문제는 표준적인 도구로 풀 수 있습니다(시간만 충분하다면). 즉, 점수에 들어가는 모든 문제에는 해가 있다고 보장됩니다. 그리고 현상금 문제가 하나 이상 있습니다. 그중 어느 것이든 맞는 해를 가장 먼저 제출한 자격 있는 사람(또는 팀)에게 상금, 대개는 아주 소박한 사례금을 드립니다.

이 암묵적인 경쟁을 최대한 공정하게 만들기 위해 엄청난 노력을 쏟았습니다.

해는 인코딩되어 있습니다. 여기서는 누구도 코드를 올리거나 답을 어떻게 얻었는지 설명할 필요가 없습니다. 마찬가지로, 우리는 무대 뒤에서 모든 것을 어떻게 했는지 숨기려고 엄청나게 조심했습니다. 무엇에 도전할지, 어떻게 진행할지는 각자 정할 수 있습니다. 가입은 무료입니다. 다만 단순한 오락 목적을 넘어서는 이용에 대해서는 요금을 받기 시작할 권리를 보유합니다. 광고를 보여 주지 않고 데이터를 팔지도 않습니다. 참가자에 대해 무엇을, 왜, 얼마나 오래 보관하는지는 개인정보 처리방침에 있습니다. (짧게 요약하면, 최대한 적게 보관합니다.)

왜 했는가

훌륭한 선생님은 가르치지 않고 동기를 부여한다는 말이 있습니다. 이 도전 사이트는 프로그래밍 언어, 자료 구조, 알고리즘 실력을 키우는 연습 문제를 제공하는 훌륭한 교육 웹사이트들에서 영감을 받았습니다. 정말 멋진 곳들입니다. 온라인에서 구할 수 있는 퍼즐, 요령, 도전 과제의 방대한 모음은 수십 년에 걸쳐 쌓였습니다. 대부분은 자원봉사자들이 애정을 담아 만든 것입니다. 물론 전문가들이 매일 쓰는 기술과 비교해 이런 퍼즐이 얼마나 가치 있는지에 대해서는 의견이 늘 같지는 않습니다. 그래도 한동안은 이런 작은 도전 과제 중 일부가 Alphabet, Amazon, Apple 같은 곳의 표준 면접 질문과 꼭 닮아 있었습니다... (전체 목록에는 A로 시작하지 않는 드문 회사도 한두 곳 들어갈지 모릅니다.)

이런 사이트들은 전문가들이 일을 시작하고, 성장하고, 앞서 나가는 데 분명히 도움이 되었습니다.

교육이나 돈의 문제가 아닐 때는 예술적 기량의 문제일 수도 있습니다. 모두가 이런 자료를 똑같이 쓰지는 않지만, 우아한 해를 향해 애쓰는 것은 대개 게임에서 빼놓을 수 없는 일부가 됩니다.

그런데 이 암묵적인 경쟁은 분명히 게임입니다. 그렇다면 재미가 있다는 뜻입니다. 힘을 빼는 것. 어쩌면 장난기나 변덕도. 우리처럼 생각하는 사람이라면, 답이 Huffman 부호라는 것을 드러내지 않으면서 답이 Huffman 부호인 문제를 어떻게 표현할지 궁리하는 데서 어떤 기쁨을 느낄 것입니다.

바라건대, 그런 매듭과 요령을 풀어내는 데는 더 큰 기쁨이 있기를.

어떤 면에서, 이 사이트가 왜 있는지에 대한 설명은 그렇게 간단합니다. 우리는 이런 것을 정말 좋아합니다. 전부 다요. 오락으로 문제를 푸는 것은 좀 틈새 취미라서, 이 점에 대해 모두가 동의하리라고는 기대하지 않습니다. 짧게 말해, 다음의 막연한 주장들은 마지못해 잠시라도 받아들여 주시리라 기대합니다. 이런 사이트는 여전히 아주 가치 있다(적어도 우리 중 몇몇에게는). 많은 참가자가 여전히 그 혜택을 받는다. 그리고 아주 최근까지, 다른 몇몇 사이트의 경쟁적인 면은 많은 사람이 새 기술을 익히도록 꾸준히 동기를 부여했다.

한동안 곱씹어 볼 만한 비유가 있습니다. 누군가 동네 육상 클럽에 스포츠카를 몰고 와서 동네 기록을 모조리 깨기 시작하면, 선수들은 좀 맥이 빠지기 마련입니다. Ferrari를 가진 것과 마라톤을 위해 몇 년 동안 훈련한 것 사이에는 눈에 띄는 차이가 있을지도 모릅니다. 어쨌든 다른 답도 있을 수 있습니다. 스포츠카 애호가들에게는 다른 종류의 경쟁이 필요해서 우리가 이 경기장을 만들었는지도 모릅니다. (잘 다듬어진 Formula One 트랙을 빙빙 도는 것 말고, Dakar 랠리를 떠올려 보세요.)

이 비유가 와닿지 않는다면, 우리가 어쩔 수 없이 이야기해야 하는 안타까운 사회 변화는 동기를 부여하다라는 말을 둘러싼 인식의 아주 작은 변화에 관한 것입니다. 부드럽게 말하면, LLM이 널리 (그리고 점점 더) 퍼지면서 이 분야의 풍경이 조금 바뀌었습니다. 어쨌든 이것이 LLM이 불러일으킨 논란(그리고 LLM을 둘러싼 온갖 과대광고와 부풀린 말)을 우리가 할 수 있는 한 가장 부드럽게 표현한 것일 겁니다. 다른 곳이라면, 그런 소음과 소동에 대한 올바른 대응은 소셜 미디어의 바람 속으로 던지는 길고 논쟁적인 에세이일지도 모릅니다.

여기서는 그런 식으로 하지 않습니다. 대신 우리는 게임을 설계했습니다.

(네, "가진 것이 망치뿐이라면..." 맞는 비판입니다. 인정합니다.)

여기 있는 자료로 LLM을 경쟁적으로 평가할 수 있습니다.

여기 있는 자료로 프롬프트 실력을 경쟁적으로 평가할 수 있습니다.

마음이 있다면, LLM 없이 인간이 무엇을 할 수 있는지 보여 주는 것도 환영합니다.

법적 고지: 이것은 오락 목적으로만 제공하는 개인 벤치마킹입니다. 다른 목적의 공식 벤치마킹은 앞으로 제공될 수도 있지만, 베타 테스트 동안에는 하지 말 것을 강력히 권합니다.

당신이 참가하고 싶어질 만한 이유

무엇이 당신 개인에게 동기를 주는지 우리는 전혀 모릅니다. 세상은 넓고, 생각이 다른 사람이 많이 삽니다. 논쟁이라는 그레이비소스에는 덩어리가 져 있고, 모든 것이 아주 어수선합니다. 정치경제학자인 친구에 따르면, 의견은 가격을 중심으로 양극화되고 줄을 서는 경향이 있다고 합니다. 한쪽은 가격이 오르기를 바라고, 다른 쪽은 내리기를 바랍니다. (우리도 그 설명을 완전히 이해하지는 못했습니다.) 어쨌든 그 덕분에 우리는 더 큰 줄다리기의 심판이 되는 것을 생각하게 되었고, 이런 생각을 떠올렸습니다.

AI에 대해 증명하고 싶은 것이 있다면, 여기가 그 장소일지도 모릅니다.

만들어지고 있는 팀들에 대해 조금 추측해 볼 수도 있습니다. 어쩌면 당신은 머지않아 인간이 다시는 프로그래밍 언어를 건드리지 않아도 될 것이라고 믿을지도 모릅니다. "내 LLM이 네 LLM보다 낫다"는, 응수하지 않고는 못 배길 도발을 받아서 결투장을 빌리고 싶을지도 모릅니다.

아니면 프롬프트 작성을 하나의 기술로 보거나, 프로그래밍의 다른 형태일 뿐이라고 생각할지도 모릅니다. 내일의 성공하는 엔지니어는 새 도구를 효과적으로 쓰는 법을 배워야 한다고 생각할지도 모릅니다.

아직 할 수 있을 때 인류가 이 끔찍한 변화들의 플러그를 모두 뽑아야 한다고 말하는 사람도 적지 않습니다. 공정하게 말하면, 지난 한 세기 동안 문학과 영화에서 펼쳐진 많은 시나리오가 결국 로봇이 지배하는 것으로 끝납니다(아니면 영리한 인간에게 아슬아슬하게 패합니다). 그러니 어쩌면, 정말 어쩌면, 여러분 중 몇몇은 그 전투를 미리 연습하고 전략을 짜 두고 싶을지도 모릅니다. 그런 의미에서, AI가 만든 결과물보다 뛰어난 프로그램을 손으로 만드는 일은 생각만큼 어려울 수도, 그렇지 않을 수도 있습니다. (더 어려운 일은 당신의 연구와 코드가 그 거대한 표절 엔진의 광대한 흡입구에 빨려 들어가지 않게 지키는 것일지도 모릅니다.) 아니면 이미 돈을 낸 남는 토큰을 다 쓰고 싶은 것처럼 단순한 이유일 수도 있습니다. 어쨌든 현상금도 생각해 봐야 하니까요. (정치경제학자 친구는 이 점도 짚었습니다. "돈은 좋은 거야. 상품과 서비스로 바꿀 수 있으니까." 돈에 관한 긴 대화의 맨 끝에 우리가 깊이 생각해서 내놓은 대답은 이랬습니다. "맞아, 복권이 더 나은 내기지. 그런데 그게 무슨 재미야?")

이런 관점들에 대해 끝없이 이야기할 수도 있습니다. 대신 확실한 데이터를 좀 모아 봅시다.

누군가 더 많은 일을 하고 싶어질 만한 이유

우리가 남의 마음을 읽지 못한다는 이야기를 또 두루뭉술하게. 오락으로 문제를 푸는 것이 좀 틈새 취미라면, 오락으로 문제를 내는 것은 틈새 속의 틈새 취미입니다. 매달 이달의 문제를 위한 새 재료가 필요합니다. 새 프로젝트가 늘 그렇듯, 더 작은 일에도 도움이 필요합니다. 그 목록의 맨 위에는 정확한 번역이 있습니다. 자원봉사자를 모집하는 것은 아니지만, 당신이 관심 있다면 우리도 관심이 있습니다. 이메일을 보내 주시면 이야기할 시간을 잡겠습니다.

안타깝지만 우리에게 아이디어는 절대 보내지 마세요. 법적인 이유 때문입니다. 우리에게 보낸 모든 자료는 암묵적으로 우리에게 넘겨진 것이 됩니다. 그냥 보내지 마세요. 다른 차원에서, 사이트의 향후 개발 계획은 새로운 길을 열 것입니다. 어려운 문제를 올리고 현상금을 걸 기회가 생길 것입니다. 여기서 실제로 무슨 일이 벌어지고 있는지 알아낼 수 있다면, 다른 사람이 풀 퍼즐을 만들 이유를 단순한 오락을 훨씬 넘어 많이 발견할지도 모릅니다.

마지막으로, 철물점에서는 도넛을 팔지 않습니다. 보시다시피 우리는 돈을 벌고 있지 않습니다. 그러니 우리에게 사기를 치려고 애쓰지 마세요.

운영자

Problem Forge는 Problem Forge, LLC가 운영합니다. 이건 우리 서커스고, 저건 우리 원숭이들입니다.

연락처: admin@problemforge.com.

참고로, 검사기는 오픈 소스(MIT)입니다. 문제 파일과 답은 퍼블릭 도메인(CC0)입니다. 사이트의 나머지 부분은 독점 저작물입니다.

출처

로고는 Gerald G가 그리고 Openclipart에 처음 공유한 모루 그림입니다. 우리는 이 그림을 Wikimedia Commons의 "Anvil, labelled en.svg" 파일에서 가져왔습니다. 그 파일에는 Andy Dingley가 이름표를 붙였습니다. 첫 페이지에서는 이름표를 번역해 붙인 채로 보여 줍니다. 작은 로고는 이름표 없이 잘라서 씁니다. 작가는 이 그림을 CC0 1.0 Universal에 따라 퍼블릭 도메인으로 공개했습니다. 출처 표시는 필요하지 않지만, 그래도 밝히고 감사를 전합니다.

후원

Problem Forge는 참가자와 후원자의 지원으로 운영됩니다. 후원해 주신 분들을 보세요.

헷갈리세요?

처음이세요? 시작하기를 읽어 보세요. 고전적인 문제에 대해 더 읽을거리는 참고 문헌에 있습니다. AI를 쓸 생각이세요? AI 사용에 대하여를 읽어 보세요.

더 읽기: 참고 문헌.