PIMM 알고리즘 파티가 끝날 때까지

안녕하세요, 지난 세 번의 대회에 이어서 올해에도 전남대학교 PIMM 알고리즘 파티 대회의 총괄을 맡은 박종현^@belline0124입니다.

지난 매 대회마다 대회 회고를 작성해서, 이번에는 정말 더 이상 쓸 내용이 없을 것이라고 생각하고 있었습니다. 아니나 다를까, 그 예상이 보기 좋게 빗나가게 되었습니다. 매 회차마다 다른 내용으로 글을 작성하게 될 줄은 몰랐습니다.

이번 대회는 지금까지의 대회와는 다르게 대회 사후에 더 많은 일을 하게 된 것 같습니다. 덕분에 캡스톤디자인과 다른 여러 과제들을 미룰 수 있을만큼 미루면서 아슬아슬한 나날을 보내고 있습니다.

마감 당일 제출은 고사하고 매번 마감 한 시간 전에야 제출하게 되는 것 같습니다.

사실 지난번에 에디토리얼을 공개한 날에도 다음날까지 마감인 과제가 있었습니다. 그때도 결산 처리를 마감치자마자 다소 무리해서 과제를 마무리지었습니다. 그 과제는 자정 마감인 이클래스 과제가 아니라 대면으로 제출해야 했던지라, 다행히도 체력과 수명을 조금 깎아서 학점을 지킬 수 있었습니다.

이번에도 출제는 하지 않았습니다. 하지만…

직전 3회차 대회에서 출제할 여력이 없어서 문제를 출제하지는 않았습니다. 문제의 알고리즘과 정해를 설정하고, 정해가 정확한 풀이인지 검증하기, 그리고 정해의 반례와 별해를 찾고 데이터 생성하기까지. 저번 대회도 이번 대회도 다른 일과 병행하면서 출제하는 건 어려웠습니다.

하지만 이번에는 모든 문제의 지문을 검수하고 편집했습니다. 지난 세 번의 대회에서 항상 문장의 가독성이 좋지 않다는 지적을 받았기 때문입니다. 지난 세 번의 대회에서는 지문에 개입하는 형태는 조금씩 달라졌어도, 지문 수정에 소극적으로 개입하고 최대한 출제자에게 작문과 퇴고를 맡겼습니다. 지난 세 번의 대회에서 상황이 개선되지 않았으므로 이번에는 조금 적극적으로 상황을 바꿔보기로 한 것입니다.

사실상 신문이나 출판에서 말하는 편집자 같은 느낌이어서 공동출제에는 올라가지 않았지만, 이번 대회의 모든 지문에는 제 흔적이 남아있습니다.

그리고 제 노력이 어느정도는 먹혀들어간 것인지, 이번에는 아직까지 지문에 관련된 지적은 들어오지 않았습니다.

대회 기프티콘 상품

소중한 마음이 잊히지 않도록 선물하기에서 알려드려요

우리 대회는 카카오톡 선물하기로 상품을 발송하고 있습니다. 상품 수령인의 카카오톡 계정을 수집하지는 않고 있어서, 나에게 선물하기 하여 기프티콘을 생성하고 이미지를 보내드립니다.

그래서 잊을만하면 카카오톡으로 발송한 상품의 유효기간 알림을 받고, 카카오톡 선물함은 늘 나에게 선물하기로 발송된 기프티콘으로 가득합니다. 이게 그렇게 거슬리지는 않아도 꽤 기분을 묘하게 만들어서, 이번에는 B2B 기프티콘을 구매해서 보내기로 했습니다.

하지만 이번에 상품을 받아보신 분들이라면 아시겠지만 이번에도 카카오톡 선물하기를 통해 선물을 발송했습니다. 지금까지 B2B 기프티콘을 구매해본 적이 없어서 몰랐는데, 구매하려면 사업자 등록번호가 필요했습니다. 결국 다시 제 자신에게 선물하고 보내드리게 되었습니다.

싼 가격에 들어갔다가 물려버렸구나

B2B 기프티콘은 유효기간이 조금 짧은 대신 단가도 낮습니다. B2B 기프티콘으로 발송하기로 결정했을 때, 상품 목록도 B2B 기프티콘 단가에 맞춰 설정하였습니다. 이번에 상품 전체를 스타벅스 기프티콘으로 밀었던 것도 이것을 고려한 결정이었습니다.

동시에 제가 강하게 주장했던 것은 순위상의 제거였습니다. 고정 후원자가 없는 우리 대회는 항상 저예산에 시달려왔습니다. 순위상으로 제공할 수 있는 건 항상 만원 전후의 기프티콘, 아무리 돈을 많이 사용해야 최고 순위에게 치킨 기프티콘을 제공하는 것 정도였습니다.

저는 우리 대회가 순위상을 제공할만큼 예산이 넉넉하지 않다고 생각합니다. 그럼에도 불구하고 무리해서 저렴한 기프티콘으로 순위상을 제공한다면, 오히려 좋지 않은 모습이 된다고 강력하게 주장했습니다.

지금껏 개최한 이전 세 번의 대회도 같은 생각이었습니다. 판단하고 의사결정하는데 필요한 정보나 비교할만한 사례가 충분치 않아서 다른 팀원의 이야기를 그대로 수용했지만, 이번에는 제 생각을 밀기로 했습니다.

대신 문제 해결 수의 세제곱을 가중치로 추첨하는 상품을 순위상으로 간주하고 스타벅스 커피 기프티콘이 아닌 와퍼 기프티콘을 제공하기로 했습니다. “1위상은… 와퍼 기프티콘입니다..!” 하는 이 모습을 반대하는 것이지, 좋은 결과를 내는 참여자에게 상품을 주고 싶지 않다는 것이 아니기 때문입니다.

아무튼 덕분에 발생한 예산과 실제 집행비 사이의 차액은 조용히 제가 부담했습니다.

AI: Ah 이런 (이라는 뜻)

요즘 다양한 경쟁 프로그래밍 대회에서 AI 생성 제출이 만연합니다. 오픈AI에서 챗 지피티의 코딩 성능을 코드포스 레이팅으로 발표하고, 그 레이팅이 주목할만큼 점점 높아지면서 더욱이 만연해진 것 같습니다.

TF에서는 대회를 준비하면서 AI 제출 대책을 마련하지 않았나?

대회에서 AI 제출을 어렵지 않게 찾아볼 수 있게 된 지도 꽤 시간이 흘러, 이제는 대회에서의 AI 제출에 별 다른 생각을 갖지 않게 되었습니다. AI 제출에 반감이 있다 없다 같은 이야기는 아닙니다.

그간 충분히 시간이 흘렀으니 사람들이 지금의 상황에 어떠한 형태로든 적응했을 것이고, 반감이 강하다면 나름의 널리 사용되고 있는 대책이, 용인되는 감이 강하다면 포기하고 받아들이는 분위기가 퍼져있을 것이라고 생각했습니다.

사실 대회 두 달 전쯤 후자 쪽으로 기울고 있는 분위기인것 같아 1월달 즈음 AI 대책 준비를 멈췄습니다. 논문이나 깃허브 레포를 뒤져보고 몇가지를 실험해보았는데, 진척이 된 것 같은 분위기도 아니고 얻을 수 있는 자료나 연구도 많지 않았습니다. 알고리즘 사용자들 사이에서도 드라이브 걸린 주류 의견이 없는 모양이었습니다.

지난 대회로부터 꽤 시간이 흘렀으니 그 사이에 어느정도 정형화되고 널리 퍼진 AI 제출 평가 방법이 있을 것이라고 생각했는데 아무것도 없었습니다.

그래서 대책 마련을 중단했습니다. 대회 시작 전까지 AI 제출이 어느정도 용인된다고 생각하고 깊게 생각하지 않게 되었습니다.

외양간 고치기

대회가 진행되면서 몇몇 사용자가 지나치게 노골적으로 AI로 생성한 답안을 제출하는 것을 목격하면서 꽤 당혹스러웠습니다. AI 제출을 어느정도 용인할 생각이었음에도 일단 규칙에는 AI 사용 금지 조항이 있었습니다.

TF에서도 상황을 예의주시하고 있었고, 몇몇 주요한 커뮤니티에서도 격한 반응이 있었으며, 대회 질문에 직접 AI 코드 처리 요청이 들어오기도 했습니다.

그래서 생각과는 다른 분위기에 저도 AI 제출에 대한 상황 인식을 고치고, 전체 제출을 검사하기로 했습니다. 사전에 조사했던 내용을 다듬고, 총 네 가지의 평가 척도를 마련해 전체 제출을 평가했습니다.

그 결과를 정리해 여러분께 드린 것이 <AI 제출 평가 보고서>였습니다.

야행성 짐승 한 마리

보고서 공개 후 솔브드 디스코드에 밝혔듯, 원래는 더 검증되고 설명력있는 평가를 더 거칠 계획이었습니다.

하지만 모든 평가 과정을 제가 홀로 작업했기 때문에, 대회 처리 관련한 일정을 포함하여 제 모든 개인 일정이 계속 뒤로 밀렸습니다. 저 역시 잠도 줄이고 밤낮을 바꿔가며 더 늦어지기 전에 마감치려고 애썼던 것 같습니다.

해야 할 일을 제 때 하지 못하고, 모든 일을 최대한 뒤로 밀 수 있을 만큼 밀어내면서 AI 제출 평가에 많은 시간을 쏟으면서 진짜 몇몇 곳에는 폐를 끼쳤습니다. 요 근래 많은 곳에 사과하고 다녔던 것 같습니다.

다시 한번 제가 제때 맡은 일을 끝내지 못해 더 고생하셔야 했던 분들, 정말 죄송합니다!

<일본 교환학생 / 1. 교환 유학을 가게 되었습니다.>에서 서류 문제로 교환 유학이 좌절되지는 않을것이라고 이야기했지만, 한동안은 진짜 서류를 제때 제출 못 해서 교환학생을 가지 못하게 될 수도 있겠구나 싶었습니다.

Till It’s Over

원래는 저번 3회차 대회 이후로 손을 좀 떼려고 했습니다. 어쩌다보니 4회차 대회도 제가 잡게 된 것인데.. 이번 기간에 꽤 많은 것이 갈리고 소모되어서, 당분간은 다른 것에 집중할 생각입니다.

이번 기간에 마지막이라는 생각으로 제게 있어서 우리 대회의 문제점이었던 것들을 바꿨습니다. 그리고 실험적으로 사용한 대회 결산 방법도 나름 많은 분께서 납득해주셨던 것 같습니다.

그래서 최종적으로는 만족스러운 대회였습니다.

이제는 조금 지쳐서.. 핌파티는 조금만 쉬겠습니다. 아마 대회 자체는 계속 이어질거에요.

감사합니다.

🎉

함께 해주신 @dongwook7, @lycoris1600, @realpsdoingdamyoo, @sjhi00, @tony9402, @utilforever님, solved.ac에 그래픽 리소스를 사용할 수 있도록 협조해주신 정희수님, 안상이님, 그리고 아망추 팀 김예빈, 김태린, 황윤규님 모두 감사했습니다.