[2022-05-15] NLP 대회(ODQA) 진행에 대한 반성 및 고찰

약 3주간 네이버 부스트캠프에서 ODQA 대회를 진행하였다. 팀원들이 열심히 달려준 덕분에, 내부에서 1등이라는 좋은 성적을 거둘 수 있었다. 겉으로는 굉장히 좋은 결과였지만, 개인적으론 스스로에 대한 부족함을 여실히 들어낸 많은 아쉬움이 남는 대회였다. 

 

솔직하게 얘기하면 여러 가지 사정 및 악재가 겹친 것은 부인할 수 없다. 하지만 그럼에도 불구하고 대회의 전반적인 협업 및 참여에 있어 개인적으로 많이 부족했었던 것 역시 변함이 없다. 따라서, 그러한 부분을 최대한 잘 정리하여 기억하고 다시는 반복하지 않기를 위해 이 글을 작성하기로 마음 먹었다. 

 

 

1. 모르는 부분에 대한 완전히 해결한 상태에서 프로젝트 진행하기

먼저, 초기에 개인적인 사정으로 열심히 참여하지 못하여, 초중반부터 열심히 달렸다. 그렇다보니, 팀원들에 비해 태스크에 대한 이해 및 진행 정도에 있어 차이가 발생하였다. 이렇다보니, 회의를 진행하는데 있어 몇몇 논의 내용에 대한 이해를 제대로 하지 못하였다. 개인적으로 이해에 대한 부족함을 팀원들에게 드러나고 싶지않아, 관련된 내용에 대해 제대로 질문하려들지 않았다. 물론, 대신 따로 시간을 내어 부족한 부분에 대해 혼자서 이해하려고 하였으나, 완벽하게 해결하지 못한 상태가 계속 발생하였다. 결론적으로 많은 부분에 있어, 확신을 가지고 이해하고 있다고 말할 수 없는 상황이 발생하였다. 다음부터는, 이런 상황이 일어나지 않기 위해 개인적인 자존심과 부끄러움을 내려놓고 끊임없이 질문하여 팀원들과 함께 걸음을 맞춰 나가기위해 노력할 것이다. 

 

2. 논문을 기반으로 생각하고 고민하기

실제로 과거 SOTA 모델 및 연구사례를 활용하였을 때, 성능이 나빴던 경험이 많아서인지 논문을 나도 모르게 피하게된 경향이 있다. 하지만, SOTA 모델을 사용하는 것과 실제 논문을 이해하고 관련 내용을 기반으로 고민하고 생각하는 것에는 분명 차이가 있다. 논문에서 얻을 수 있는 경험적 기반과 더불어 이론적 기반이 있는데, 나는 새로운 시도를 할 때 이런 이론적, 경험적 기반이 아닌 뭔가 재밌거나 흥미로울 것 같아서 진행한 경험이 더 많았다.

 

그렇기 때문에, 왜 이런시도를 하느냐에 대한 질문이 왔을 때, 그저 성능이 오를 것 같아서나 흥미로워서와 같은 단편적인 답변으로 일관할 수 밖에 없었다. 하지만, 주변 팀원들은 특정 논문에서 어떤 시도를 통해 기존 모델들 대비 성능이 어떻게 향상되었는지, 이 모델에선 어떠한 특수성을 가지고 있기 때문에 우리 데이터와 태스크에서 효과적일 것인지를 명확하게 확신을 가지고 설명할 수 있었다. 이러한 접근하는 태도의 차이는, 실제로 시도를 진행하는 과정에서 어떻게 성과를 만들어낼 수 있는지에 차이를 가져왔다. 

 

논문은 단순히 연구진이 하루 이틀 고민한 것이 아닌 몇 달, 몇 년을 특정 태스크, 데이터, 모델에 대해 고민한 흔적이 담아있는 자료에 해당한다. 이런 점을 유념하고 논문에서 접근하는 다양한 시도에 대한 관심을 키우고, 눈문을 기반으로 생각하고 접근하는 습관을 키우기 위해 노력할 것이다. 

3. 성능 재현 및 팀원들의 시도 재현에 소홀하지 않기

사실상 개인적인 업무 및 시도를 진행하고 집중하고 있는 상황에선, 다른 팀원의 진행과정에 대한 이해와 관심이 소홀해질 수 있다. 그것이 새롭게 진행중인 시도이거나, 이미 성능향상을 달성한 완료되어가고 있는 시도이든지 말이다. 나역시 이번에 전체적인 태스크 이해 및 새로운 시도를 진행하는 과정에서 많은 애로사항을 겪으면서, 다른 팀원들의 모델 성능 재현에 소홀하거나, 관련 지식들을 제대로 이해하여 내것으로 만들려고 노력하지 못하였다. 이런 점은, 내가 팀원들과 함께 진행함으로써 간접적으로 배우고 경험할 수 있는 있는 중요한 기회를 놓친 것이나 마찬가지였다. 이런 기회를 날리는 것은 정말 스스로 잘못했음을 다시금 느낀다.

 

또한, 많은 대회 및 프로젝트를 진행할 때면 최종적으로 많은 사람들이 각자 따로 진행한 부분에 대해서 함께 합쳐서 마무리를 해야하는 상황이 발생하는데, 이때 정말 많은 애로사항을 겪었다. 분명 팀원들과 합세하여 빠르고 효율적으로 성능을 끌어올리는 것에 몰두해야하는데, 성능 재현이 완벽하게 되지 않아 좀 더 많은 기여를 하지 못한채로 프로젝트를 마무리 짓게 되었다. 다음에는 좀 더 팀원들의 진행상황에 관심과 더불어 귀를 기울일 수 있도록 1.5배 노력할 것이다. 

4. 항상 제출할 것을 염두해두고 실험하기

여러가지 새로운 시도를 하다보면, 항상 그것이 하루만에 마무리되는 경우는 드물다. 그렇기 때문에, 새로운 시도를 기반으로 리더보드 제출에 소홀해지거나, 그 다음날로 미루는 경우가 다반사다. 하지만, 제출 기회의 총량이 제한되어 있는 상황에선 이렇게 진행하는 방법은 옳지 못하다. 결과적으로 많은 시도에대한 검증할 기회를 잃어버리게된다. 또한, 이는 대회에 대한 성능 재현 및 성능 향상에 대한 명확한 기록을 남겨 추후 활용할 수 있을 가능성 역시 함께 놓치게된다. 다음부터는 새로운 시도를 함에 있어 가급적이면 제출할 것을 고려하여 계획을 수립하거나, 그것이 힘들다면 다른 가벼운 시도를 통해 제출물을 생성하여 리더보드 제출하는 것을 일상화할 수 있도록 노력할 것이다. 

 

---

 

다시 한번 더 같이 함께 열심히 달려줌과 동시에, 진행과정에서 있었던 부족함이나 아쉬웠던 점에 있어서도 보듬어주고 이해해주기 노력해준 팀원들에게 감사함을 전한다. 개인적으론, 이번 경험을 계기로 좀 더 훌륭한 팀원, 직원으로 성장할 수 있기를 기대해본다.