Q. Riiid 대회 EDA를 봤는데 time_stamp를 기존 데이터에 있는 값을 넣어주는 게 아니라 시차를 구해 간단하게 넣어주는데 이렇게 하는 방법이 더 성능이 좋은가요?
→ 모델에게 조금 더 확실한 값(단순 시간이 아닌 경과시간)을 넣어주기 위한 방법인 것 같습니다. 성능이 더 좋아질 것으로 예상됩니다.
Q. 저희의 task가 사용자가 풀었던 전체 log를 한 번에 넣고 마지막 값만을 예측하는 것이 맞나요?
→ 한꺼번에 넣어주는 건 맞으나 PyTorch에서 처리될 때는 sequantial하게 들어가 처리되는 것 같습니다.
→ Transformer를 사용하게 되면 셀프 어텐션을 사용해서 한 번에 처리되게 할 수 있을 것 같습니다.
Q. sequantial하게 들어간다면 Teacher Forcing 하는 것이 가능할까요?