ICRの上位解法を眺めた - まだタイトルない

1st

score
- public 0.14445
- private 0.30626

「本当に予想外でした。上位10％に入ることを望んでいましたが、それ以上のことは夢にも思っていませんでした。」

DNNを使用
- GBDTは明らかに過学習だったので非採用
greeksは未使用
FEは過学習に繋がった
DNN based on Variable Selection Network(論文)
正規化はMinMaxScalerやStandartScalerでなく、8つのニューロンを持つ線形射影
最終的に確率を重み付けし直すと、とてもうまくいった。
cvは機能していた
- 10foldで10-30回学習し、cvを元に各foldで裁量のモデルを2つ選ぶ
- cvは0.25-0.05まで変動するほど不安定だった
予測しにくさを表現する新しいラベルを作成
- y_true = 1かつy_pred < 0.2、y_true = 0かつy_pred > 0.8　を1
- それ以外はラベル0
- このラベルはいいCVを切るために使用、scoreは0.02向上

2nd

score
- public 0.18941
- private 0.32586
- CV 0.21996

「控えめに言って、私は完全にショックを受けています。今日朝起きてチームメイトにおめでとうと言われましたが、何位になったのか興味が湧きました。それが2位だったのを見たとき、私は大笑いしました。」

model
- Catboost, XGBoost, TabPFN
- lightgbmはよくなかった
前処理
- greeksを使ってtimeを特徴量に加える。testにはgreeksがないのでmax(time)+1を使用
- timeが存在しないtrain行は削除して学習(全体の23%らしい)
  - umapで他のデータから離れたデータにtimeが存在しなかったから
- umapで次元を減らし、kmeansでクラスタにラベリングする
- feature permutationで特徴量選択
- nanは-100で補完
4fold

3rd

score
- public 0.21545
- private 0.33974
- CV 0.24217

「このような結果を残せたことに本当に驚きました。実は、このコンペティションに参加し、ベースライン・コードを実装しただけで、普段は残業が多い会社だったので、それからこのコンペティションに取り組むことはほとんどありませんでした😅。」

model
- catboost
- lightGBMはよくなかった
前処理
- 全特徴量ペアの比率を特徴量を作成　約1500個

4th

score
- public 0.16087
- private 0.34077
- CV 0.03346?

「リーダーボードで大Shakeを目の当たりにし、その結果、私がLBの一番上に行くことになり、とても驚いている。」

model
- CatBoost(ハイパラチューニングなし

処理

特徴量のギャップを再帰的に埋める

  r = CatBoostRegressor()
  is_null_c_train = train.columns[train.isnull().any()]
  is_null_c_test = test.columns[test.isnull().any()]
  nulls = list(is_null_c_train.append(is_null_c_test))
  for c in nulls:
      null_c_train = train[c].isnull()
      null_c_test = test[c].isnull()
      except_c = [x for x in train.columns[1:-1] if x not in [c]]
      r.fit(train.loc[~null_c_train, except_c], train.loc[~null_c_train, c], verbose = False)
      if len(train[null_c_train]) > 0:
          train.loc[null_c_train, c] = r.predict(train.loc[null_c_train, except_c])
      if len(test[null_c_test]) > 0:
          predicted = r.predict(test.loc[null_c_test, except_c])
          if c == 'EJ':
              predicted = np.round(predicted)
          test.loc[null_c_test, c] = predicted