關於tusimple的訓練和測試

[q36101]

我是一位正在研究車道線檢測的學生。我一直對于tusimple數據集有些疑惑，它的train、val、test是有標準的劃分方法嗎？在官網上我沒有看到詳細的說明，只有各數據集的數量。網路上有些人直接從3628個樣本中按照一定比例劃分為訓練、驗證集，有些人則是訓練:3628、測試和驗證:2782。在一些不常見的研究中，甚至直接將樣本按照90%和10%的比例劃分為訓練和測試集。我想請問在進行數據集劃分任務時，一般採用哪種方法比較合適？

[voldemortX]

@q36101 tusimple是有普遍接受的train/val/test分配的, 详见 https://github.com/voldemortX/pytorch-auto-drive/blob/master/docs/datasets/TUSIMPLE.md

[q36101]

我遇到一些問題想請問一下，車道線論文上tusimple有都有94-96%的f1-score，而我自己用訓練scnn-tensorflow網路測試test(2782)只有81%，用val(358)測試有94.2。
我測試f1-score時是使用像素級的計算，用兩張png計算f1-score，而非tusimple的benchmark(因為我不知道如何將生成的特徵圖png轉成json)。
請問您是如何計算f1-score，是用json評估或是png評估?計算時是用test(2782)，還是val(358)?

[voldemortX]

我遇到一些問題想請問一下，車道線論文上tusimple有都有94-96%的f1-score，而我自己用訓練scnn-tensorflow網路測試test(2782)只有81%，用val(358)測試有94.2。
我測試f1-score時是使用像素級的計算，用兩張png計算f1-score，而非tusimple的benchmark(因為我不知道如何將生成的特徵圖png轉成json)。
請問您是如何計算f1-score，是用json評估或是png評估?計算時是用test(2782)，還是val(358)?

我们的repo使用官方的json关键点评测脚本。val和test都支持。

[q36101]

我知道了，謝謝。

[q36101]

為甚麼val和test都支持，兩個dataset不是不一樣嗎?

[voldemortX]

為甚麼val和test都支持，兩個dataset不是不一樣嗎?

。。。调参用val，评测用test。功能上不是都要支持么