訓練樣本相當于給同學們練習的習題，測試過程則相當于考試，顯然，若測試樣本被用作訓練了，則得到的將是過于“樂觀”的估計結果．可是，我們只有一個包含m個樣例的數據集D=．[（z1，可1），(X2，y2)，…，(Xm，Ym)]．，既要訓練，又要測試，怎樣才能做到呢？答案是：通過對D進行適當的處理，從中產生出訓練集S和測試集T.下面介紹幾種常見的做法．2.2.1留出法“留出法”(hold-out)直接將數據集D劃分為兩個互斥的集合，其中一個集合作為訓練集S，另一個作為測試集T，即D=SUT，S nT=g．在S上訓練出模型后，用T來評估其測試誤差，作為對泛化誤差的估計．以二分類任務為例，假定D包含1000個樣本，將其劃分為S包含700個樣本，T包含300個樣本，用S進行訓練后，如果模型在T上有90個樣本分類錯誤，那么其錯誤率為(90/300)×100%=30%，相應的，精度為1- 30070=70070.