1983年，J．J．Hopfield利用神經網絡求解“流動推銷員問題”這個著名的NP難題取得重大進展，使得連接主義重新受到人們關注．1986年，D.E．Rumelhart等人重新發明了著名的BP算法，產生了深遠影響．與符號主義學習能產生明確的概念表示不同，連接主義學習產生的是“黑箱”模型，因此從知識獲取的角度來看，連接主義學習技術有明顯弱點；然而，由于有BP這樣有效的算法，使得它可以在很多現實問題上發揮作用，事實上，BP -直是被應用得最廣泛的機器學習算法之一，連接主義學習的最大局限是其“試錯性”；簡單地說，其學習過程涉及大量參數，而參數的設置缺乏理論指導，主要靠手工“調參”；夸張一點說，參數調節上失之毫厘，學習結果可能謬以千里．二十世紀九十年代中期，“統計學習”(statistical learning)閃亮登場并迅速占據主流舞臺，代表性技術是支持向量機(Support Vector Machine，簡稱SVM)以及更一般的“核方法”(kernel methods).這方面的研究早在二十世紀六七十年代就已開始，統計學習理論[Vapnik, 1998]在那個時期也已打下了基礎，例如V. N. Vapnik在1963年提出了“支持向量”概念，他和A.J．Chervonenkis在1968年提出VC維，在1974年提出了結構風險最小化原則等，但直到九十年代中期統計學習才開始成為機器學習的主流，一方面是由于有效的支持向量機算法在九十年代初才被提出，其優越性能到九十年代中期在文本分類應用中才得以顯現；