Фрэнк Розенблатт [1302] изобрел современный "персептрон" и доказал теорему сходимости персептрона [1303], хотя его работы оставались в тени чисто математических исследований, выполненных вне контекста нейронных сетей [6], [1093]. Кроме того, некоторые ранние работы в области нейронных сетей были посвящены многослойным сетям, включая персептроны Гамба [517] и мадалины [1586]. В книге Learning Machines [1140] рассматриваются многие из этих ранних работ, а также другие интересные темы. В дальнейшем, в этот ранний период исследований пер-септронов, интерес к этой теме упал под влиянием книги Perceptrons [1054], авторы которой посетовали на отсутствие математической строгости в этой области (но сами авторы в последующем заявили, что они в своей книге просто объяснили причины этого падения интереса). В данной книге указано, что однослойные персептроны способны представить только линейно разделимые понятия, и отмечено отсутствие эффективных алгоритмов обучения для многослойных сетей.

Как свидетельство возрождения интереса к коннекционизму могут рассматриваться статьи в сборнике, выпущенном по материалам конференции в Сан-Диего в 1979 году [655]. Большое внимание исследователей привлекла двухтомная антология PDP (Parallel Distributed Processing — параллельная распределенная обработка) [1316] и короткая статья в журнале Nature [1317]; фактически количество статей по "нейронным сетям" за период между 1980—1984 и 1990—1994 гг. увеличилось в 200 раз. Анализ нейронных сетей с использованием физической теории магнитных спиновых стекол, приведенный в [26], упрочил связи между статистической механикой и теорией нейронных сетей, предоставляя последнему научному направлению не только полезные математические основы, но и научную респектабельность. Метод обратного распространения был изобретен довольно рано [201], но затем был забыт и снова открыт еще несколько раз [1175], [1579].

Машины поддерживающих векторов впервые были созданы в 1990-х годах [296], а теперь являются темой все более возрастающего количества литературных источников, включая такие учебники, как [309]. Было доказано, что эти машины могут стать очень широко применяемым и эффективным средством решения таких задач, как категоризация текста [738], исследования в области биоинформатики [194] и обработка естественного языка, в частности распознавание рукописных цифр [374]. К примерам связанных с ними методов, в которых также используется "фокус с ядерными функциями" для неявного представления экспоненциального пространства характеристик, относится персептрон с голосованием [283].