Пол и Арт познакомились в 1953 г., когда оба учились в нью-йоркской «Форрест Хиллз Хай Скул»; их дебютом на сцене были роли Белого Кролика и Чеширского Кота в инсценировке «Алисы в Стране Чудес» Л. Кэрролла. Два года спустя приятели приступили к совместному сочинению песен, причем подошли к делу очень серьезно - уже их первое сочинение «The Girl For Me» было зарегистрировано авторами в Библиотеке Конгресса США и получило копирайт. В ноябре 1957 г. под названием ТОМ & JERRY дуэт выпустил песню «Hey Schoolgirl» (US-49), распроданную тиражом 120 тысяч копий. 

После завершения учебы Саймон поступил в Куинс Колледж, а Гэрфанкел - в Колумбийский университет на математический факультет. Попутно оба продолжали писать песни - материал Саймона исполняли Ричи Корделл и Дотти Дэниэл, а Гэрфанкел выпустил два соло-сингла под псевдонимом Арт Гэрр. В 1960 г. друзья снова решили работать вместе и четыре года спустя подписали контракт с фирмой «CBS/Columbia Records». Первый альбом дуэта, включавший мелодичные фолк-роковые песни, успеха не имел, равно как и первый сольник Саймона.
В октябре 1965 г. продюсер дуэта Том Уилсон без разрешения авторов перемикшировал песню с дебютного альбома «The Sound Of Silence», наложив на фонограмму партии ударных, перкуссии и электрогитары. В таком виде композиция возглавила американские чарты (1 января 1966 г.), хотя и не стала сенсацией в Англии (к большому неудовольствию Саймона, который подолгу жил в Лондоне и считал Британию своей духовной родиной). Спешно переизданный первый альбом занял 30-е место в США, второй (в него вошла электрическая версия «The Sound Of Silence» и ряд заново записанных сольных композиций Саймона) - 21-е.