Hачало Джульярдской школе было положено основанием в 1905 году Института музыкального искусства. В то время сама идея открытия в Америке музыкальной академии, соперничающей с европейскими, была новой. Но Франк Дамрош, — крестный сын Франца Листа и ведущий музыкальный педагог нью-йоркских общественных школ, — был убежден, что американские музыканты не должны учиться за границей.
Институт — это только первая часть истории того, что называется ныне Джульярдской школой. Огастес Д. Джульярд, богатый торговец текстилем и основанная в 1924 году по его завещанию школа выпускников Джульярда — необходимое продолжение темы. Новое учебное заведение было призвано помочь одаренным учащимся завершить свое музыкальное образование. В 1926 году произошло его слияние с институтом. Так появилась Джульярдская школа музыки, которую, в качестве единого президента, возглавил выдающийся ученый, профессор Колумбийского университета Джон Эрскин. В 1937 году его сменил на этом посту Эрнест Хатчисон.
В 1945 году президентом стал композитор Уильям Шуман. Процесс слияния при нем был окончательно завершен. В 1951 году У. Шуман основал отделение танца, а затем — знаменитый поныне Джульярдский струнный квартет. Он принципиально изменил систему преподавания музыки в США. В 1961 году он покинул школу, став директором только что построенного Линкольн-центра, куда в 1969 году, уже при новом руководителе, композиторе Питере Меннине, и переехала школа, называвшаяся с тех пор просто Джульярдской. Меннин создал также театральное отделение. С 1983 года, после смерти Меннина, шестым президентом (действующим и по сей день) стал Джозеф У. Полиси. Годы его пребывания в Джульярде стали временем обновления: при нем появились новые программы для студентов и выпускников, были пересмотрены учебные планы, сформулированы новые подходы к преподаванию гуманитарных предметов и, наконец, осуществлены два важных начинания — сооружение постоянного концертного зала «Мередит Уилсон Резиденс Холл» и создание в 2001 году Института джазовых исследований в сотрудничестве со Школой и музыкантами Линкольн-центра.