Официальная дата основания школы — 8 ноября 1793 года (18 брюмера II года), когда Конвент утвердил создание в Парижской Коммуне национального института музыки, ассигновал этому учреждению постоянный бюджет и передал ему музыкальные инструменты, конфискованные у эмигрантов. 3 августа 1795 года (16 термидора III года) Конвент провозгласил законное основание Академии музыки, которая заменила собой предшествующие школы. В первые годы во главе учреждения стоял директорат, в который входили Франсуа-Жозеф Госсек, Этьен Мегюль и Луиджи Керубини.

Кроме обучения инструменталистов и разработки методики для каждой из дисциплин в Академии проводились занятия для будущих артистов Opera Comique, Theatre-Italian и Comedie-Francaise. В 1806 году Ф.-А. Хабенек создал студенческий оркестр, которым впервые во Франции были исполнены несколько симфоний Бетховена.

Воспринимаемая как порождение Революции, Академия была официально закрыта при Реставрации (1816), но позже была открыта вновь под новым названием — Королевская Школа музыки и декламации. В 1822 году была переименована в Академию музыки.

Невозможно перечислить всех выдающихся музыкантов, которые в разное время были профессорами Парижской консерватории. Среди них Фроманталь Галеви, Пьер Байо, Жильбер Дюпре. Антонин Мармонтель. Сезар Франк, Шарль-Мари Видор, Мартан Марсик, Альфред Корто, Маргерита Лонг, Поль Дюка, Шарль Мюнш, Пьер Фурнье, Андре Наварра, Оливье Мессиан, Дариус Мийо и многие другие.