Колледж, обычно именуемый «Фитц», возник значительно позднее, в 1869 году, на базе независимого студенческого сообщества, расположенного в Fitzwilliam House, напротив одноименного музея. Оно объединяло студентов, которые не могли себе позволить поступить в Кембридж, и предлагало им образование университетского уровня. В 1966 году это объединение обрело статус колледжа Кембриджского университета. В 1979 году право поступления было предоставлено и женщинам.

«Фитц» не столь популярен, как древние, элитарные Колледжи, он несколько отдален от главного туристического центра и в архитектурном отношении не столь презентабелен. Тем не менее, он расположен в престижной западной части Кембриджа, где сконцентрированы факультеты математики, физики и техники. Он славится прекрасными садами, которые великолепно выглядят на протяжении всего года.

Сильной стороной Фитцуильям-колледжа, несомненно, является его музыкальное общество: «Фитц» — единственный из колледжей Кембриджа, который может гордиться собственным регулярно выступающим струнным квартетом (Fitzwilliam String Quartet). В колледже также множество вокальных коллективов — хор часовни, «Цирюльня», «Сирены» и др. «Фитц» также активно участвует в деятельности «Оркестра на Холме» (название связано с тем, что на возвышении находятся некоторые известные факультеты). «Фитц-театр» — созданная недавно драматическая труппа — выступает в зале Фитцуильям, открытом два года назад и являющимся самым большим и лучше всех оборудованным в университете.