聯合書院圖書館為上校區兩所人文學圖書館之一，收藏哲學類藏書、大套中文叢書及通識教育特藏。圖書館底層為每星期7日、每日24小時開放的學習空間，配置豐富的資訊科技設施。地下樓層翻新後更為寬敞，提供更多學習設施和空間，另設有天機電算室供聯合書院的學生、教職員和校友使用。圖書館一樓及二樓提供獨立座位及印刷本館藏。自學中心位於圖書館一樓，方便讀者使用。

聯合書院圖書館於一九五六年成立，後蒙已故殷商胡忠先生慷概捐贈，新建院舍，圖書館遂於一九七二年遷入聯合書院校園，命名「胡忠圖書館」。二零零一年，圖書館更名為「胡忠多媒體圖書館」。二零一八年，多媒體館藏分科調遷至各圖書館後，圖書館恢復原名「胡忠圖書館」。