联合书院图书馆为上校区两所人文学图书馆之一，收藏哲学类藏书、大套中文丛书及通识教育特藏。图书馆底层为每星期7日、每日24小时开放的学习空间，配置丰富的信息科技设施。地下楼层翻新后更为宽敞，提供更多学习设施和空间，另设有天机电算室供联合书院的学生、教职员和校友使用。图书馆一楼及二楼提供独立座位及印刷本馆藏。自学中心位于图书馆一楼，方便读者使用。

联合书院图书馆于一九五六年成立，后蒙已故殷商胡忠先生慷概捐赠，新建院舍，图书馆遂于一九七二年迁入联合书院校园，命名「胡忠图书馆」。二零零一年，图书馆更名为「胡忠多媒体图书馆」。二零一八年，多媒体馆藏分科调迁至各图书馆后，图书馆恢复原名「胡忠图书馆」。