黄山学院前身为始创于1978年的徽州师范专科学校；1997年12月，与原中国科技大学徽州大专班合并，更名为黄山高等专科学校；2000年8月，安徽省人民政府批准黄山林业学校成建制地并入黄山高等专科学校；2002年2月，经教育部批准，升格为黄山学院。 2014年，黄山学院获批建设安徽省高等教育振兴计划地方应用型高水平大学项目、国家卓越农林人才教育培养计划项目。2019年，学校正式被纳入安徽省省级硕士立项建设单位。
截至2021年5月，学校分为率水、横江两个校区，占地面积1800亩，其中校舍建筑面积57.02万平方米，教学设备总值3.06亿元，拥有在校教职工995人，全日制学生1.8万余人，设有16个二级学院、63个本科专业。