渌江书院始于宋淳熙二年（1175年），其前身为西山书院，几经损毁，清道光九年（1829年），知县陈心炳在西山书院遗址上，建成现在的渌江书院。主体建筑由头门、讲堂、礼殿、斋舍、靖兴寺和宋名臣祠等组成，总建筑面积4123平方米。1904年，书院改为学堂，开始兴办新学。直到2011年6月，才正式停止办学。

渌江书院是醴陵九所书院中办学规模最大、办学时间最长、影响最深远的一所书院，也是醴陵唯一保存至今的书院。宋代教育学家朱熹、明代哲学家王守仁曾在书院讲学。清代名臣左宗棠曾任书院山长（校长）。民主革命先驱宁调元、南社创始人傅熊湘、北伐军前敌总指挥部参谋长张翼鹏、无产阶级革命家、我国工人运动的杰出领袖李立三、抗日名将左权、为湖南省和平解放立下汗马功劳的程潜、陈明仁等均在此学习过。

2013年3月，渌江书院被国务院公布为全国重点文物保护单位。2015年，醴陵市启动渌江书院扩建项目，规划用地面积109亩，主要建设内容包括服务游客接待中心、五贤堂、书院码头、曜山仰头、洞天日月等园林景观及配套的山门、牌坊、仿古亭台等。2017年，被授牌“株洲市廉政文化教育基地”。2018年12月，渌江书院全面完成景区建设和文物修缮，重开讲坛。2020年，被授牌“湖南省爱国主义教育基地”。