中国科学院炭材料重点实验室的前身是中国科学院山西煤炭化学研究所炭材料研究室。该研究室创建于1962年，是我国最早从事新型碳材料研发的机构之一。重点研究新型碳材料制备过程中的相关科学基础问题、关键技术和共性技术。实验室也注重对新型碳材料应用工程技术的研发。
目前研究领域覆盖了高性能炭纤维及其复合材料、极端环境下高性能和多功能特种碳材料、碳质多孔功能材料、纳米碳材料等。近些年来，碳材料实验室共获国家级、省部级成果奖20余项，在一些重要研究方向已居国内领先的水平，如高性能炭纤维、高导热炭基材料、超高比表面积活性碳等。同时，一批研制成果已获得实用化。