1981年中国音乐学院成为我国首批硕士学位授予单位，迄今已连续培养了26届硕士研究生。该硕士学位授予点共有40余个专业研究方向。2005年中国音乐学院成为博士学位授予单位，2007年开始招生。该博士学位授予点共有10多个专业研究方向。
中国音乐学院研究生教育现包括博士研究生、硕士研究生、艺术硕士专业学位（MFA）、高校教师专业学位、国内访问学者等多种层次和形式，并面向海外招生港、澳、台、留学生。目前拥有博士研究生导师27名，硕士研究生导师102名，涉及民族音乐学、音乐史学、音乐教育学、作曲及作曲技术理论、指挥、民族声乐、美声、民族器乐、钢琴等专业方向，各类在校研究生205人。
中国音乐学院研究生处自成立以来，担负着全院研究生的招生、培养、学位授予与答辩、学科专业建设、博导硕导队伍建设、研究生教育管理体制的健全等各个方面，并取得了令人瞩目的成绩。