1978年，河南大学恢复研究生教育，为了加强对研究生工作的管理，学校在教务处设置了 研究生科，负责研究生的招生与管理工作。随着研究生招生专业的增多和规模的不断扩大，1982年，研究生科调整至科研处；1985年，研究生处成立，设立 了办公室、招生科和学位培养科；1986年学校自筹经费建设了研究生楼，采取了教学、生活集中管理的模式。
为了加强研究生的思想政治工作，1998年5月，河南大学党委决定在研究生处成立党总支，集中管理全校研究生的思想政治工作。党总支下设5个支部， 包括1个教工支部，1个博士生支部，3个硕士生支部。从各院系分散管理到研究生处统一管理，这是学校研究生思想政治工作管理体制的一项重大改革。学校的研 究生思想政治工作进一步得到加强，为提高研究生的思想政治素质发挥了重要作用。
2005年7月，经河南省人民政府批准，河南大学开始试办研究生院，设立了综合管理办公室、学科建设办公室、研究生招生办公室、培养与学位办公室、 研究生教育与管理办公室等5个科室；同年成立了校党委研究生工作部，负责全校研究生的思想政治教育工作。研究生院的成立使学位与研究生教育的管理体制实现 了重大转变，过去的集中管理模式开始转变为学校——学院（部、室、中心）二级管理、以院为主的管理模式，明确了研究生教育与管理工作中的职责和权力，赋予 了研究生培养单位以更大的管理自主权。研究生院对全校学科规划与建设、招生、培养与管理、学位评定与授予等工作进行宏观管理，把学科建设、研究生招生与培 养、研究生思想教育与管理、学位申请审核等方面的具体工作下放到全校各研究生培养单位。规模较大的研究生培养单位设立研究生与科研办公室，设置研究生辅导 员、教务员岗位，具体组织本单位研究生的教学、思想政治教育与管理工作。学校还成立了硕士专业学位教育中心，分别挂靠在相关学院进行管理，具体负责各种专 业学位研究生的培养和管理工作。
2010年2月，根据工作需要，经校党委常委会议研究，决定成立“211工程”与省部共建办公室，挂靠研究生院。
2013年5月，学校调整部分机构设置。调整后的。研究生院（党委研究生工作部）设立：学科建设办公室、招生办公室、培养办公室、学位办 公室、教育管理办公室（以上机构为正处级）以及综合办公室（副处级）；同时，撤销了“211工程”与省部共建办公室。其中，学科建设办公室下 设两个科室：学科建设管理科、省部共建与质量评估科；研究生招生工作办公室下设一个科室：招生管理科；培养办公室下设两个科室：学术学位培养科、专业学位 培养科；学位办公室下设一个科室：学位管理科；综合办公室下设一个科室：行政管理科。
目前，河南大学已经成为一所拥有文、史、哲、经、管、法、理、工、医、农、教育、艺术等12个学科门类的综合性大学。设有12个博士学位授权一级学 科，42个硕士学位授权一级学科，20种硕士专业学位授权类别；哲学与公共管理学院、经济学院、环境与规划学院、法学院、文学院、教育科学学院、体育学 院、外语学院、新闻与传播学院、艺术学院、历史文化学院、土木建筑学院、数学与统计学院、计算机与信息工程学院、物理与电子学院、化学化工学院、生命科学 学院、医学院、药学院、商学院、天然药物与免疫工程重点实验室、特种功能材料重点实验室、纳米材料工程研究中心、马克思主义学院、黄河文明与可持续发展研究中心、淮河临床 学院、护理学院、软件学院、东京临床学院、国际汉学院、植物逆境生物学重点实验室、黄河文明传承与现代文明建设河南省协同创新中心、纳米功能材料及其应用 河南省协同创新中心、新型城镇化与中原经济区建设河南省协同创新中心、作物逆境生物学河南省协同创新中心等35个研究生培养单位。全日制在校研究生规模为六千余人，其中博士生二百余人。
在学校党委、行政的正确领导下，研究生院认真贯彻落实国家有关学位与研究生教育的各项方针政策，遵循高等教育发展规律，形成了“务实、求真、奋发、 进取”的工作作风。研究生院以国家开展研究生教育综合改革为契机，围绕建设高水平大学的战略目标，坚持走内涵式发展道路，把立德树人作为研究生教育的根本 任务，不断将我校学位与研究生教育事业推向前进。
（更新日期：2016年3月14日）
研究生院（研究生工作部）是校党委和校行政负责组织实施学科建设、学位与研究生教育工作的职能部门，主要职责是：
1、负责学校学科建设工作。
2、负责学位点建设、评估与动态调整工作。
3、负责研究制订和实施学位与研究生教育的规章制度。
4、负责制订研究生年度招生计划，组织研究生招生工作。
5、负责组织制定和修订研究生培养方案，做好研究生指导教师队伍和研究生课程建设、督导与考评工作。
6、负责研究生学位评定、授予与管理工作，承担学校学位评定委员会办公室的日常工作。
7、负责研究生教育国际、国内的交流与合作。
8、负责研究生辅导员队伍建设和研究生思想政治教育、科学道德与学术规范教育、奖助贷、学籍管理、毕业生就业等工作，指导《新研究生时代》的编辑工作。
9、负责省部共建工作。
10、负责“河南省学位与研究生教育发展中心”日常工作。