济源市历史悠久，上古时代这里就是夏朝故都，夏代第六代君王少康迁都原，即今济源市区西北部火车站一带。商代济源一带有向国、召国。西周、东周时期，济源一带有原、樊、向、苏、单等诸侯国。春秋战国济源一带先属郑国，后属晋国，再后属韩、魏。秦代（前221－前206）济源境内设轵县。一说属三川郡，一说属河内郡。汉代（前206－220）济源境内设轵县、波县（今裴城一带）、沁水县（今王寨一带）。三国时代（220－280）济源境内设有轵县、沁水县，属魏国河内郡。西晋（281－316）时济源境内有轵、沁水二县，属河内郡。东晋（317－420）时期，济源属前秦。北魏后分为东魏和西魏。济源东部属东魏，境内有轵、沁水二县。西部属西魏，境内设有邵郡。辖苌平县。北周（558－580）和北齐（551－577）时期，沁水县并入轵县，改苌平县为王屋县。隋开皇十六年（公元596年），析轵县北置济源县，大业三年属河内郡。从此有了济源县。唐代（618－907）济源一带政区变化较大，屡建屡废。唐末，济源境内有济源、王屋、河清三县。其中济源属孟州，王屋、河清属河南府。北宋时期，济源境内有济源、王屋、河清三县，属孟州。金时期，济源属金国（1115－1235），设济源、王屋二县。属孟州。元代，王屋县并入济源县，属怀庆路孟州。明清济源县属怀庆府。1913年属豫北道，1914年属河北道，1927年直属河南省，1932年属河南省行政督察第四区至1949年。

1942年7月，豫北道济源县抗日民主政府成立；1943年春，王屋县抗日民主政府成立；1946年，抗战胜利后，抗日民主政府更名为济源县民主政府；1947年7月，撤销王屋县，将王屋县的一、三区划归济源。

1949年8月属平原省，1952年平原省撤销，属新乡专区，1970年，属新乡地区。1975年5月，中共河南省委批准设立济源工区办事处，工区下辖虎岭区（县级）、济源县。1977年5月，中共河南省委决定撤销济源工区办事处，济源县重归新乡地区领导。1986年3月，新乡地区撤销，济源划归焦作市领导。1988年6月，济源撤县建市，实行计划单列，以原济源县的行政区域为县级济源市的行政区域，仍归焦作代管。1997年经国务院批准不再由焦作市代管，由河南省政府直辖（副地级市）。2005年升格为省辖市（按正地级市所有行政管理机构配置）。