隋文帝開皇四年(公元584年)置伊州,隋煬帝大業初改伊州為汝州,治梁縣城。大業八年,移承休縣至汝原縣,廢汝原縣。改汝州為襄城郡,治承休縣城,領承休、梁、陽翟、東汝原、汝南、魯、城八縣。
唐汝州建制多變:公元621年,改襄城郡為伊州,領承休、梁、郟三縣;公元627年,移梁縣衙于承休縣,撤承休縣,把魯山劃為伊州;公元634年,改伊州為汝州,領梁、郟城、魯山三縣;公元695年,在今寶豐置武興(后改龍興)縣;公元712年在今臨汝鎮置臨汝縣;公元738年,劃許州襄城縣來屬,改汝州為臨汝郡,屬都(指東都洛陽)畿道,領葉、襄城、郟城、魯山、龍興、臨汝七縣。公元758年,改臨汝郡為汝州。唐時汝州為東都洛陽東南門戶,設東都畿都防御使,駐有重兵防守。
五代時汝州先后歸梁、唐、晉、漢、周五個朝代,建制隨唐制,仍為軍事要地。周顯德三年(公元956年)改臨汝縣為臨汝鎮,入梁縣,汝州領六縣。
宋代汝州建制仍襲唐制,公元1105年劃郟縣歸潁昌府。宋元和五年(公夫子1115年)升汝州為陸海軍節度,屬京西北路,領梁縣、襄城、葉縣、龍興、魯山五縣。
公元1127年,汝州被金占領。汝州屬南京路,金中央直轄,領梁(含今汝陽)、郟城、魯山、寶豐、葉縣、襄城六縣。公元1207年,劃襄縣屬許州;1208年,劃葉屬裕州。
公元1271年,忽必烈建立元朝,形成了軍政合一的省一級地方建制。汝州屬河南江北省南陽府管轄,領梁、郟縣、魯山三縣,寶豐廢縣為鎮,歸梁縣管轄。
公元1368年,朱元璋建立明朝,對元行省作了大的改革,改省為“承布宣政司”,只管民政,但人們習慣上仍叫行省,簡為省,省下設郡(州)、縣。汝州仍為南陽府管轄,將梁縣省入汝州,領郟縣、魯山兩縣。1475年4月,在汝州東南設寶豐縣,汝州領三縣。1476年9月,時任兵部左侍郎的汝州人滕昭,以汝州距南陽太遠給群眾生活帶來不便為由,同好友河南布政使原杰聯明奏請憲宗皇帝朱見深,將汝州從南陽分出由省直轄,汝州成為河南唯一一個由省直轄的直隸州,由縣級州升格為府級。同年12月,在汝州西部今汝陽縣城附近置伊陽縣,劃原嵩縣、魯山、汝州的部分地區為伊陽地,汝州領魯寶郟伊四縣。明中央掌管吏治的按察使司在地方設立四十一個按察分司,叫巡道,河南有二,分別叫河南道、河北道,河南道駐汝州。
清朝沿襲明制,汝州直隸州的地位沒有改變,領魯山、寶豐、郟縣、伊陽四縣。
民國元年(公元1912年),汝州隸河洛道,仍領四縣。
1913年,地主實行省、專區、縣三級管轄,改直隸汝州為臨汝縣,歸許昌專區管轄。
1947年屬豫西五專區。
1949年仍歸許昌專區,1951年將大小張莊和磨冢營村劃歸寶豐縣管理轄。
1954年10月改隸洛陽專區管轄。
1986年,撤專區建制,實行市(地)管縣,改隸平項山市!
1988年8月改臨汝縣為汝州市,屬省直轄,計劃單列,由平項山市代管。