位於江漢平原與中原之間的過渡丘陵帶。是“西通宛洛，南達吳越，地當荊豫要衝，扼阻襄漢咽喉”的鄂北重鎮。傳為神農出生耕耨之鄉，以烈山氏後代著稱。西周封為姬姓隨國，春秋時其地域為隨、厲、唐等國，戰國末楚滅隨，並厲、唐設置隨縣，秦漢因襲，隸屬南陽郡。西魏時升隨為州，唐、宋、元，明、清均置州，中華民國降州為縣。

現存名勝古跡有文峰塔、歲公橋(李公橋)、烈山神農洞遺址、烈山神農碑、陜西會館鐵旗桿。古城保存有一段土築城垣、漢東樓和護城河遺跡。城郊保存了大批古墓葬和古文化遺跡，其中著名的曾侯乙編鐘等珍貴文物出土于城西郊的擂鼓墩。唐代李白、北宋歐陽修曾遊居於此。抗戰時期，新四軍第五師在隨南九口堰建軍。李先念等於此通電就職，保存有新四軍五師司令部舊址。

1994年1月4日被國務院公佈為第三批國家歷史文化名城。