约于公元前2000年夏少康时，封此地为任国。秦称任城县。
后周广顺二年（952年）置济州，设治于巨野，任城县属济州。北宋仍之。金朝天德二年（1150年）迁济州治所于任城。后或在任城或在巨野几经变迁，终因任城地势高亢可防水患，遂得安宁，而于元至正八年（1348年）定治于此，是为济宁得名之由来。
明洪武元年（1368年）改济宁路为府，仍治任城。后降济宁府为州，任城遂废名入济宁州。
清雍正二年（1724年）改为直隶州，领三县直属山东省。
1913年改直隶州为济宁县，先后属岱南道、济宁道等，至抗战胜利后，属第二督察专员公署。
1946年1月济宁第一次解放，以城区和郊区划为济宁市。同年9月被国民党军队占领，又复为县。
1948年7月重获解放，仍称济宁市。此后屡经变迁：1949年分属于鲁中南行署的尼山、台枣两个专区。
1950年行署撤销后，尼山、台枣两专区合并为滕县专区。
1953年滕县专区与湖西专区合并，改为济宁专区，辖十四个县市。
1958年曾与菏泽合并。
1959年济宁、菏泽两个专区又在原来的基础上分开。
1983年10月济宁地区撤销，济宁市升为省辖地级市，撤销济宁县，将其辖区并入济宁市。济宁地区的兖州、曲阜、邹县、嘉祥、金乡、鱼台、微山等7个县划归济宁市；原济宁地区的汶上、泗水2县划归泰安地区。
1985年3月22日，国务院批准将原泰安地区的汶上县、泗水县划归济宁市管辖。
1989年12月2日，国务院批准将菏泽地区的梁山县划归济宁市管辖。
1992年3月1日，撤销兖州县，设立兖州市。
1992年10月4日，撤销邹县，设立邹城市。
1993年12月14日，济宁市郊区更名为济宁市任城区。
济宁具有7000年的文明史。自古素有“孔孟之乡、礼仪之邦”的美称。春秋时期五大圣人，即至圣孔子、亚圣孟子、复圣颜子、宗圣曾子、述圣孔伋均出生于济宁。全市现有国家级重点文物保护单位七处，省级50处，市级数百处。历史悠久、规模宏大、等级最高的孔庙，中国古代最大的人造园林-孔林，号称“天下第一家”的孔府被联合国教科文组织公布为人类历史文化遗产。这些灿烂的中华民族传统文化吸引着众多的海内外炎黄子孙前来朝拜、寻根祭祖。
济宁市素以“孔孟之乡”、“江北小苏州”而著称。旅游业起步较晚，改革开放以来从八十年代，逐步发展起来，形成了一定的产业规模和经济实力，年接待人数和旅游收入增长很快。旅游“行、吃、住、游、购、娱”六大要素有了很大提高，旅游业有了长足进步，基本满足了游客的需求。
到1997年底，全市拥有七座星级旅游宾馆，其中三星级一座、二星级六座。旅游涉外饭店20座，较高标准的床位4000多个和15000个餐位，旅游车辆1000余部，并建有一批较高水平的游乐设施。
近几年已新建、整修、恢复了40余处旅游区和名胜景点，拥有270余处对外参观点。如“六艺城”、“论语碑苑”、“观水园”、“鲁国盛世”、“孔子精华园”、“济宁博物馆”等，正在建设的省级旅游度假区一个。此外，还有一批旅游项目和设施正在筹建中，逐步形成了以市区、曲阜、嘉祥、邹城、微山、梁山为核心的风景名胜旅游区。
