南京一带在100万年至120万年前就有古人类活动 ，35至60多万年前就有猿人在南京地域生活，汤山旧石器时代文化遗址出土了南京猿人化石，是截至2010年已发现最早的南京的人类生活遗迹。约7000-8000年前，出现了以北阴阳营文化为代表的新石器时代原始村落。在市中心的鼓楼岗北阴阳营、江宁区陶吴乡咎庙等地，发现200多处6000多年前新石器时代的遗址，出土大量的陶器和石、骨制成的生活用具。3000年前，相当于中原的商周之际，秦淮河流域出现了密集的原始聚落，被称为湖熟文化。春秋战国时，在这些聚落的基础上形成了南京地区最早的城邑。
3100年前，南京是西周周章的封地。周灵王元年（公元前571年），楚国在今六合区已设有棠邑，置棠邑大夫，是南京有历史记载的最早的地方建置，也是南京建城的开始，距今已有2585年。 春秋末年，吴王夫差在今朝天宫一带筑冶城，开办冶铸铜器的手工业作坊。周元王四年，越国灭吴后，范蠡在今中华门外的长干里筑越城。公元前333年，楚威王熊商于石头城筑金陵邑，金陵之名源于此。
公元229年，吴大帝孙权在此建都，改秣陵为建业（282年改建邺）。此后，东晋、南朝的宋、齐、梁、陈均相继在此建都，故南京有“六朝古都”之称，今南京图书馆保留有六朝建康城遗址。六朝时期的建康城是当时世界上最大的城市，人口达百万，是世界上第一个人口超过百万的城市，经济发达，文化繁盛，在江南保存了华夏文化之正朔。六朝南京城和罗马城并称为“世界古典文明两大中心”，以建康为代表的南朝文化，在人类历史上产生了极其深远的影响，故而南京在“四大古都”中具有鲜明的特色。
隋唐两代，南京受到北方刻意贬抑，但地理上的优势使这一地区的经济、文化不断发展强大。政区建制在唐代有130年降为润州属县，李白、刘禹锡、杜牧、李商隐等大诗人都在这里生活、游览过。秦淮河
唐亡后，南唐定都金陵，并扩建城邑。北方中国战火不断，而自杨吴始，70多年境内没有发生大的战争。秦淮河两岸集市兴隆，商贾云集。经济繁荣伴随着文化的发达，诗词、书画都开一代之风。
宋元时期的金陵依然保持南唐的城市规模，作为东南地区的经济重镇而闻名。着名的北宋政治家王安石曾3次以宰相之位担任江宁知府，并定居、终老在这里。1129年，宋高宗赵构改江宁府为建康府，作为行都，为江南东路首府。绍兴八年定建康为留都。南宋名将岳飞曾在南郊的牛首山一带大败金兵，并有抗金故垒遗存。
元代时改为集庆路，城内设有东、西织染局，组织丝织品大量生产，专业工匠有6000多户，南京云锦也成为元代皇家御用品，逐渐成为江南地区纺织业中心。
1356年，朱元璋攻占集庆，改为应天府。1368年朱元璋建立明朝，以应天为京师，南京成为中国的政治文化中心，迎来历史上的第二次高峰。明初京师总人口约70万人，是当时中国规模最大、人口最多的城市，也是全世界最大的城市，修造历时达27年的南京明城墙，是世界上第一大城垣。鸡笼山麓的国子监学生多达近万人，还有日本、朝鲜等国的留学生在此学习。
1402年，朱棣发动靖难之役夺建文帝帝位，19年后迁都北平，将南京改为留都，设南京六部等机构。明代中叶，南京城人口达120万，成为当时世界上最大的首都。终明一朝，南京一直是南方乃至全国的政治、经济、文化中心。