阜南县属内陆开发较早地区。从境内万沟，贺胜台等处发现的新时器时代的遗址和文物考证，早在5000年前，人类即已在此定居。此地夏、商两朝属豫州；周为宋地；春秋时期归于楚；秦属泗水郡鹿上县；汉改鹿上为原鹿(治所在今公桥阮城)，后被原鹿与富陂两侯国分领；三国时期隶属富陂县，晋为原鹿县；南北朝划归汝阴郡；隋、唐至五代为颍州治下，宋改颍州府为顺昌府，置焦陂(今焦陂集)、永安二镇，元废路置省，属河南行省汝宁府颍水县(治所在今地里城)，后并入颍州，明为凤阳府颍州所领；清雍正二年升颍州为直隶州，清雍正13年升为府，原颍州改为阜阳县； 民国时期为安徽省阜阳专区阜阳县之三(焦陂)、六(地城)两区辖地；1947年11月，中国人民解放军开辟阜阳南乡，建阜南县；1949年2月撤县后，设阜南办事处； 中华人民共和国成立后，1950年改办事处为阜南县，隶属安徽省阜阳专区，辖原阜阳之赵集、苗集、于集、公桥和原临泉之方集，原颍上之黄岗共六区；1952年阜阳之柴集、许堂、朱寨三区划归阜南县，确定了今天阜南县的基本行政格局。