据本县赵庄村和大坪村发现的新石器时代的石器鉴定，远在新石器时代已有人类在境内繁衍、生息。
县境战国时期始置皋狼邑，属赵地，西汉置皋狼县属西河郡。西晋置左国城，属西河国。北齐文宣帝天保三年（552）置皋狼县，属怀政郡（离石）。北周静帝大象年间增设窟胡县，属石州，隋炀帝大业三年（607）建方山县。唐高祖武德二年（619）置方州，县属之。武德三年（620）州废，改属石州。贞观十一年（637）方山县治移往今古贤，仍属石州，金宣宗贞四年（1216），县治迁于积翠山。元世祖至元三年（1266）省方山县，并入离石县，属石州。民国七年（1918）复置方山县，属冀宁道。民国二十六年（1937），属第四行政公署。民国二十八年（1939）属第二行政公署。民国二十九年（1940）晋西北成立抗日民主政权－－山西省第二济南区公署，县属四专区。民国三十一年三、四专区合并为三专区，县属三专区。民国三十二年（1943），西北行政公署改名为晋绥边区行政公署，县属晋绥边区三分区管辖。1949年2月15日晋绥边区与陕甘宁边区合并后设晋西北行署，下设4个分区，县属离石分区。9月，山西省人民政府成立，县属兴县专区。1952年7月1日，撤销兴县专区，县归榆次专区。1954年7月1日与离石县合并为离山县。1958年11月10日中阳县并入离山县后，改名离石县。1971年5月1日恢复方山县，县城设在圪洞镇，属吕梁地区。2004年5月，吕梁撤地建市，方山县归离石市管辖。
县城距省城太原220公里，跑离石市40公里，距交口火车站45公里，境内国道209线（呼和浩特－北海）纵贯全县南北，大武至交口一级公路奠基开工，年内国庆投入运行，通临县有109省道和架梁公路，通交城有开麻公路，出入境公路畅通，四通八达，全县已经实现村村通公路，3年内实现村村通油路。
