从《徐水县新志》、《安肃县志》的记载看，从黄帝开始有记述。黄帝之后，颛顼考察九州（冀、兖、青、徐、杨、荆、豫、梁、雍），徐水属冀州。唐尧时期属朔方保州。虞舜分天下为十二州，分冀州东北为幽州，徐水在幽州境内。夏禹复九州之制，徐水复属冀州。武王克殷封召公奭于蓟，建燕国，则徐水为古燕地，后遂建城取名武遂，即徐水县城西二十里之遂城.据徐水县志载，春秋期间，周景王（公元前544年——前520年）遣大将徐陵屯兵于武遂东曾筑城备边，此即今徐水城东十里徐城村。战国时期，群雄割据，战事频繁，徐水地处燕国南陲，为燕赵之战场。赵王偃元年（公元前244年），赵国大将李牧伐燕取武遂，练兵训将捍御北边。徐水曾暂为赵国领地。战国末期，燕王遣荆轲刺秦，燕国大夫田光刎颈义荐荆轲，今徐水城北二十里地田村铺村乃田光故里。
公元前222年，秦灭燕。翌年秦始皇即位，分天下三十六郡其一曰上古郡，徐水隶之。
汉始置县。西汉，将战国武遂邑改北新成县（即今徐水县），治所再今县城西二十里处，隶属中山国。东汉，仍为北新城县，只将“成”改作“城”。
三国、魏，北新城县属冀州河间郡。
北魏、北齐、后周：北魏将北新城县去“北”字称新城县，属高阳郡。北齐、后周时期改叫新昌县，隶属南营州昌黎郡。
隋，开皇元年（公元581年），南营州移治，三年（公元583年）废昌黎郡改易州，新昌县属易州，十八年（公元598年）改新城县为遂城县。大业三年（公元607年），罢易州为上谷郡，遂城为上古郡。
唐，高祖武德四年（公元621年），又以易州领遂城。天宝元（公元742年），罢州为上古郡。肃宗至德二年（公元757年），又罢郡复为易州。遂城县皆往复隶从之。
五代（公元907 ——960年），我国北部中原地区曾先后建立过后梁、后唐、后晋、后汉、，徐水县城始建于此。据《徐水县新志》载：“梁数侵晋，晋王命大将李存审为内外藩，与梁相距，在武遂东二十里，夹瀑河筑南北二城，号曰得胜”，此为徐水县城创建之始。北城即今县城，南城故址在今徐水南城村之南。后唐在此置宥 戎镇。后周置梁门口寨。从此，历代均在此立县为治，、军事活动中心。五代时期，内部藩镇割据，北方契丹袭扰，诸多战乱，后晋时遂城县属易州。后晋开运二年（公元945年），易州陷入契丹，而遂城县始终为陷入。
北宋，安肃、遂城均为宋辽分界处。宋为加强北方边界，以军治县。太平兴国六年（公元981年），以梁门口寨置静戎军，又分易州遂城县三乡置静戎县隶之。景德元年（1004年）改军与县皆为安肃军，安肃之名肇此。宣和七年（公元1125年），废安肃军为安肃县。知县事仍兼军使，约辖今徐水县谢坊村以东地区，县治所在今县城。太平兴国六年（公元981年），改易州遂城县为威虏军。景德元年（公元1004年）改威虏军为广信军，领遂城县，治所在今遂城，约辖今徐水县谢坊村以西地区。统属河北西路。时辽兵不断南侵，挑衅迭起，咸平二年（公元999年）冬，契丹扰边，宋将杨延昭时在遂城。城小无备，契丹攻之甚急，长围数月。延昭悉集城中丁壮持械护守。时逢大寒，汲水灌城上，旦悉为冰，坚滑不可上，契丹溃退，获其铠帐甚多。此即历史上有名的冰城之战。是冬，契丹再度南侵，延昭伏锐兵于县西之羊山，自背掩击，契丹大败，获其将。边人呼其为“杨六郎”，旋进保周团练使 ，驻军遂城，西控雁门，东连雄霸，使遂城成为北方重镇，时有铜梁门、铁遂城之美称。宣和七年（公元1125年），安肃（今徐水县城）、广信（今徐水县之遂城）皆陷于金 。
金代，天会七年（公元1129年），改宋之安肃县为徐州。天德三年（公元1151年），改徐州为安肃州。天会七年（公元1129年），将宋之广信军改为遂州，属河北中路。贞元二年（公元1154年）改遂州为龙山郡，属中都路。泰和四年（公元1204年），废遂州为遂城县，属保州。贞佑二年（公元1214年）复置遂州。
元，至元二年（公元1265年），遂州并入安肃州为镇，后置州而废县 ，属保定路。
明，洪武元年（公元1368年），立中书行省，改路为府，统领州县。二年（公元1369年）七月，降安肃州为县，洪武初又降遂州为县。洪武八年（公元1375年）二月，遂城县并入安肃县。同年废中书行省，安肃县直隶保定府。
明永乐二年（公元1404年），山西小兴州移民安置于京都附近增加户口，徐水乡民当初多自小兴 州迁移至此。至今徐水乡民关于迁自小兴州之传说很广。
清，自顺治（公元1644年）至宣统末年（公元1911年），沿用安肃县，属保定府。光绪二十六年（公元1900年）七月，八国联军侵占京津，闰八月二十二日兵至安肃，搜剿义和团，德法两国兵留驻一年始退去。
民国初，安肃县属保定府。民国二年（公元1913年），改府为道，安肃属直隶省范阳道。民国三年（公元1914年），又改范阳道为保定道，安肃县隶之。同年七月，因与甘肃安肃道名重，又县内有徐河，故改安肃县为徐水县。徐河，又名顺水，在县城南四十里，发源易县五回岭，流经徐水境入白洋淀。今已淤涸。古代徐河多有战事，《汉书》、《宋史》均有记载，尤以宋代最烈，宋屡击契丹于徐河，安肃县易名徐水县据此。
徐水县县名沿用至今。辖区曾有一些变化。
抗日战争时期，在中国的领导下，为适应革命斗争形势需要，1938年秋成立了易满徐联合政府。由于铁路的分割，徐水自然地分成路西和路东两大片。路西为佐公署，属冀西行署；路东为徐水县政府，属冀中行署。1940年秋又合并为徐水县政府，驻易县西峪村，属晋察冀边区冀西一行署。当年11月，白岭、西峪两村从易县并入徐水。后又在路东设办事处。1941年又建立徐(水）定（兴）联合县，徐水部分划分八个区属冀西行署。1941年5月，景庄、侯庄、八宝庄、刘庄、白莲峪、五香坡、刘家沟等村从易县并入徐水。
1941年10月14日，徐水县发生“陈庄惨案”，县政府迁移到易县西步乐村。
1945年8月，解放战争开始。徐水县政府先后驻西黑山村、大王店村。1948年徐水县全境解放，县政府由西黑山村迁到徐水城内至今。
1952年秋，于庄、詹庄、千枝柳、应庄等村划归清苑县。1958年，黄山、大方、东庄等村从易县划归徐水，1959年6月又划归回易县。1958年，头台、张庄、东白楼、西白楼、东大夫庄、西大夫、蔡庄、后营、柴楼、河西营、徐河桥、谭庄、大西良、小西良、田家西良、东良等十六个村划归保定市，后又以铁路为界分别划归清苑县、满城县。1991年1月，漕河镇所辖杨村、杨指挥营村、路家寺村，留村乡所辖太保营村、南常堡村划归保定市。
1958年8月视察徐水，成立人民公社。1958年9月，徐水、安新、容城及定兴县南部29个村合并，称徐水县。1960年底至961年1月各恢复原县制。徐水调整了行政区划，将原7个公社划分为23个公社。
1967年5月3日成立徐水县革命委员会，嗣后相继成立公社、大队革命委员会，。
1982年4月，成立徐水县人民政府。在此前后，先后撤销各级革命委员会，建立公社、。
1984年5月，恢复乡（镇）、村建制，全县23个公社改为23个乡（镇）人民政府。305个大队改为村民委员会。
1999年1月，靠近保定北市区的杨村、杨指挥营村、路家寺、太保营村、南常堡村划归保定市。
1996年2月，全县23个乡（镇）合并为14个乡（镇）至今。
徐水的历史文明，如果从南庄头遗址年代算起已有上万年，是一个名副其实的文明古县。