公元前221年（秦始皇二十六年），經(jīng)過十年的戰(zhàn)亂，秦滅了六國，建立了我國第一個(gè)統(tǒng)一的多民族中央集權(quán)的封建國家。公元前214年，秦始皇派任孝、趙佗平定南越，實(shí)行郡縣制，消滅了桂林、湘、南海三縣。湛江現(xiàn)轄屬中國版圖，屬香郡。中原漢族與原居于此的黎、壯、侗、苗、瑤、遼6個(gè)民族共同開發(fā)了湛江這片紅土地。

公元前204年（漢高祖三年），南海校尉趙佗趁中原農(nóng)民起義爆發(fā)之機(jī)，率兵征討桂林、香郡，建立了廣東歷史上第一個(gè)割據(jù)政權(quán)，南越國。趙佗自稱南越王，都在番禺（今廣州），現(xiàn)在的湛江當(dāng)時(shí)為南越國管轄。公元前196年，漢高祖劉邦派陸賈到南越安撫趙佗，立趙佗為南越王。湛江目前的管轄范圍也屬于南越。公元前183年，趙佗背漢稱帝。公元前179年（漢文帝元年），趙佗再次出任大臣進(jìn)貢，恢復(fù)與中央王朝的關(guān)系，治理南越。

公元前112年（元鼎五年）四月，南越丞相陸賈造反。秋，漢武帝令伏波將軍盧博德、樓川將軍楊璞率領(lǐng)水師十萬征南越。這是湛江轄區(qū)歷史上第二次有北國中原的漢人遷入，他們都是漢軍麾下留在郫縣的人，以及因亂荒逃到這里的人。他們經(jīng)過福建南部和廣西東部。而湘南等地涌入。

公元前111年（西漢元鼎六年）十月，南越平定。南海、蒼梧、榆林、合浦、交趾、九鎮(zhèn)、日南、竹崖、丹兒9縣，屬合浦縣（縣城在徐聞縣）。設(shè)徐聞、高梁、合浦等縣，徐聞縣名由此而起。當(dāng)時(shí)赤坎區(qū)、霞山區(qū)、郊區(qū)（不含硇洲島）、雷州市徐聞縣、湛江市遂溪縣屬合浦縣徐聞縣；坡頭區(qū)、硇洲島、務(wù)川縣屬合浦縣高良縣；連江縣屬合浦縣合浦縣。公元前110年（西漢元豐元年），我國古代“海上絲綢之路”最早的始發(fā)口岸之一位于徐聞口岸，由徐聞縣胡旺村設(shè)立。西漢。

公元44年（東漢建武二十八年），合浦縣治由徐聞遷至合浦縣，公元479年（南北朝齊建元元年）置合浦縣。遷回徐聞縣。至公元483493年（南北朝齊永明年間），合浦縣徐聞縣置為齊康縣，后改為齊康縣，轄整個(gè)雷州半島。此后，徐聞縣更名為齊康縣，屬越州，縣治設(shè)在齊康縣。公元523年（南北朝梁統(tǒng)統(tǒng)四年），齊康縣置和州，分置廣州。公元547年（南北朝梁太清元年），改和州為南和府，州轄齊康縣。公元589年（開皇九年），復(fù)改南河州為河州。齊康縣分為綏康縣和?？悼h（今雷州市），海康縣名便出現(xiàn)于此。公元627年，改河州為東河州，次年改綏康縣為徐聞縣。

公元634年（唐貞觀八年），雷祖陳文禹奏請(qǐng)改東河州為雷州，雷州之名由此而起。公元742年（唐天寶元年），改雷州為?？悼h。公元758年（唐乾元元年），復(fù)置雷州，轄?？怠⑿炻?、遂溪三縣。公元971年（宋開寶四年），改雷州為雷州軍。 1281年（元至元十八年），改雷州軍為雷州路，領(lǐng)海康、遂溪、徐聞三縣。 1368年（明洪武元年），明太祖朱元璋派南征大將廖永忠自海道攻打廣東，設(shè)立雷州衛(wèi)，隸屬轄粵都。遂改雷州道為雷州府。雷州府之名由此起，領(lǐng)海康、遂溪、徐聞3縣。

因此，徐聞縣的歷史比雷州府還要久遠(yuǎn)。