วัดพระบรมธาตุสวี เป็นโบราณสถานที่เก่าแก่ของจังหวัดชุมพร มีลักษณะรูปแบบพระบรมธาตุเจดีย์นครศรีธรรมราช สันนิษฐานว่าสร้างขึ้นในสมัยกรุงศรีอยุธยา และได้บูรณะซ่อมแซมหลายครั้ง โดยกรมศิลปากร มีลักษณะเป็นเจดีย์ทรงระฆังตั้งอยู่บนฐานสี่เหลี่ยมสองชั้น ฐานชั้นล่างกว้าง 8.50 เมตร มีตำนานเล่าถึงประวัติการสร้างพระบรมธาตุสวี ว่าเมื่อครั้งที่พระเจ้าศรีธรรมโศกราช แห่งนครศรีธรรมราช เสด็จยกทัพนำรี้พลมาที่วัดแห่งนี้ (ในเขตอำเภอสวีในปัจจุบัน) ได้พบกาเผือกและกาฝูงหนึ่งเกาะอยู่บนกองอิฐ กระพือปีกและส่งเสียงร้อง พระองค์จึงทรงให้รื้อกองอิฐที่กองทับกันออกจากฐานเจดีย์ใหญ่เมื่อขุดลึกลงไป ได้พบผอบบรรจุพระบรมสารีริกธาตุจึงให้แม่ทัพนายกอง ไพร่พลช่วยกันสร้างเจดีย์ขึ้นมาใหม่แทนที่เดิม แล้วจัดงานสมโภชเป็นการใหญ่ เป็นเวลา 7 วัน 7 คืน จากนั้น พระราชทานซื่อว่า พระบรมธาตุกาวีปีก (วีปีก แปลว่า กระพือปีก) ต่อมาเรียกกันว่าพระบรมธาตุกาวี และคำว่า กาวี ได้เพี้ยนจนกลายเป็น สวี ในปัจจุบัน โดยบริเวณใกล้เคียงกัน มีศาลพระเสื้อเมืองตั้งอยู่ ซึ่งมีความเป็นมาว่าก่อนที่พระเจ้าศรีธรรมโศกราช จะเสด็จยกทัพกลับ ทรงห่วงใยพระบรมธาตุว่าจะไม่มีผู้ดูแลรักษา จึงสั่งเรียกบรรดาทหารในกองทัพที่กำลังนอนหลับสนิท ในขณะนั้นมีทหารคนหนึ่งชื่อเมืองขานรับ พระองค์จึงมีรับสั่งให้ทหารตัดศีรษะนายเมือง เซ่นสรวงบูชาไว้ในศาลเพียงตา ศาลนี้จึงได้ขนานนามว่า ศาลพระเสื้อเมือง อยู่คู่พระบรมธาตุสวีสืบมาในปัจจุบัน