“前卫歪塔”于何时建成的呢？一说是建于北魏时期，但是专家们从该塔的建筑风格来推论，应为辽代中前期所建，距今约在一千年左右。今天的前卫镇，就是辽代的来州来宾县县城，元代在该地设置瑞州，因此前卫歪塔又被称为“瑞州古塔”。

由于缺乏史料依据，又无碑碣出土，歪塔的具体建筑时间至今依然是个谜。与同一时期的其它石塔相比，前卫歪塔的建筑规模并不大。它是一座实心密檐式砖塔，以石筑做为塔基，用砖砌成塔身，分三级呈八角形，塔身雕有砖刻佛像、花纹、狮子头等图案，线条清晰，刀法工艺精湛。歪塔为单顶，顶部原来建有顶盖，但现已塌陷残缺，现存塔高约10米。塔身上原有的飞天砖雕和塔身佛龛中的佛像，都已被盗毁无存。塔身底部的青砖已被人为拆毁了很多，露出极不均匀的石头毛茬，塔的上面和四周更是布满了枯草，使得这座见证了一千多年风雨洗礼的斜塔面目皆非。

前卫歪塔由于距今有千年之远，自何时开始倾斜已无从考证。而真正的倾斜原因，恐怕也成为千古之谜。专家经过编查史书和多年调查研究，做出其倾斜是地震所致的大胆推测。因为辽西走廊是历史上地震活跃的区域，明隆庆二年(西元1568年)曾发生大地震，当朝在关外的坚固城堡─宁远卫城(今兴城古城)的城墙都被震垮，宁远、前卫城中很多房屋被震得面目全非，前卫塔很可能是那时遭受震灾而开始歪斜的。当然，也不能排除地下水侵蚀、风力等因素的影响。

据《绥中县志》中记载，早在30多年前的测量结果是，塔身向东北方向倾斜12度，塔尖移位1.7米。数百年来，几经地震与洪水侵袭，该塔始终斜而不坠、歪而不倒，因而素有“怪塔”之称。前卫歪塔堪称中国斜塔建筑中的瑰宝。

目前，被称为“斜塔”的古塔在中国已达到17座，其它斜塔的倾斜度，较堪称世界第一的前卫歪塔的斜度都有很大的差距。上海松江县天马山“护珠塔”倾斜度是6度52分，位居倾斜度亚军的是南京“定林寺塔”，倾斜度是7度59分54秒，不足8度。意大利比萨斜塔是由于人为的设计失当而逐渐倾斜的，其倾斜度为5度40分。