斜阳岛位于北部湾北部海面，距涠洲岛东南9海里。面积1.87平方公里，地势西高东低，最高点为羊咩岭，海拔144米。环岛无滩涂，只有西北角的“灶门”和东南面的“东部湾”、“婆湾”三处缺口可泊船登岛，余皆悬崖壁立，下临深溟。
该岛古名“小蓬莱”，是与涠洲岛古名“大蓬莱‘相对而言，历史上同被视为海上秘境。该岛因”远望之形如走蛇“而得”蛇洋“及蛇洋山”之名；又名“蛇羊”，是因岛缘地形如蛇，岛西有岭如羊之故；又名“斜洋”，指岛屿横陈于洋面，并以“蛇洋”音转而得之。至于“斜阳”之名，一从“蛇洋”音转而来，一指该岛横亘于涠洲岛东南海面，南面为阳。至于“斜阳岭”和“岭仔”等别名是与涠洲岛相对而言的民间称谓
斜阳岛从地质地貌和地理位置来说，它的形成与涠洲岛同属火山岛体系，土质为火山灰质红土，其形成当与涠洲岛同时，故它的原始演变和沿革均与涠洲岛同。
晋朝以前，该岛与涠洲岛同属合浦郡，唐初，同属雷州椹川司。明初，属雷州府涠洲巡检司，万历十八年（1590年）先后属遂溪县的涠洲游击和廉州永安所游击双重控制。清雍正八年（1730年）以后，仍由雷、廉两州游击营每年分班轮流管制。光绪二十余年，与涠洲岛一起划归合浦县永安巡检司管辖。清末民初，先后属合浦县的靖海团涠洲公局，合浦县第二自治区涠洲镇辖乡。1936年先后属合浦县第二行政区、第五行政区和第三行政区辖乡。1938年8月至1945年6月与涠洲岛同时沦陷于日军。1945年6月光复以后，直属合浦县涠洲乡所辖。1950年起属北海镇人民政府涠洲管辖。1959年属北海市涠洲公社的一个大队。1984年9月至1994上11月属北海市郊区涠洲镇的一个行政村。1994年12月起，涠洲镇划归海城区管辖，斜阳村属北海市海城区涠洲镇的一个行政村。
该岛在明末清初已有人烟，最初是渔民漂流至此暂时栖身，继而有采薪采药者到来，搭寮而居。清乾隆年间，居留岛上的“寮民”为数已不少，后因海禁被迫内迁，但仍有少数人居留岛上。咸丰末年，岛禁重开，有从遂溪等地迁来的客民定居。法国天主教在此设教堂1座。
该岛地势东部平缓，土壤肥沃，庄稼茂盛。作物以玉米、薯类和花生为主。但因水源欠缺，江灌和生活用水均仰赖天雨蓄积。西、南、北三面岛缘高岭环绕，临海礁石间多产石斑鱼，随处均可下钓，渔获较易。解放前人们生活于自然经济环境中，长年与世隔绝，视涠洲岛为大邑，择偶攀亲多向往之，民性较涠洲尤为敦厚。
1927年大革命失败，广东南路工农群众遭受反革命血腥镇压，遂溪农民自卫军在陈光礼、薛经辉等率领下渡海转移该岛，以此为武装斗争基地，坚持了五年多艰苦卓绝的斗争，最后，在敌人强大兵力围攻下，于1932年11月25日被敌攻占，守岛军民大部分壮烈牺牲。现在羊咩岭峭壁岩洞中，尚留存当年农军浴血斗争的痕迹。
建国后，斜阳岛传统的茅寮民居为砖墙瓦房所代替，机井抽水成功，结束了居民祖辈靠天吃水的历史。学校、卫生所、小卖店和水产收购站、卫星有线电视、移动通信等机构的设置，使岛上居民的生活逐渐走向文明、富裕；收音机、电视机、移动电话的配备，使岛民的视野扩大到海岛以外的广阔天地。
斜阳岛上只有斜阳村一个自然村，不划分村民小组，全村有60户村民219人，全都为汉族，其中男111人、女108人。耕地面积13.33公顷，主要种植木薯、花生和玉米，岛民以从事浅海捕钓为主。