Die karolingische Pfalz Potoma war Namen gebend für den Ort Bodman und dieser seinerseits für den Bodensee. Nach der Zerstörung der früheren Burg auf dem benachbarten Frauenberg wurde die Burg Altbodman im Jahr 1307, das Tor der Vorburg und die beiden Flankentürme wohl im späten 15. Jahrhundert, erbaut.
Die Burganlage wurde im Jahr 1643 zerstört und war lange Zeit dem Verfall preisgegeben. Erst im Jahr 1900, dann 1922 und schließlich 1956 wurde die Ruine umfangreich gesichert.
Die heutige Burgruine, 270 m über dem Seespiegel gelegen, ist eine den Überlinger See weithin bestimmende Landmarke und bietet aus dem sonst dicht bewaldeten Steilhang heraus einen hervorragenden Blick auf den See und dessen besiedeltes Nordufer. Wegen zunehmender Schäden musste die Burgruine im Jahr 2002 für Besucher gesperrt werden. Nunmehr soll die Burganlage in mehreren Bauabschnitten gesichert werden. Ziel ist, der Öffentlichkeit wieder das Betreten der Ruine sowie deren Aussichtsplattform zu ermöglichen. Die Denkmalstiftung Baden-Württemberg hat für den 1. Bauabschnitt zunächst 120.000,- EUR Fördermittel zur Verfügung gestellt. Noch vor dem „Tag des offenen Denkmals“ am 11. September, der dieses Jahr unter dem Motto „Krieg und Frieden“ steht, soll die derzeit unzugängliche Burgruine Altbodman als Denkmal der Ferienmonate Juli / August 2005 von einem aktuellen Problem der Denkmalpflege künden.