昔，弘法大師が天の邪鬼と，串本から沖合いの島まで橋をかけることが出来るか否かの賭けを行いました。

　弘法大師が橋の杭をほとんど作り終えたところで，天邪鬼はこのままでは賭けに負けてしまうと思い，ニワトリの鳴きまねをして弘法大師にもう朝が来たと勘違いさせました。

　弘法大師は諦めて作りかけでその場を去りました。
　そのため橋の杭のみが残ったというはなしです。

　串本から大島に向かって，南北におよそ900ｍにわたり橋脚のような岩塔（橋杭）が直線状に配列しています。
　これらは，およそ1500万年前に地下から上昇したマグマが「熊野層群」に貫入した「石英斑岩」の岩脈です。

　紀伊半島の隆起に伴い，波浪により熊野層群の泥岩や砂岩はどんどん侵食される一方，石英斑岩ははるかに硬いため，所々で浸食，崩壊するものの，周囲から取り残され，橋脚状の岩塔が高くそそり立つようになりました。

　また，橋杭岩に転がっている岩の中には，岩のそそり立つところからかなり遠くにまで転がっているものもあります。
　これらの岩が動くのには秒速4メートル以上の速い流れが必要とされ，この地域で頻繁に襲来する台風から起こる波でなく，過去の大きな津波の時に動かされたと考えられています。