相传望乡台原名虎愁岩，岩下清平湾住着打柴为生的张俊哥母子和李秀妹父女。俊哥秀妹从小青梅竹马，两小无猜，从呀呀学语到俊秀成人。
当地号称一霸的刘莽闻听秀妹生得俊俏，乘秀妹爹和俊哥上山打柴之机将秀妹抢回家。俊哥天黑归家闻之，即操刀奔向虎愁岩，劈断石屋的栅栏，将被捆绑着的秀妹从乱草中扶起，相互抱头大哭。
刘家父子哪肯甘休，唤来一群打手围住石屋，俊哥秀妹在逃走无望时，手挽手跳下悬崖。随后一轮朝霞照射着瀑布下的深潭，潭中便呈现出一道七色彩虹，一直延伸到清平湾。
每当彩虹升起，乡亲们便认为这是香消玉殒的秀妹与俊哥又来看望虎愁岩的父老乡亲了，因而取名望乡台。于是，在人们的记忆中便自然逝去了虎愁岩。
