灵台方寸山早期的记录是源于《西游记》中的一个地方，坐落于西牛贺洲。传说中当年孙悟空的启蒙老师菩提老祖便隐居在此山中的斜月三星洞中，传授了孙悟空筋斗云和七十二变，为取经打下基础。孙悟空法名也是菩提老祖所赐。这也是关于灵台山早期的记载。而今天的灵台山坐落于甘肃省灵台县内，又被人们称为高志山，与当地的4A级的灵台荆山森林公园齐名。此山造型奇美，从远处看孤峰突起，浑圆清秀，山中还有无影树，“孤峰午照”便是灵台八景之一。