相传，宋代有个叫单福的石匠，一生给人家造成了不少桥，心想也在自己家乡门口的江山建造一座，但叹息没有帮手。他膝下只有一女叫小姣，长得聪明美丽。小娇知道父亲的心思，便要求参加帮助干。但那深山采石，百里运石的苦和累，小女子怎么受得了， 所以单福就是不答应。小姣跪在地上苦苦哀求，单福没奈何，才含泪点头。他还把三个徒弟找来帮忙，不久就干起来了。由于开山运石的苦和累实在难受，大徒弟和二徒弟先后悄悄地溜了。单福和女儿，三徒弟为修桥铁了心，继续风里雨里苦干着。但好几年过去了， 运到江边的石头只有一小堆，这样累死苦死，桥也建不起来。小姣一咬牙，请人写了“捐身修桥”四个大字，插了个草标，坐到江边石堆旁。一连三天，来看的人无数，但望望滔滔的江水，就都走了。这天，忽然来了个瘸子，身背一把扇子，摘了草标，问小姣愿愿意跟他走，小姣回答说：“什么时候把大山里的开采的石头全运到江边，就什么时候跟你走。”这瘸子原来是八仙中的铁拐李。他挤出人群，腾云驾雾，很快来到百里外的大山，从背上拿下扇子，对着单福和三徒弟开出的石头就扇。石头竟都飞了起来，又纷纷都落在江边。单福和三徒弟也被 从山上扇到造桥工地。铁拐李还怕不够，又对身下立着的一块巨石扇了三扇子， 他就站在那巨石上飞到江边。只见底下尽人，未敢让巨石落下。又听单福大声说：“石头够了”他便驾起云头，飘游起来，游到黄山，见黄山风景秀丽，便将石头落下。从此，这飞来石就给黄山增添了绝妙的一景。另外还有两处飞来石，一在翠微峰侧，一在古颖林庵前小峰上。