书堂石遗址位于翁源县三华乡翁江河中心，是唐代文化遗址，筑于江中心一个小岛之上，形状极似一艘在激流中逆水而上的航船。岛上岩层重叠，山石嵯峨，书堂石室倚岩而筑，岩墙交错，浑然一体。现虽已残墙断壁，但其结构奇特，古朴天然，傲然屹立，尉为奇观。

据清代《韶州府志》及清嘉庆版《翁源县志》载：晚唐时期，有一翁源人叫邵谒，在翁源县衙任小吏。一日，有客至，县令指使其铺床接待，邵谒不应，县令怒而斥之，邵谒不服，奋然拔刀截其发悬于县门，并发誓曰：学苛不成有于发，之后匆匆离去。邵后来到罗江水（即今翁江）河心小岛上隐居攻读，苦读三年，学业大进，于唐咸通七年（公元八六六年）赴长安入国子监，得诗人温庭筠赏识并力举，诗名大振，后登进士第。邵谒有诗三十二首选入《全唐诗》。温庭筠称其诗识略精微，堪裨教化，声词激切，曲备风谣，标题命篇，时所难著。明代进士黄佐赞邵谒曰：五岭以南，当开元盛时，以诗文鸣者，独谒与曲江公（张九龄）巍然并存。后来为何邵谒默默无闻？想必是其诗多抨击时事，敢为被压迫者鸣不平，故不得当政者的赏识。如邵谒诗《岁丰》曰：皇天降丰年，本忧贫士食，贫士无粮畴，安能得稼穑。工佣输富家，日落长太息。为供豪者粮，设尽匹夫力。天地莫施恩，施恩强者得。另有《自叹》、《寒女行》等篇，都反映了他的疾世的思想。

1987年广州华南工学院建筑系教授邓其生及省科学院地理研究所副教授钟新基来翁源实地考察后，对书堂石给予了极高的评价，认为书堂石是翁源县现存的第一名胜古迹，就广东甚至全国来说，此类型建筑亦属少见，具有很高的历史价值、建筑艺术价值和旅游开发价值。

书堂石已定为翁源县风景名胜保护区。整个石室面积有六百五十平方米，内有十七间房间，上有窗、下有门，以麻石为柱，有路通到水边。此处四周环水，青山对峙，草木葱茏，环境优美，时常吸引过往游人注足观望、拍照留影。如若划船上岛涉足，便更有一番情趣。

进入内堂有石笋、石钟乳、花灯、罗裙、鳄鱼、犀牛、雄师、猛虎、猴子、飞鹰等等形象逼真的怪石。