曹雪芹的同时代人明义，《读红楼梦诗》的诗序，有句云： 曹子雪芹出所撰《红楼梦》一部，备记风月繁华之盛，盖其先人为江宁知府，其所谓大观园者，即今随园故址。

至于袁子才的“随园”就是大观园之说，这话最初本出自袁子才自己之口。随园在南京仓山，袁子才在他的《随园诗话》里说：“大观园者，即余之随园也。”这是大观园在南而不在北，是“随园”前身之说所由来。

大观园以袁子才的随园为蓝本之说，久已被推翻了。