殘粒園建于光緒十年（1884）左右，原為揚(yáng)州姚姓鹽商所有，稱為東園，后歸姚大賚。

民國(guó)16年（1927）后歸畫(huà)家吳待秋（1878-1949）所有，吳待秋取杜甫《秋興》“紅豆啄殘鸚鵡?！敝?，改名為殘粒園。吳歿后為其子吳?木繼承。

1980年被列為蘇州古典園林修復(fù)規(guī)劃項(xiàng)目和保護(hù)對(duì)象。目前殘粒園屬于私人管理，暫不對(duì)外開(kāi)放。

原宅園占地共約3350平方米，分中、東、西三路。中路依次為門(mén)廳、轎廳、大廳、樓廳、堂樓五進(jìn)。

大廳面闊三間，上面有“春谷堂”。西路花廳“來(lái)鷺草堂”，為卷棚式旱船建筑。東路建筑南部為西式平房，是吳待秋的畫(huà)室、臥室和會(huì)客室。東路的中部花園就是殘粒園了。住宅北部原辟有較大之后園，以栽竹植果樹(shù)為主，已廢。

整個(gè)園子占地400平方米，花園僅140多平方米。園在花廳東側(cè)。由住宅經(jīng)從園北側(cè)錦窠磚額洞門(mén)入園，前置湖石峰屏障，水池居中，池岸湖石疊砌，花木樹(shù)叢隨園而植。池西北墻角處疊湖石假山，中有山洞，循石階盤(pán)旋而上，有半亭名栝蒼亭，名取浙江栝蒼山。亭內(nèi)有壁龕書(shū)櫥，側(cè)門(mén)西通花廳，從內(nèi)宅樓層可通花園，屬蘇州園林中獨(dú)見(jiàn)。

園中種有榆樹(shù)、桂花、天竺、蠟梅、薜荔、廣玉蘭、爬山虎等?；◤d庭院中有湖石疊成的小天池泉眼，高出地面0.6米而終年不涸。壁間嵌有書(shū)條石5方。

殘粒園兼有蘇州園林和揚(yáng)州園林的風(fēng)味，在蘇州私家花園中別具一格。