明憲宗十四年(1478),新都才子楊廷和(狀元楊升庵之父)赴京應(yīng)考路經(jīng)閬中,應(yīng)僧人之請(qǐng)為該庵題寫(xiě)“云林”大匾,此匾保存到民國(guó)時(shí)期。后,庵毀于大火。
孔家在庵側(cè)修建了這座孔家大院。明、清時(shí),孔氏為大戶人家,以教書(shū)為生,兼營(yíng)其它產(chǎn)業(yè),后家道衰落。1912年、1939年,時(shí)任川北宣慰使和川康建設(shè)期成會(huì)閬中辦事處主任的張瀾先生在此設(shè)署衙。國(guó)民黨29軍軍長(zhǎng)羅廼群也看中此院,長(zhǎng)期居住。