1931年在文津街北平圖書館新館落成(即今國家圖書館分館),文津街新館是當時遠東最先進的圖書館之一,共耗費銀元二百四十余萬元,皆來自退還的庚子賠款,占地面積七十六畝,建筑外觀是華麗的中國傳統(tǒng)宮殿式結(jié)構(gòu),內(nèi)部設(shè)施則全部為當時最先進的西式設(shè)備,較之美國國會圖書館決不遜色,有學人記載“單是它那中央大廳兩側(cè)下樓梯的衛(wèi)生間,鋪地六角小瓷磚,外面看不到里面里面能看到外面的窗玻璃,一色都是美國貨,比北京飯店的還講究”。
北平圖書館最初由原京師圖書館分館與京師通俗圖書館合并合而成。合并前,二者均為當時北京政府教育部于1913年創(chuàng)辦。1926年5月,奉部令改京師圖書館分館為京師第一普通圖書館,改京師通俗圖書館為京師第二普通圖書館。1927年7月二館合并,改稱京師第一普通圖書館,館址在宣武門內(nèi)頭發(fā)胡同22號前翰林院講習館舊址。1928年11月,由北平特別市教育局接管,改名北平特別市立第一普通圖書館。1932年,教育局裁并,圖書館改屬社會局。1933年改稱北平市立第一普通圖書館。日偽統(tǒng)治時期稱北京市立第一普通圖書館。北京解放前夕,又稱北平市立圖書館,在此期間,1917年建立于中山公園內(nèi)的圖書閱覽所(曾改名京師第三普通圖書館、革命圖書館和中山圖書館)也合并過來,成為市館的分館和兒童圖書館。1949年前,該館藏書約10萬余冊,分類方法均采用劉國均中國圖書分類法,借閱方式為館內(nèi)閱覽與館外借書。閱覽室初時分公眾閱覽室、新聞閱覽室、兒童閱覽室,借書有機關(guān)保證與押金借書兩種方式
當時的北平圖書館下設(shè)二會八部,分別為:購書委員會、編纂委員會、總務(wù)部、采訪部、編纂部、閱覽部、善本部、金石部、輿圖部和期刊部,館藏書籍包括中文、滿文、蒙文、日文、西文普通書籍逾四十萬冊;宋元明清刊本、寫本、抄本古籍逾三萬冊;金石拓片逾八千幅;輿圖八千余幅;此外還有寄存圖書六千余種三萬余冊。其中包括了《四庫全書》等珍貴收藏。
值得一提的是,當時的北平圖書館是免費面向社會公眾開放的,市民無需交納任何費用,只需每次在圖書館入口處領(lǐng)取具有借書證性質(zhì)的門牌就可以在圖書館中任意借書閱覽,但并不提供外借。另外,圖書館對進館讀者的衣著有著嚴格的要求,讀者必須著中式長衫或者西式襯衫西褲并衣著整潔方可入內(nèi),否則就要被擋在圖書館的大門之外。
1942年1月2日,華北政務(wù)委員會教育總署接管國立北平圖書館,并更名為國立北京圖書館。1945年抗日戰(zhàn)爭結(jié)束后,該館復(fù)名國立北平圖書館。
中華人民共和國成立后,于1950年3月6日國立北平圖書館更名為國立北京圖書館,1951年6月12日更名為北京圖書館,成為中華人民共和國唯一的國家圖書館。1987年,北京圖書館新館在白石橋路(今中關(guān)村南大街)落成,該建筑還曾被評為“八十年代北京十大建筑”榜首,館名由鄧小平題寫。1998年12月12日北京圖書館更名為中國國家圖書館,1999年4月16日由當時的中共中央總書記、國家主席江澤民題寫?zhàn)^名。