林徽因生於光緒三十年(1904年)六月，客籍福建閩縣（今福州），祖父林孝恂曾與康有為一起落第，官至翰林院編修，為大清編寫官方汗青課本，前任浙江知縣，屬於廳局級乾部，即便抽幾口大煙，也是“金陵九五至尊”級。得孫女後，林老爺子從《詩經》“思齊大任，文王之母。思媚周薑，京室之婦。大姒嗣徽音，則百斯男。”擇取“徽音”二字相贈孫，意寓佳譽、美德，有好的品性，多子多福。林徽因成年後非常珍惜本身的名聲，適時有個純爺們筆名“林徽音”，四周發“瓊瑤體”小說，林深為氣惱，遂改名“徽因”以彆。

老爸意氣風發的時候，林徽因卻度過了並不鎮靜的童年。

祖父去官後定居杭州，但一向體貼福建故鄉長輩的教誨，投資創辦書院。林家出了很多人物，如黃花崗七十二義士中的林覺民、林尹民哥倆，以及光複福建的林肇民，均是林徽因的堂叔。

關於林徽因的童年，鮮有質料詳細，但她“早熟”倒是很多文學史研討者的共鳴，林徽曾在一篇散文中提及她6歲得過水痘，故鄉叫“水珠”，憶及舊事，她還為此事甚為欣喜，“當時我很喜好那斑斕的名字，忘懷它是一種病，因此也覺到一種奧秘的高傲。隻要人過我視窗問問出‘水珠’麼？我就感到一種光榮。”

因為她斑斕聰明，成績優良，很快被稱為校園內的斑斕風景線。週末與火伴上街，常常有傻小子垂涎跟從，因顧忌“她爸是林長民”，掌民國司法，纔不敢隨便上前搭訕。

提起林徽因，現在的文藝青年根基跟當年的徐誌摩一樣，很輕易犯主觀主義弊端，將林視作天上仙子，仙顏與聰明並存，和順與仁慈齊備――林當然才調橫溢，卻孤傲強勢，與梁家交好的李健吾先生乃至直言：林並非大家垂憐的社會寵兒，幾近婦女全把她當作仇敵。