明治期間，忠崇在得知德川家獲允以駿府70萬石大名資格存續後，在仙台向新當局投降，過後他被軟禁在江戶唐津藩邸。1869年第三代家主林忠交宗子林忠弘，擔當林家，身份是東京府士族，支出300石。忠崇在1872年被政治赦免，但是俸祿前後被減少乃至打消，是以餬口艱苦。