是时，上初即位，务修德政，军国庶务，多访于崇，同时宰相卢怀慎、源乾曜等，但唯诺而已。崇独当重任，明于吏道，断割不滞。然纵其子光禄少卿彝、宗正少卿异广引宾客，受纳馈遗，由是为时所讥。时有中书主书赵诲为崇所亲信，受蕃人珍遗，事发，上亲加鞫问，下狱处死。崇结奏其罪，复营救之，上由是不悦。其冬，曲赦京城，敕文时标诲名，令决杖一百，配流岭南。崇自是忧惧，频面陈避相位，荐宋璟皆获进见。有人于洛水中获自代。俄授开府仪同三司，罢知政事。
居月余，玄宗将幸东都，而太庙屋坏，上召宋璟、苏颋问其故，璟等奏言："陛下三年之制未毕，诚不可行幸。凡灾变之发，皆所以明教诫。陛下宜增崇大道，以答天意，且停幸东都。"上又召崇问曰："朕临发京邑，太庙无故崩坏，恐神灵诫以东行不便耶？"崇对曰："太庙殿本是苻坚时所造，隋文帝创立新都，移宇文朝故殿造此庙，国家又因隋氏旧制，岁月滋深，朽蠹而毁。山有朽坏，尚不免崩，既久来枯木，合将摧折，偶与行期相会，不是缘行乃崩。且四海为家，两京相接，陛下以关中不甚丰熟，转运又有劳费，所以为人行幸，岂是无事烦劳？东都百司已作供拟，不可失信于天下。以臣愚见，旧庙既朽烂，不堪修理，望移神主于太极殿安置，更改造新庙，以申诚敬。车驾依前径发。"上曰："卿言正合朕意。"赐绢二百匹，令所司奉七庙神主于太极殿，改新庙，车驾乃幸东都。因令崇五日一参，仍入閤供奉，甚承恩遇。后又除太子少保，以疾不拜。九年薨，年七十二，赠扬州大都督，谥曰文献。
璟崇先分其田园，令诸子侄各守其分，仍为遗令以诫子孙，其略曰：
古人云：富贵者，人之怨也。贵则神忌其满，人恶其上；富则鬼瞰其室，虏利其财。自开辟已来，书籍所载，德薄任重而能寿考无咎者，未之有也。故范蠡、疏广之辈，知止足之分，前史多之。况吾才不逮古人，而久窃荣宠，位逾高而益惧，恩弥厚而增忧。往在中书，遘疾虚惫，虽终匪懈，而诸务多阙。荐贤自代，屡有诚祈，人欲天从，竟蒙哀允。优游园沼，放浪形骸，人生一代，斯亦足矣。田巴云："百年之期，未有能至。"王逸少云："俯仰之间，已为陈迹。"诚哉此言。
比见诸达官身亡以后，子孙既失覆荫，多至贫寒，斗尺之间，参商是竞。岂唯自玷，乃更辱先，无论曲直，俱受嗤毁。庄田水碾，既众有之，递相推倚，或致荒废。陆贾、石苞，皆古之贤达也，所以预为定分，将以绝其后争，吾静思之，深所叹服。
昔孔子亚圣，母墓毁而不修；梁鸿至贤，父亡席卷而葬。昔杨震、赵咨、卢植、张奂，皆当代英达，通识今古，咸有遗言，属以薄葬。或濯衣时服，或单帛幅巾，知真魂去身，贵于速朽，子孙皆遵成命，迄今以为美谈。凡厚葬之家，例非明哲，或溺于流俗，不察幽明，咸以奢厚为忠孝，以俭薄为慳惜，至令亡者致戮尸暴骸之酷，存者陷不忠不孝之诮。可为痛哉！可为痛哉！死者无知，自同粪土，何烦厚葬，使伤素业。若也有知，神不在柩，复何用违君父之令，破衣食之资。吾身亡后，可殓以常服，四时之衣，各一副而已。吾性甚不爱冠衣，必不得将入棺墓，紫衣玉带，足便于身，念尔等勿复违之。且神道恶奢，冥涂尚质，若违吾处分，使吾受戮于地下，于汝心安乎？念而思之。
今之佛经，罗什所译，姚兴执本，与什对翻。姚兴造浮屠于永贵里，倾竭府库，广事庄严，而兴命不得延，国亦随灭。又齐跨山东，周据关右，周则多除佛法而修缮兵威，齐则广置僧徒而依凭佛力。及至交战，齐氏灭亡，国既不存，寺复何有？修福之报，何其蔑如！梁武帝以万乘为奴，胡太后以六宫入道，岂特身戮名辱，皆以亡国破家。近日孝和皇帝发使赎生，倾国造寺，太平公主、武三思、悖逆庶人、张夫人等皆度人造寺，竟术弥街，咸不免受戮破家，为天下所笑。经云："求长命得长命，求富贵得富贵"，"刀寻段段坏，火坑变成池。"比求缘精进得富贵长命者为谁？生前易知，尚觉无应，身后难究，谁见有征。且五帝之时，父不葬子，兄不哭弟，言其致仁寿、无夭横也。三王之代，国祚延长，人用休息，其人臣则彭祖、老聃之类，皆享遐龄。当此之时，未有佛教，岂抄经铸像之力，设斋施佛之功耶？《宋书》《西域传》，有名僧为《白黑论》，理证明白，足解沈疑，宜观而行之。