炀帝即位，迁刑部尚书，并摄御史大夫事。奏劾宇文述和私役部兵，帝议免述罪，毗固争，因忤旨，遂令张衡代为大夫。毗忧愤卒。帝令吏部尚书牛弘吊之。
子敬真，位大理司直。时炀帝欲成光禄大夫鱼俱罗罪，令敬真案其狱，遂希旨陷之极刑。未几，敬真有疾，见俱罗为祟而死。
柳彧，字幼文，河东人也。世居襄阳。父仲礼，《南史》有传。仲礼，梁败见囚于周，复家河东。彧少好学，颇涉经史。周大冢宰宇文护引为中外府记室，久而出为宁州总管掾。武帝亲总万机，彧诣阙求试。帝异之，以为司武中士。转郑令。平齐之后，帝赏从官，留京者不预。彧上表曰："今太平告始，信赏宜明，酬勋报劳，务先有本。屠城破邑，出自圣规，斩将搴旗，必由神略。若负戈擐甲，征扞劬劳。至于镇抚国家，宿卫为重。俱禀成算，非专己能，留从事同，功劳须等。"于是留守并加品级。
隋文帝受禅，历尚书虞部、屯田二侍郎。时制三品已上，门皆列戟。左仆射高颎子弘德封应国公，申牒请戟。彧判曰："仆射之子更不异居，父之戟槊已列门外，尊有厌卑之义，子有避父之礼，岂容外门既设，内阁又施？"事竟不行。颎闻而叹伏。后迁书侍御史，当朝正色，甚为百僚敬惮。上嘉其婞直，谓曰："大丈夫当立名于世，无容容而已。"赐钱十万，米百石。
时刺史多任武将，类不称职，彧上表曰："伏见诏书以上柱国和干子为杞州刺史，其人年垂八十。钟鸣漏尽。前在赵州，暗于职务，政由群小，贿赂公行。百姓吁嗟，歌谣满道，乃云：'老禾不早杀，余种秽良田。'古人云：'耕当问奴，织当问婢。'此言各有所能也。干子弓马武用，是其所长；临人莅职，非其所解。如谓优老尚年，自可厚赐金帛，若令刺举，所损殊大。臣死而后已，敢不竭诚。"上善之，干子竟免。有应州刺史唐君明，居母丧，娶雍州长史厙狄士文之从父妹。彧劾之曰："君明忽劬劳之痛，惑嬿尔之亲，冒此苴縗，命彼褕翟。不义不昵，《春秋》载其将亡：无礼无仪，诗人欲其遄死。士文赞务神州，名位通显，弃二姓之重匹，违六礼之轨仪。请禁锢终身，以惩风俗。"二家竟坐得罪。隋承丧乱之后，风俗颓坏，彧多所矫正，上甚嘉之。又见上勤于听受，百僚奏请多有烦碎，因上疏谏曰："人君出令，诫在烦数。是以舜任五臣，尧咨四岳，设官分职，各有司存，垂拱无为，天下以乂。所谓劳于求贤，逸于任使。比见事无大小，咸关圣职。陛下留心政道，无惮疲劳，至乃营造细小之事，出给轻微之物，一日之内，酬答百司，至乃日旰忘食贫，分夜未寝，动以文簿，忧劳圣躬。伏愿思臣至言，少减烦务。"上览而嘉之。以其家，敕有司与之筑宅，因曰："柳彧正直之士，国之龟宝也。"其见重如此。
右仆射杨素当途显贵，百僚慑惮，无敢忤者，尝以少谴，敕送南台。素恃贵，坐彧床。彧从外来，见素如此，于阶下端笏整容曰："奉敕推公罪。"素遽下。彧据案坐，立素于庭前，辩诘事状。素由是衔之。彧时方为上所信任，故素未有以中之。
彧见近代以来，都邑百姓每至正月十五日，作角抵戏，递相夸竞，至于糜费财力，上奏请禁绝之曰："窃见京邑，爰及外州，每以正月望夜，充街塞陌，鸣鼓聒天，燎炬照地，人戴兽面，男为女服，倡优杂伎，诡状异形。外内共观，曾不相避。竭赀破产，竞此一时。尽室并孥，无问贵贱，男女混杂，缁素不分。秽行因此而生，盗贼由斯而起。非益于化，实损于人。请颁天下，并即禁断。"诏可其奏。
是岁，持节巡河北五十二州，奏免长吏赃污不称职者二百余人，州县肃然，莫不震惧。上嘉之，赐绢布二百匹，毡三十领，拜仪同三司，岁余，加员外散骑常侍。仁寿初，持节巡省太原道十九州。及还，赐绢百五十匹。
彧尝得博陵李文博所撰《政道集》十卷，蜀王秀遣人求之。彧送之于秀，秀复赐彧奴婢十口。及秀得罪，杨素奏彧以内臣交通诸侯，除名，配戍怀远镇。行达高阳，有诏徵进。至晋阳，遇汉王谅作乱，遣使驰召彧入城。而谅反形已露，彧入城，度不得免，遂诈中恶不食，自称危笃。谅怒囚之。及谅败，杨素奏彧心怀两端，以候事变，迹虽不反，心实同逆。坐徙敦煌。素卒，乃自申理，有诏徵还。卒于道。
有子绍，为介休令。
赵绰，字士倬，河东人也。性质直刚毅。周初为天官府史，以恭谨恪勤，擢授夏官府下士。稍以明干见知，为内史中士。父艰去职，哀毁骨立，世称其孝。隋文帝为丞相，知其清正，引为录事参军。迁掌朝大夫，从行军总管是云晖击叛蛮，以功拜仪同。