无何，坐与刑部尚书张亮交通，贬为儋州吉安丞。行至海南，舟人将以酒脯致祭。义方曰："黍稷非馨，义在明德。"乃酌水而祭，为文曰："思帝乡而北顾，望海浦而南浮。必也行愆诸己，义负前修。长鲸击水，天吴覆舟。因忠获戾，以孝见尤。四维雾廓，千里安流。灵应如响，无作神羞。"时当盛夏，风涛蒸毒，既而开霁，南渡吉安。蛮俗荒梗，义方召诸首领，集生徒，亲为讲经，行释奠之礼；清歌吹籥，登降有序，蛮酋大喜。
贞观二十三年，改授洹水丞。时张亮兄子皎，配流在崖州，来依义方而卒。临终托以妻子及致尸还乡。义方与皎妻自誓于海神，使奴负柩，令皎妻抱其赤子，乘义方之马，身独步从而还。先之原武葬皎，告祭张亮，送皎妻子归其家而往洹水。转云阳丞，擢为著作佐郎。
显庆元年，迁侍御史。时中书侍郎李义府执权用事，妇人淳于氏有美色，坐事系大理，义府悦之，托大理丞毕正义枉法出之。高宗又敕给事中刘仁轨、侍御史张伦重按其事。正义自缢。高宗特原义府之罪。义方以义府奸蠹害政，将加弹奏，以问其母。母曰："昔王陵母伏剑成子之义，汝能尽忠立名，吾之愿也，虽死不恨！"义方乃先奏曰：
臣闻春莺鸣于献岁，蟋蟀吟于始秋，物有微而应时，人有贱而言忠。臣去岁冬初，云阳下县丞耳。今春及夏，陛下擢臣著作佐郎，极文学之清选。未几，又拜臣侍御史，滥朝廷之雄职。顾视生涯，陨首非报，唯欲有犯无隐，以广天听。
伏以李义府枉杀寺丞，陛下已赦之，臣不应更有鞫问。然天子置三公、九卿、二十七大夫、八十一元士，本欲水火相济，盐梅相成，然后庶绩咸熙，风雨交泰。亦不可独是独非，皆由圣旨。昔唐尧失之于四凶，汉祖失之于陈豨，光武失之于逢萌，魏武失之于张邈。此四帝者，英杰之主，然失之于前，得之于后。今陛下继圣，抚育万邦，蛮陬夷落，犹惧疏网。况辇毂咫尺，奸臣肆虐，足使忠臣抗愤，义士扼腕。纵令正义自缢，弥不可容，便是畏义府之权势，能杀身以灭口。此则生杀之威，上非王出；赏罚之柄，下移佞宠。臣恐履霜坚冰，积小成大，请重鞫正义死由，雪冤气于幽泉，诛奸臣于白日。
及廷劾义府，曰：
臣闻附下罔上，圣主之所宜诛；心狠貌恭，明时之所必罚。是以隐贼掩义，不容唐帝之朝；窃幸乘权，终齿汉皇之剑。中书侍郎李义府，因缘际会，遂阶通显。不能尽忠竭节，对扬王休，策蹇励驽，祗奉皇眷，而反凭附城社，蔽亏日月，请托公行，交游群小。贪冶容之美，原有罪之淳于；恐漏泄其谋，殒无辜之正义。虽挟山超海之力，望此犹轻；回天转日之威，方斯更劣。此而可恕，孰不可容！金风届节，玉露启涂，霜简与秋典共清，忠臣将鹰鹯并击。请除君侧，少答鸿私，碎首玉阶，庶明臣节。
高宗以义方毁辱大臣，言词不逊，左迁莱州司户参军。秩满，家于昌乐，聚徒教授。母卒，遂不复仕进。总章二年卒，年五十五。撰《笔海》十卷、文集十卷。门人何彦光、员半千为义方制师服，三年丧毕而去。
半千者，齐州全节人也。事义方经十余年，博涉经史，知名河朔。则天时官至天官侍郎。撰《三国春秋》二十卷，行于代。自有传。
成三郎，幽州渔阳人也。光宅年，为左豹韬卫长上果毅。李孝逸之讨徐敬业，以为前锋，与贼战于高邮。军国败绩，被擒，送于江都。贼党唐之奇绐其众曰："此李孝逸也！"将斩之。三郎大呼曰："我，是果毅成三郎，不是将军李孝逸。官军已围尔数重，破尔在于朝夕。我死，妻子受荣；尔死，家口配没，终不及我！"之奇怒，斩之。敬业平，赠左监门将军，谥曰勇。时曲阿令尹元贞，亦死敬业之难。
尹元贞者，瀛州河间人也。在曲阿，闻敬业攻陷润州，率兵赴援。及战败，被擒。敬业临以白刃，胁令附己，将加任用。元贞词色慷慨，竟不之屈，寻遇害。敬业平，赠润州刺史，谥曰壮。
高睿，雍州万年人，隋尚书左仆射崿孙也。父表仁，谷州刺史。睿少以明经累除桂州都督，寻加银青光禄大夫，转赵州刺史，封平昌县子。圣历初，突厥默啜来寇，睿又婴城固守。长史唐波若见城围甚急，遂潜谋应贼。睿觉之，将自杀，不死，俄而城陷被擒，更令招喻诸县未降者。睿竟不从，遂为所杀。
初，贼将至州境。或谓睿曰："突厥所向无前，百姓丧胆；明公力不能御，不若降之。"睿曰："吾为天子刺史，不战而降，其罪大矣。"则天闻而深叹息之，赠冬官尚书，谥曰节。及贼退，唐波若伏诛，家口籍没。因下制曰："故赵州刺史高睿，狂贼既至，死节不降；长史唐波若，不能固城，相率归贼。高睿已加褒柱，波若等身死破家。赏罚既行，须敦惩劝，宜颁示天下，咸使知闻。"