三年之后，离京出掌同州刺史，又升任中州都督，迎来送往，养气犹甚，因为年少时候的饥饿经历，对于百姓尤其和善，兴修水利，开凿运河，减低任内税负，自己俸禄大半用于帮助百姓。
百姓甚至于给他刻下石碑，记录功德。
后任期满之后，又调任为汴州节度使，于四十六岁时，被征兆入皇城，任皇城京兆尹。
这个时期，家国不宁，人族皇帝字号为神武年间，正和妖族征战，烛龙部将领突入边关，施展腾云驾雾之法，节度使大将军被杀，需要有人前去镇压局面。
齐无惑素来不和人结党，这样送死的任务自然落在他的身上，被任命为御史中丞，前往统帅军队，在外行走二十余年，齐无惑也认得了许多豪杰之辈，此战豪杰奋勇，而勇卒效死，耗费数年，大破妖国。
开拓边关九百余里，建造三座城池以三才之阵镇压抵御妖族冲击，边疆百姓在原本的妖族圣山之上给他立碑刻功。
凯旋而归之后，声望越隆盛，转任为礼部侍郎，后又积累功劳，升迁为户部尚书兼御史大夫，人人皆称其出将入相，名声极盛，甚至于压过了宰相。
宰相嫉恨，暗中的流言蜚语之下，齐无惑被贬黜，外放为刺史，这个时候，心中仍旧还有一股不平之气，常自己在院子里独自抚琴的时候，就按住琴弦，长声叹息，言谈之中，显得极为不服气，对于奸相当道，甚是愤恨。……
宰相嫉恨，暗中的流言蜚语之下，齐无惑被贬黜，外放为刺史，这个时候，心中仍旧还有一股不平之气，常自己在院子里独自抚琴的时候，就按住琴弦，长声叹息，言谈之中，显得极为不服气，对于奸相当道，甚是愤恨。
三年之后，齐无惑又被征兆入京。
此次清名极盛，被认命为同中书门下平章事，权势滔天，和中书令，侍中一并执掌朝政，只是这一次入京的时候，却是意兴阑珊，曾经和朋友叹息道：
“我名声盛的时候，皇上就打压我，扶持宰相，现在宰相势大，就将我唤回。”
“又找来其他二人，和我彼此制衡。”
“在这朝堂之上，竟都只是皇帝的棋子，就连想要给百姓做点事情，都要勾心斗角。”
“说起来，我年少的时候，家里也没有什么钱，只在一个小山下面，但是春日的时候自己耕种，夏天的时候去山上乘凉采风，秋日各类野果，实在是比起现在自在地多了。”
“再想如当年那样，年少无忧，上山拾柴，已经是梦一般了，我多想要回到少年时，和你在竹林畔抚琴对谈，真想要回去啊，可是这怎么还能回得去呢？怎么可能回去……”
齐无惑惆怅难言。
又是数年，齐无惑几乎已经是天下第一名士，却忽而有传言，说他和边疆将领勾结，欲要图谋不轨，前一天还是上殿不趋，入朝不拜的重臣，第二日就被收入诏狱之中，齐无惑神色冷淡平和，已经不在意这些事情。
等到了那些手持利刃，锁链的酷吏踢开门进来的时候，一身布袍的天下第一名士，不过是平淡吃一碗米粥，眸子平和一扫，风轻云淡，便已将那数十名酷吏镇住。
而后从容就缚。
因其功高，名震天下，故而不杀，只是流放于荒原之地。
下一个皇帝即位，立刻便为齐无惑平反，召其入京，任中书令，奉齐国公，以先长公主妻之，齐无惑婉拒，曾经语气平淡和自己的弟子，也是皇帝的耳目说道：
“老皇帝要死了，要给下一个皇帝留下一把剑。”
“所以他把我罢黜，而让他儿子为我平反么？恩威并施，以我为剑，帝王心术，也不过如此了。”
那少年道：“皇权高远，先生惊惧否？”
满头白的老者眸子仍旧幽深，淡淡笑着道：“只觉得乏味啊。”
旋即不顾那少年的隐隐惊惧，只是平淡询问：
“你不喜财色，不好奢侈享受，不爱美人。”
“可能勘破名之一字？”
聪颖俊朗的少年许久后回答：“学生年少，还不曾遍历红尘，看尽世事……”
“名之一字，此生破之。”
齐无惑饮酒大笑，后乏，挥袖令弟子出。
弟子走出，便急急赴皇宫中，将齐无惑所言尽数道出，帝王总是威严，年少皇帝心中的波涛汹涌谁都不知道，而后来的野史只用了简单的言语，记录了这一日皇帝心中的挣扎和结果。
帝惧。
遣禁卫而出。
等到了这些披着铠甲的禁卫冲入了那奢豪宅邸的时候，老者已安然坐在屋子里面，闭着眼睛，其气势犹深如渊海，众人不敢动。