刘湛常常想用身为宰相的权力打压对方，因为殷景仁受到了刘义隆保护，所以刘义康后来的进言，开始不被刘义隆采用了。

    于是，和刘义康很要好的刘湛越发愤怒，刘斌和刘湛是同一家族的，很有才能，刘义康认识了刘斌之后，把他从司徒右长史提升为左长史，当时王履、刘敬文、孔胤秀都是靠排挤其他人才让自己升迁上来的，他们看到刘义隆病重，就说应该另立年长的君主。

    刘义隆在病情危急之时，甚至给刘义康写下了一份临终遗命的诏书，刘义康回到省台，流着眼泪把刘义隆病危的情况告诉了刘湛和殷景仁，十分担忧地问：“如今天下局面艰难，幼主即位后是否能成功驾驭？”刘湛和殷景仁听完之后一言不发。

    孔胤秀等人从尚书仪曹那里，查阅了晋朝咸康年间拥立晋康帝的旧事，但实际上，刘义康对孔胤秀等人的所做所为其实是毫不知情的，等到刘义隆的病痊愈后，才听到了这些事。

    而刘斌等人结成朋党，如果有尽忠报国却与自己意见不一致的人，刘斌他们就一定要找个罪名把对方罢免，并且还常常挑剔殷景仁，或者捏造一些殷景仁的错误去告诉刘湛，从此以后，君主和宰相的对立就越发明显了.

    刘义康想让刘斌去做丹阳尹，对刘义隆说刘斌的家里贫寒，刘义隆却说：“让他去吴郡吧。”会稽太守羊玄保请求回京，刘义康又想让刘斌代替他去做会稽太守，刘义隆说：“可我已经用了王鸿。”

    刘义隆认为，自己与刘义康之间的矛盾已经形成，日后将会导致大祸。

    萧然说道：“刘义康其实什么都不知道，是他身边人自作主张，所以刘义隆如果想要处置那些人，刘义康是不会发表什么意见的，但是刘义隆却连试探一下刘义康都不肯，直接给他定了罪，坚定的觉得他们两个之间无法再修补关系。”

    于是，朝廷突然下令逮捕刘湛，又诛杀了刘斌、刘敬文、孔劭秀、邢怀明、孔胤秀等计划谋反的人，然后，朝廷将何默子、韩景之、颜遥之、刘湛的弟弟刘素、刘斌的弟弟刘温外调至广州，王履被罢官。

    青州刺史杜骥率兵进入殿内，以防备异常的情况发生，刘义康当时在宫中的中书省，刘义隆派人去向他宣读圣旨，通告刘湛等人的罪状，刘义康见此情景，便主动向刘义隆上表请求退位。

    于是，刘义隆宣布让刘义康担任江州刺史，出京镇守豫章郡，但其实是把他囚禁起来。

    刘义康被幽禁在中书省的那十几天，刘义融、刘义宗、徐湛之都前来探视他，在中书省辞别了刘义隆后，刘义康便乘船上路离京了，但刘义隆当时却只是对着刘义康痛哭。

    后来，刘义隆派遣了和尚慧琳前去看刘义康，刘义康追问慧琳：“您看弟子还有回京的可能么？”慧琳却说：“您怎么就不多读书呢？”

    征虏司马萧斌曾被刘义康所亲近，但后来却由于刘斌等人的谗毁而被排斥，刘义康以萧斌为咨议，兼任豫章太守，豫章郡中的事务不分大小，都委托给他。

    司徒主簿谢综平时被刘义康所亲昵，刘义康就让他做了记室，刘义康身边的随从，但凡是他所喜欢的，都跟随他到了豫章郡，后来，刘义康申请辞去江州的职务，被朝廷批准。

    刘邦问道：“这么看来，他并非要造反啊？”

    萧然说道：“确实，他的确没有造反，也没有那个心思，但是问题是他倒霉啊！先是被自己手底下有野心的人牵连了，然后又被后来造反的太子给牵连了，可以说是老倒霉蛋了。”

    “而且，刘义康有的时候你都不知道该怎么评价他。”

    刘裕疑惑道：“不知道如何评价？何出此言？”