1987年，中共十三大召开前夕，上海市委前书记芮杏文和时任上海市长江泽民的瑜亮情结已经发展到难以合作的地步。晚年芮杏文心里最不平的，是1991年他出任中国国家计委副主任，当时他去找老搭档江泽民问：“1989年把我撤职，现在又让我出来工作，我究竟犯了什么错误，组织上总该给我一个正式的结论。”想不到江泽民的答复是：“摊上你了，算你倒楣！”

2000年9月6日，时任中国国家主席江泽民出席联合国千年首脑会议（图源：AFP）

中共上海市委前书记芮杏文，给人的印象是重行不重言，不喜欢别人的阿谀奉承——不仅对部属如此，即使对北京来的元老、中共中央领导人或高干子弟也从不拉关系，他后来的政治前途亦正是因此受到影响。芮杏文一直被外界视为中共党内坚定的“改革派”，与时任上海市市长的江泽民工作不合。

1987年11月至1989年6月，芮杏文出任中共中央书记处书记，主管意识形态工作，曾兼任中央宣传思想工作领导小组副组长，是时任中共中央总书记赵紫阳的得力助手。六四事件发生后，芮杏文随赵紫阳、胡启立、阎明复等改革派人士一同下台。1991年4月复出出任闲职，任国家计委副主任。

中国大陆媒体《南方人物周刊》2013年第2期刊发魏承思撰写的文章《老书记芮杏文》，披露了芮杏文与江泽民的矛盾。

文章记载：“1987年，十三大召开前夕，芮杏文的秘书谭大同和另外一位领导的秘书三天两头给宣传部打电话，了解香港传媒有关十三大的消息。因为工作需要，我分管的宣传部资料室是全市订阅海外报刊最多最全的。我知道，他们想要的就是谁留谁走的消息。领导本人是绝对不敢去北京打听的，只有从海外媒体捕捉一些出口转内销的小道消息。最后芮杏文被调走，出任分管意识形态的书记处书记。后来有某元老子弟告诉我，他们都觉得芮杏文架子大。征询意见时，元老们自然都不站在他一边。芮杏文北上前接见黄安国说，最遗憾的，是没有重用你们这批少壮派，许多事情难以推动。否则，上海改革的步子还可以迈得更快些。”芮杏文到北京后，我们的接触就很少了。1999年，我听说他的健康每况愈下，就在谭大同的安排下，去北京看望老书记。杏文告诉我，他的晚年生活非常平静，每天就是看书，看电视，有时到河边去钓鱼。心里最不平的，是1991年中央让他出任国家计委副主任。当时他去找有关领导说，现在重新让我出来工作，组织上总该给我一个正式结论吧！想不到得到的答复是，“摊上你了，算你倒霉”。我想，这是芮杏文这样一个为党的事业奋斗了一辈子的老干部至死都没能想通的。