当年被逼辞去总书记职务，主要是一批元老直接操纵。1986年5月，邓小平约胡耀邦到家中谈十三大人事安排。胡耀邦说：“我已年过70了，十三大一定要下来。”邓小平说：“我、陈云、先念都全下。你要下就半下，不再当总书记，而再当一届军委主席或国家主席，到时候再说。”

　　1986年8月22日，邓小平81岁生日在北戴河设宴，表示在两年后的十三大上全退，胡耀邦信以为真。10月，他在政治局会议上公开表态，说今天我就十分具体和坦白地讲，我赞成小平同志带头退下来，这是一个很好的带头。只要小平同志退，别的老同志的工作就好做。我的总书记任期满了，也下来，充分给年轻的同志让路。胡耀邦的讲话得到了国务院副总理万里、书记处书记杨得志、全国人大副委员长聂荣臻、倪志福和国家副主席乌兰夫赞同，书记处书记习仲勋还在会上发表了支持胡耀邦的讲话；却招致王震等人的反对。这番话实际上是胡耀邦被逼辞职的导火线，自此之后胡耀邦的权力被削弱。

　　1986年10月，邓小平把十三大人事主导权交给中顾委副主任薄一波，安排薄一波等7人组成小组（薄一波、杨尚昆、宋任穷、姚依林、王震、伍修权、高扬）分头征求党内对十三大人事安排的意见。

　　1986年12月，中国科学技术大学学潮蔓延到北京，元老将学潮爆发归咎自由化知识分子煽动、以及胡耀邦纵容；此前1985年5月10日，香港《百姓》杂志陆铿在中南海访问胡耀邦，将采访内容整理成《胡耀邦访问记》发表在同年6月出版之《百姓》半月刊上，被保守派和既得利益集团视为纵容资产阶级自由化的罪证之一。

　　1986年12月30日，胡耀邦打算召开政治局常委会，讨论书记处关于处理学潮的意见；邓小平不同意开会并要他到指定的地点谈话。邓小平认为学生运动是几年来反对资产阶级自由化思潮旗帜不鲜明、态度不坚决的结果，并责问胡耀邦你难道没有责任？胡耀邦回答说我保留我的意见。邓小平说：不是保留，而是要你马上站出来坚持四项基本原则，否则就放任了资产阶级自由化。

　　1987年元旦，《人民日报》发表社论，强调四项基本原则的重要性，抨击资产阶级自由化，这被认为是为发动群众运动做思想准备。当夜在邓小平家里，陈云、薄一波、彭真、王震、宋任穷等元老商议胡耀邦去留。1月6日，中共中央发布邓小平关于处理学生示威指示要点的一号文件；同日，邓小平通知胡耀邦参加党内生活会。

　　1987年1月10日-15日，由中顾委副主任薄一波主持召开党内生活会，元老们连续几天指责胡耀邦的问题，邓小平与陈云沒有出面，国家主席李先念在上海没有参加。 胡耀邦在生活会上首先作检讨，承认自己有错误，之后胡耀邦遭众人轮流批判。薄一波认为胡耀邦到基层视察次数太多、地区太广，指责他是在游山逛景，哗众取宠，杨尚昆和王震指责胡耀邦站错路线（即资产阶级自由化），宋任穷批判胡耀邦对邓小平的态度。邓力群通过五小时发言痛斥胡耀邦的作为，称胡耀邦对四项基本原则和反精神污染运动关注不够、没有做到团结全党、主要使用跟自己观点相同的人、在重要人事任免上没有遵循老领导的意见等。被胡耀邦视为朋友的王鹤寿也落井下石将其私人讲话公开。在这次生活会上，只有政治局委员兼书记处书记习仲勋支持胡耀邦，斥责元老们动用文革式手段逼总书记下台不正常违反党的原则。

　　在1月15日生活会结束前，胡耀邦作了最后检讨，表示为自己的全部错误承担责任。要求组织继续调查自己是否真有野心，是否搞过派系。生活会结束后，有人看到胡耀邦在会议厅台阶上黯然落泪。 最终，在连续七天批斗之下，政治局于1月16日召开扩大会议。陈云在会上说，“胡耀邦没有把工作做好，让一百多个部级单位向他提交报告，却不解决要害问题，到下面乱跑，没有把精力用在他本应深入研究的主要问题上。没有定期召开政治局会议和常委会议。”陈云又说，他批评过胡耀邦以后曾希望胡耀邦能改正错误，可是胡耀邦显然没有完全理解他的意思。在选拔干部上，胡耀邦只选自己圈子里的人。会议以举手通过的方式批准胡耀邦的请辞，并推选赵紫阳为代理总书记，推选赵紫阳代理总书记的理由是他在地方工作和在国务院负责经济工作期间都有成绩。

　　会议保留了胡耀邦政治局常委，只是排名降到最后一位。1月19日，中共中央三号文件列举了胡耀邦解除职务的原因：“抵制党为反对精神污染和资产阶级自由化而作出的努力，纵容全盘西化的要求；没有充分坚持四项基本原则，只批左不批右；在经济工作中鼓励经济过快增长和消费，造成经济失控；在政治工作中经常违反程序；在外事活动中说了一些不应该说的话；经常不遵守党的决议，未经中央授权就讲话”。

　　在中共十三届一中全会上，胡耀邦仍以接近全票当选中共中央政治局委员；而当初卖劲倒胡的邓力群和胡乔木，则在选举中因得票最少而落选。尽管胡耀邦被闲置，仍然深受中共党内改革派、知识分子及学生的欢迎。1987年12月30日，胡耀邦接受邓小平的邀请去邓家打桥牌，邓问胡对自己的问题是不是想通了，胡没有回答，因而失去了邓小平的信任。