希特勒当权以来，在德国无论是保守人士或是军方都有反对者，黑色乐团就是其中之一，它们虽然一度因为希特勒在1938至1941年一连串外交与军事上的胜利而沉默下来，但在苏德战争爆发后与其他战区受挫后，又随之活跃了起来。

　　1944年初，隆美尔的三位好友，卡尔·史多林、亚历山大·冯·法肯豪森和卡尔-海因利希·冯·史图尔普纳格开始努力拉拢隆美尔加入反抗阵营，他们需要他的名声及其在德国人民心中的地位，此外也还包括他的现役陆军元帅身份。1944年2月时，隆美尔同意支持其阴谋，来拯救德国。但隆美尔反对刺杀希特勒的做法。

　　7月20日，政变行动失败之后，纳粹党下令逮捕所有反抗份子，许多人都被怀疑涉嫌。隆美尔对局势如此发展相当不安，没多久，隆美尔参与阴谋的事情逐渐明朗化。隆美尔的名字第一次被提到是在巴黎的史图尔普纳格在政变失败后自杀未成、在被抓获刑讯期间因为过于痛苦而胡言乱语地多次大喊隆氏的名字。同时，他的副官凯萨·冯·霍法克尔也在盖世太保酷刑之下提到隆美尔积极参与政变。此外，市民反抗领导卡尔·格瑞里尔曾写的几封信与文件中提到隆美尔是潜在的政变支持者，并在政变成功后可作为新政府的军事领导人。纳粹官员也报告，隆美尔人在巴黎时曾多次批评纳粹的罪行与不是。这时希特勒已决定将隆美尔除掉。

　　不久，德国召开了军事荣誉法庭来决定军方政变者的命运，其中两位执行官为曾与隆美尔争论的古德里安和伦德施泰特。法院决定将隆美尔视为军方的耻辱踢出军队，并送交罗兰德·弗莱斯勒的人民法院。然而希特勒深知，若将战功卓著的隆美尔贬为叛徒，将大大损伤自军的士气。因此，他和凯特尔决定给隆美尔一个选择自杀的机会。

　　10月7日，隆美尔在家中接到凯特尔的电话，要他前往柏林报到，声称要与其讨论今后任命问题，但被隆美尔拒绝。10月11日，又一位朋友到隆美尔住处拜访，他们很严肃地讨论事情，后者告诉前者他拒绝奉召前往柏林，隆美尔深信纳粹政府已决定要除掉他。10月14日，希特勒派遣两位使者—威廉·柏根多夫和恩斯特·麦塞尔将军前往隆美尔家，柏根多夫告诉隆美尔法院的判决，并表示元首一直很重视隆美尔，他的背叛令他非常痛心，但还是决定给他选择，是要被逮捕至人民法院，又或是私下安静地自杀？若是第一种情况，隆美尔的幕僚人员将会被逮捕，家人甚至将被牵连，之后隆美尔确定有罪时将会被处死。若是后者，隆美尔的家人将会得到政府保障的一笔养老金，隆美尔还会享有战争英雄逝世的国葬荣誉，柏根多夫因此带来了一个服用三秒后即会死亡的氰化物胶囊。经过几分钟的考虑后，隆美尔选择自杀。

　　隆美尔带着自己的元帅杖，坐上了柏根多夫的欧宝车，并由党卫队军士长海因里希·杜斯驾驶离开村子，杜斯和麦塞尔下车离开隆美尔乘坐的车子。五分钟后，柏根多夫叫两人回到车上，这时杜斯发现隆美尔服下氰化物胶囊已死亡。

　　德国官方宣称隆美尔死于心脏病，或是先前在盟军飞机扫射的车祸伤势恶化。希特勒下令于10月18日举行盛大的国葬来哀吊隆美尔，发表追吊文称颂其功绩。隆美尔死亡的真相一直到战争结束，在纽伦堡大审中由凯特尔作证才被公诸于世。