或许是历史的巧合，在1965年11月10日，即姚文元发表《评新编历史剧〈海瑞罢官〉》的同一天，中共中央书记处候补书记、中共中央办公厅主任杨尚昆被免去在中央的职务，名义上是调任中共广东省委书记，实际上是隔离审查。理由是"背着中央私设窃听器"。
所谓"窃听器"，其实是录音机。以前毛泽东讲话没有现场录音，手工记录既不准确且事后整理还找不到依据，这使时任中办主任的杨尚昆很伤脑筋。一次毛泽东同外宾谈帝国主义是纸老虎、真老虎的问题，因事先安排了录音机，后来在整理成文字时很准确，还得到了毛泽东的赞扬。此后，在中央领导人特别是毛泽东讲话时，都尽量安排录音，但有时领导人讲话不是那么很正式，面前摆一个录音话筒也感到不舒服，于是有关工作人员就用花之类的东西将录音机挡着。其实这完全是工作需要，根本不存在"私设窃听器"的问题。
十一届三中全会后，对杨尚昆的冤案进行了复查，中共中央办公厅写了复查报告，经中央书记处批准给予彻底平反。复查报告指出："杨尚昆同志原在中办机要室的录音工作上，从来没有搞过阴谋活动。过去在党内外公布的有关杨尚昆同志在这个问题上的所谓错误，是不存在的。"
在江青等人频频活动于密室、点火于京沪之时，一向善于观风察色的林彪，也认为机会到了，开始施展阴谋手段整人了，并首先将矛头对向了时任中共中央书记处书记、国务院副总理、中央军委秘书长、解放军总参谋长的罗瑞卿。
林彪与罗瑞卿长期是上下级关系。罗比林大一岁，但林一直是罗的上级。林任红四军军长时，罗是其手下的第十一师师长。林任红一军团军团长时，罗任军团保卫局长。红军长征到陕北后，林任红军大学校长，罗任教育长。抗日战争和解放战争时期两人没有在一个地区工作。1959年庐山会议后，林彪取代彭德怀任国防部长，原总参谋长黄克诚因被打成"彭德怀反党集团"成员而被免职，经林彪向中共中央提名，罗瑞卿由公安部长职位调任总参谋长。
起初，林、罗工作上相处尚可，但从1961年起就有点矛盾。1964年以后，林彪在几个重要问题上逐渐对罗瑞卿心怀不满，以致发展到恨之入骨的程度。1965年秋，林彪对陶铸说：1960年，罗瑞卿对我的合作是好的。但是从1962年起，就开始疏远我、封锁我，到1965年便正式反对我了。
是什么原因导致林彪对罗瑞卿不满呢?林彪垮台后，罗瑞卿曾在一份材料中写道："那么，在什么一些事情上，我触怒了他呢?因为他总是有什么病，经常不在北京，有些事我就请示主席办了，或者主席有什么指示，我就布置执行了。有些重大一点的事情，事后报告了他。有些事当时因为照顾他的病，也没有告诉他，我想，这样办，我在政治上、组织上都没有错误，因为主席不仅是党的主席，而且是党的军委主席。他对我不经过他就直接向主席请示决定问题，表示不满，
但又说不出口，我是感到了的。"
林彪对罗瑞卿表露出明显的不满，是从1964年的全军大比武开始的。为进一步促进部队的军事训练，1964年春，中央军委决定在全军举行一次比武活动。1964年6、7、8月期间，全军分18个区举行了比武大会，参加比武和表演的有1.3万余名干部、战士和民兵，军内外参观的干部近10万人。
1964年6月15日和16日，毛泽东、周恩来、刘少奇、朱德、董必武、邓小平等党和国家领导人，检阅北京部队和济南部队的比武表演。毛泽东对这次比武活动评价很高，并指示要在全军普及"尖子"经验。
这次全军大比武对于提高全军的军事素质和战斗力起了重要作用，但这一做法却并不符合林彪此时的治军思路。1960年，林彪曾提出部队的政治"四个第一"的观点，即人的因素第一、政治工作第一、思想工作第一、活的思想第一。全军大比武显然与他的"四个第一"不一致。因此，对于这次全军大练兵和大比武，林彪起初采取的是静观的态度。后来觉得有文章可做，就派叶群等人到广州军区当年他参加南昌起义时所在的连队等基层单位搞调查。调查中发现有些单位军事训练占用的时间多了一些，比武中个别单位有锦标主义、形式主义等问题。于是，林彪、叶群抓住这些问题不放，指责大比武是单纯军事观点，冲击了政治。
1964年11月30日，林彪借全军组织工作会议召开之机，提出了"突出政治"。他说："各级党委一定要把政治思想工作放在首要地位，一定要突出政治"。12月29日，林彪又紧急召见总政治部领导人，批评说：现在出现了不好的苗头，军事训练搞的太突出，时间占的太多，军政工作比例有些失调，冲击了政治。林彪还强调，军事训练等"要给政治工作让路"，"时间上谁让谁的问题，基本上要确定一个原则：让给政治。"他甚至说，军事训练不应冲击政治，相反政治可以冲击其他，并要求1965年应当着重抓政治。林彪的讲话作为《关于当前部队工作的指标》下发全军贯彻执行。在林彪的压力之下，大比武活动就这样偃旗息鼓了。
罗瑞卿不同意林彪对大比武的批评，认为"1964年军事训练工作是建国以来最好的一年"，"去年是不是冲击了政治、冲击了学毛著?主要的不是，有一些是，主要的我看不是。"对于林彪关于"突出政治"的指示，罗瑞卿说：政治"也不能乱冲一气"。以后，罗瑞卿又多次提出，不要搞空头政治，说："如果单纯把政治搞好，别的都不好，垮下来，这种政治恐怕不能算政治好，是空头政治，哪里有这种政治!""军事训练搞不好，浪费事小，打起仗来就要亡党亡国"。
本来在大比武这件事上，林彪就认为罗瑞卿不听话，同他有二心，产生了要将罗整下来的想法。1964年5月，毛泽东提出培养革命事业接班人的问题，要求每个人都要准备接班人，还要有三线接班人。在贯彻执行毛泽东指示的过程中，罗瑞卿曾就新老干部交替问题向林彪作过汇报，并曾讲过有些老干部应当主动"让贤"之类的话。一向多疑的林彪听了，认定这是罗瑞卿要他让贤，更坚定了打倒罗瑞卿的决心。
可是，仅一顶"不突出政治"的帽子，还不足以整倒罗瑞卿。于是，从1965年下半年起，林彪就授意李作鹏等人写揭发罗瑞卿的材料。1965
年11月30日，林彪写信给毛泽东说："有重要情况需要向你报告，好几个重要的负责同志早就提议我向你报告。我因为怕有碍主席健康而未报告，现联系才知道杨尚昆的情况，觉得必须向你报告。为了使主席有时间先看材料起见，现先派叶群呈送材料，并向主席做初步的口头汇报。如主席找我面谈，我可以随时到来。"
同一天，叶群坐专机到杭州，单独向毛泽东作了几个小时的汇报，至于汇报的内容，用中央文献研究室编写的《毛泽东传(1949—1976)》中的话说："现已无从知道。"因为汇报是单独进行的，自然没有留下记录。
但据几天后叶群在上海会议上的发言了解，揭发的内容大致是罗瑞卿要夺军权，罗瑞卿一贯反对突出政治、反对毛泽东思想、存在单纯军事技术观点等。
当年中央警卫团负责人张耀祠曾安排叶群向毛泽东汇报，因为叶群谈话的时间太久，他还三次进去催叶早点结束谈话。据他回忆：
三次催叶群，只听到她的话头话尾。联系起来看，是叶群向毛主席告罗瑞卿的状。她对主席说："我过去对罗瑞卿是毕恭毕敬的，没想到罗瑞卿跟林彪的关系搞得这个样子。"
叶群又说："罗瑞卿掌握了军队大权，又掌握了公安大权，一旦出事，损失太大，他的个人主义，已经发展到野心家的地步，除非林彪同志把国防部长让给他。""林彪的位子让给他没关系，但会不会发展到'逼上夺位'的程度呢，我想是会的。主席，他是两个眼睛盯着这个位置的。"叶群还罗列了罗瑞卿的一些罪名，她说："罗瑞卿反对林彪'突出政治'，他说，'病号嘛，还管什么事，病号应让贤!不要干扰，不要挡路。'"
在叶群来杭州前几天，罗瑞卿也到了杭州。11月25日下午，毛泽东接见柬埔寨的朗诺将军，罗瑞卿在参加接见时见到毛泽东，并且说："评《海瑞罢官》的文章，我已要了一本，还没看。"毛泽东只向他笑了笑，没有说什么话。当晚，江青见到罗瑞卿又说："北京各报至今都不转载姚文元的文章，不知道为什么?"还说："现在在北京看家的是彭真。"罗瑞卿听江青讲完这几句话后，回到住地即给彭真打电话，说："姚文元写的评《海瑞罢官》的文章，我同毛主席提起时，主席笑了。估计毛主席是看了这篇文章的。我已要《解放军报》转载，请你也考虑，如果北京的报纸不能同时转载的话，就先指定一家报纸和《解放军报》同时转载。"11月29日，《解放军报》转载了姚文元的文章。11月28日，罗瑞卿离开上海去苏州看望林彪，行前将他这一想法报告了毛泽东。毛泽东鼓励说："去看看好，去看看好。"可见此时的罗瑞卿根本就没想到林彪要对他下手，毛泽东对他的态度也没有什么变化。
林彪、叶群的诬告显然产生了作用。12月2日，毛泽东在兰州军区第55师的一个报告上写了如下一段批示："那些不相信突出政治，对突出政治表示阳奉阴违，而自己另外散布一套折中主义(即机会主义)的人们，大家应当有所警惕。"
12月8日至16日，毛泽东在上海主持召开中共中央政治局常委扩大会议。这是一次比较独特的常委扩大会，参加会议的人员，既有中央政治局常委，也有书记处成员，还有军委委员和军队的负责人，作为林彪办公室主任的叶群和总参作战部的一位副部长也参加了会议，除了少数人外，大多数与会者事先并不知道会议的内容，开会时才知道是批判罗瑞卿。罗瑞卿的夫人郝治平曾讲到这样一个细节：贺龙接到通知到上海开会，问通知人开什么会，对方回答说
，去上海就知道了。秘书问他，去开会总要带点文件，带什么?贺龙说，带上地图去，他还以为是讨论军事上的事。到了上海后，刘少奇见到贺龙，问贺开什么会，贺说，奇怪，你都不知道，我怎么能够知道呢?
会议分为三个小组，组长分别是刘少奇、周恩来和邓小平。叶群在会上分三次作了近十个小时的发言，据参加这次会议的杨成武回忆：
小组会由周恩来主持。他宣布开会后，叶群首先发言，她是做了充分准备的，讲得有声有色，说："罗长子反对突出政治，他胡说既要突出政治，也要突出军事，军事政治都重要。
搞折中主义。"
"翟月英(按：刘亚楼夫人)对我讲，刘亚楼在病重时要她把罗瑞卿的四条意见转告我叶群。四条意见是：
一、一个人早晚要退出政治舞台，林总也是要退出政治舞台的;
二、要我照顾好林总身体，劝林总多管一管中央的工作;
三、部队的事情让他罗瑞卿负责;
四、这件事办好了，罗瑞卿不会亏待我叶群。
我当时就把她的话顶了回去，没想到后来刘亚楼又找101(林彪代号)当面谈。"
"还有一次，罗长子到林总这里汇报工作，林总身体不好，没有听完就让走了。他在走廊里大吵大嚷：'病号嘛!还管什么事!病号!让贤!不要干扰，不要挡道呢!'这完全是逼林总交权、让位。他这是存心折磨林总，气林总。"叶群声色俱厉，心情激动，一下子讲了几个小时，硬说罗瑞卿反对林彪，反对突出政治，使别人听起来似乎都是真的。
对于开这样一个会议，事先罗瑞卿本人更是一无所知，会议召开时，他已离开苏州，正在云南昆明巡视部队。会议进行到第三天，才通知他来上海出席会议。罗瑞卿于12月11日下午到达上海，没能住进大多数到会人员住的锦江饭店，而是住到建国西路618号一个小院子里，一进小院实质上就被看管起来了。会议对罗瑞卿进行的是背靠背的揭发和批判，连申辩的机会都没有。
当时给罗瑞卿列的"罪状"，概括起来有三条：一是反对林彪，封锁林彪，对林彪搞突然袭击;二是反对突出政治;三是向党伸手。林彪在会上宣布：撤销罗瑞卿的各项职务。
12月16日，周恩来、邓小平向罗瑞卿传达毛泽东的谈话："主席对林彪讲，反对你，还没有反对我呢。就是反对我到长江里游泳，那是一片好意。这是一。第二，主席说，如果没有这三条，可以把问题先挂起来，中国有很多问题都是挂起来的，挂几百年不行，还可以挂一万年。有什么就检查什么。还说，瑞卿的工作是有成绩的。主席讲，这个事，我们也有责任，没有发现，及时教育。然后就说，告诉罗总长回北京，回北京再说吧。"由此可见，当时毛泽东还没有想到完全打倒罗瑞卿。
罗瑞卿听了周恩来、邓小平的传达后，很想不通，给周恩来打电话，要求去见毛泽东，去见林彪，希望把问题解释清楚。周恩来告诉他不能同毛泽东见面后，罗瑞卿又马上给林彪打电话要求见面。周恩来见此情景，感慨地说："太天真，你太天真了。"
会后，罗瑞卿即遭隔离审查。随后又成立了一个"中央工作组"，于1966年的3月4日至4月8日在北京开会，揭发批判罗瑞卿，邓小平被指定为会议的主持者之一。邓小平对林彪素无好感，根本不相信林对罗的那些恶意诬告。于是，会议开始后，他就把会议交给彭真一人去主持，自己与李富春等前往西北，视察三线建设。后来在"文革"中"检讨"此事时，他说："对于这个斗争的严重性质一直没有理解"，并承认"实际上是在开脱罗瑞卿"。
这次会议最后作出了《关于罗瑞卿同志
错误问题的报告》，给罗瑞卿罗列了一大堆罪名，诸如："敌视和反对毛泽东思想，诽谤和攻击毛泽东同志"，"推行资产阶级路线，反对毛主席军事路线，擅自决定全军大比武，反对突出政治"，"搞独立王国"，"公开向党伸手，逼迫林彪同志'让贤'、让权，进行篡军反党的阴谋活动"等，还说他是"妄图夺取兵权，达到他篡军反党的罪恶目的"，是"打着红旗造反"的"埋藏在我们党内军内的'定时炸弹'。"
林彪为什么要打倒罗瑞卿呢?
罗瑞卿自己在1978年一次讲话中说："是因为林彪要拉我入伙，我不干。"
