在1925年共产党召开的“四大”期间,张申府与蔡和森、张太雷等人发生了激烈的争论,场面一度十分紧张和尴尬。蔡和森、张太雷等人支持“国共合作”,张申府却认为,“我党应该保持自己的独立性和纯洁性”,并盲目地认为,“工人阶级可以独立完成解放民族的光荣任务”。
蔡和森、张太雷等人批评张申府“幼稚幻想”、“书生气”,是“不现实的理想主义做派”。怒不可遏的张申府要求投票表决,结果,除了自己之外,没有一个人投他的“赞成票”。失望之极的张申府竟然拂袖而去,继而宣布“退出党组织”。尽管周恩来等人百般相劝,张申府依然我行我素、不为所动,执意退出了自己参与创立的党,酿成了一生中最大的遗憾