就在这段时间内，希特勒、戈林和希姆莱等人同以罗姆为首的冲锋队之间的矛盾日趋尖锐。戈林不得不同希姆莱等人妥协，于1934年4月同他们达成协议，同意由中央内政部统一指挥全国的警察力量，由希姆莱担任普鲁士州盖世太保督察员，海德里希任普鲁士州秘密警察处处长。希姆莱和海德里希立即利用这一机会，在州秘密警察处内设立州政治警察司令中央办公室，负责具体协调全国各州警察工作和秘密警察计划。一时间，全国的政治警察（在普鲁士州是盖世太保）之间似乎已经结成较为紧密的关系。
不久，事情又出现反复。希姆莱提升党卫队地位和加强其作用的举措引起弗里克的担忧。1935年底，弗里克向希特勒提交了一份篇幅较长的备忘录，对党卫队和盖世太保脱离内政部控制以及它们采取的一系列不当措施提出抱怨。这一行动得到各州内政部的呼应。普鲁士内政部趁机于1936年2月10日颁布《盖世太保法》，其中承认柏林的盖世太保总部是全州盖世太保的最高领导机构，但规定地方盖世太保指挥部必须同时接受同级内政机关的控制，盖世太保首领在颁布命令前必须获得州内政部长的同意。