وكان يعزل ولاته للشبهات، كان عمر يتبع سياسة العزل حتى للشبهات من قبيل الاحتياط، فقد شكت طائفة من العراق سعد بن أبي وقاص الصحابي الجليل بأن قالت: إنه لا يقسم بالسوية ولا يعدل في القضية ولا يغزو في السرية فعزله، كما عزل للشبهة كلًّا من خالد بن الوليد وأبا موسى الأشعري والمثنى بن حارثة وغيرهم لغير سبب من أسباب الشكاية أو القصاص وإنما لشبهة عرضت، فكان من رأيه البعد عن الشبهات لسلامة الدولة، فلقد كانت سنّة عمر إذا ثبتت شبهة التصرف في مال المسلمين أن يصادر المال الذي ظفر به أو يقاسمه فيما زاد على الكسب المعقول فيترك له النصف ويضم النصف الآخر إلى بيت المال، هذا بالإضافة إلى ما يجريه عليه من عزل أو عقاب.
وكان هناك له مكتب خاص يشبه جهاز المخابرات، فقد كانت طريقة عمر في الإدارة إطلاق الحرية للعامل في الشئون المحلية وتقييده في المسائل العامة ومراقبته في سلوكه وتصرفاته، وكان له جهاز سريّ مربوط به لمراقبة أحوال الولاة والرعية، وقد بينت لنا المصادر التاريخية أن ما يشبه اليوم المخابرات كان موجودًا عند عمر،
٧٠٠