وكان أبو عبيدٍ في أوَّل أمره يؤدِّب غلامًا في شارع بشر وبشير، ثم صار مؤدِّبًا لأولاد هرثمة بن أعين، أحد ولاة الخليفة العباسي هارون الرشيد كان واليًا على خراسان، ثم ولاَّه الرشيد على بلاد أفريقيا سنة ١٧٧ هـ (١) .
فعند ذلك اتَّصلَ بثابتِ بن نصر بن مالك الخز اعي، فصار يؤدّب أولاده، ثُمَّ وُلِّي ثابتٌ طرسوس ثماني عشرة سنةً، فولَّى أبا عبيد القضاءَ بطرسوس ثماني عشرة سنةً، فاشتغل عن كتابة الحديث.
ثمَّ صار إلى ناحية عبد الله بن طاهر، واتصاله بالطاهريين كان لمّا نزل طاهر بن الحسين إلى مرو سنة ١٩٥ هـ طلب رجلًا ليحدِّثه ليلةً، فقيل له: ما هاهنا إلا رجلٌ مؤدِّبٌ، فأُدخل عليه أبو عبيد القاسم بن سلاَّم، فوجده أعلم الناس بأيام النَّاس، والنحو، واللغة، والفقه، فقال له: من المظالم تركك أنت بهذا البلد، فدفع إليه ألف دينار، وقال له: أنا متوجِّهٌ إلى خراسان إلى حربٍ، وليس أحدث أنّ أستصحبك شفقًا عليك، فأنفق هذا إلى أن أعود إليك، فًبدأ أبو عبيد بتأليف الغريب المصنف إلى أن عاد طاهر بن الحسين من خراسان، فحمله معه إلى سُرَّ مَنْ رأى، فمن ذلك اليوم قويت صلتُه مع الطاهريين، وكانَ طاهر بن عبد الله يودُّ أنْ يأتيه أبو عبيدٍ ليسمع منه كتابَ «غريب الحديث»في منزله، فلم يفعلْ ذلك إجلالًا لحديث رسول الله ﷺ، فكان هو يأتيه.
٣٧ / ١٨