المحكات والصدق
• هل يمكن تحقيق المحكات المقترحة غير أن المؤدي مع ذلك يُظهر فهما لما أداه؟
إذا كانت إجابتك على أي من السؤالين هي «نعم»، عندئذ، فإن المحكات والمقياس المقترح ليسا جاهزين بعد لتقديم استنتاجات تتسم .
بالصدق.
الموثوقية : ثقتنا بالنمط Reliability: Our Confidence in the pattern
إن إجراء نقاش حول ملاءمة أدلة التقويم مسألة حيوية، لكن ذلك ليس كافيًا. فنحن لا نحتاج فقط إلى استنتاج يتسم بالصدق بل يتصف أيضاً بأنه جدير بالثقة. إننا نحتاج لأن نكون واثقين من أن النتيجة تعكس نمطًا. ربما كانت أخطاء «جوزيه» التسعة من مجموع (٢٠) إجابة ستصبح (۹) من مجموع (٥۰) إجابة لو أعطي اختبارًا آخر في اليوم التالي. قد يكون الاختبار المقترح مناسبًا، غير أن نتيجة واحدة فيه ليست موثوقة أو شاذة. وهذه هي مشكلة الموثوقية والسبب الذي جعلنا نؤيد في الفصل السابع وجود سجل من الأدلة في مقابل دليل واحد فقط.
انظر في فريقك الرياضي المفضل الفائز لتدرك مشكلة الموثوقية. إن أداء هذا الفريق في المباريات هو بالتأكيد مقياس مناسب يؤثر على إنجازه. فنتائج المباريات تعطي استنتاجات تتسم بالصدق بخصوص الإنجاز في الرياضة، بحسب التعريف. غير أن نتيجة مباراة واحدة قد لا تمثل الواقع انظر في أي ليلة لقي فيها الفريق هزيمة من قبل فريق ضعيف تاريخيًا. تلك النتيجة ستكون غير عادية - غير موثوقة - عندما تكون لدينا نتائج عديدة، لأن الفريق قدم أداء جيدا تماما طوال الموسم. وعليه، فإن التقويمات الموثوقة تكشف نمطا معقولا، اتجاها واضحًا. لاحظ، من فضلك، أن اتفاق عدة محكّمين أو مقوّمين معا على تقويم معين هو مشكلة مختلفة، يطلق عليها عادة موثوقية متعددة المصدر». في تلك الحالة، نريد أحكام محكمين متعددين كي نشكل نمطا متسقا، غير أن أولئك المحكمين المتعددين قد لا يقومون
۲۹۳
الجزء 1 — ص ٢٩٣