n
n=
k
تأمل متسلسلة ماركوف 101,000 = Xn, n تعرف ( بانها عدد مرات المرور في الحالة خلال الانتقالات الاولى لأية حالة ولكل 100 = n بصورة ادق (n) تساوي عدد ( الاعداد الصحيحة التي تحقق on 1 = X نطلق عليها بزمن التواجد occupation للحالة خلال الانتقالات الاولى " يطلق على المتغير العشوائي
(4.1)
(N (nغا = ( )N
بانه زمن التواجد الكلي للحالة 1
من المناسب تمثيل ازمنة التواجد على شكل مجموع من المتغيرات العشوائية . نعرف لكل حالة ولكل . = n مايلي :
(4.2)
Zx (n) = 1
if
Xn = k, = 0 if X #k.
بعبارة اخرى (7) تساوي 1 أو صفراً حسب وجود المتسلسلة في الزمن في
. بامكاننا أن نكتب مايلي :
Nk (n) = Σ ZÂ (m),
m=1
N1(∞)=Σ Z (m).
M=1
k
الحالة
(4.3)
(4.4)
نعرف بعد ذلك الاحتمالات الاتية لكل من حالتي ز
(4.5)
(4.6)
k
fj,k= P[Nk (∞) > 0 | Xo = j],
9j,k = P[Nk (∞ ) = ∞ | Xo = j].
k
اذا عبارة
بعبارة اخرى . عبارة عن الاحتمال الشرطي لكل مرور في الحالة علمت ان المتسلسلة الماركوفية في البداية كانت عند الحالة و بينما عن الاحتمال الشرطي للمرور غير المنتهي في الحالة : اذا علمت ان المتسلسلة الماركوفية كانت في البداية عند الحالة 1
من الممكن ان تكون الاحتمالات في المعادلتين 4.5 غير معرفة لان 0 = [PIX, = j. نعني في الحقيقة بالمعادلتين 4.5 4.0 كما يلي :
fj,kP[Nk (∞) − Nk (m) > 0 | Xm=j],
9j,k= P[Nk (∞) — NẴ (m) = ∞ | Xm = j],
لجميع قيم . ان الكميات في المعادلتين 4.7 1.8 مستقلة عن قيم التي
۲۷۱
(4.7)
(4.8)
ص ٢٧١