1. zápočtový test z TI 2013, forma I

  1. Skúmame závislosť dvoch pokusov A a B. Výsledok pokusu A má 4 možnosti A={A1, A2, A3, A4}, výsledok pokusu B má 3 možnosti B={B1, B2, B3}. Pravdepodobnosti jednotlivých možností môžeme odhadnúť na základe výsledkov prieskumu, do ktorého sa zapojilo spolu 100 respondentov. Početnosti sú uvedené v nasledujúcej tabuľke:

    B1 B2 B3 Spolu
    A1 15 13 7 35
    A2 4 10 1 15
    A3 7 20 2 29
    A4 3 0 18 21
    Spolu 29 43 28 100

    Vypočítajte entropiu jednotlivých pokusov H(A), H(B), entropiu kombinovaného pokusu H(A^B), spoločnú informáciu oboch pokusov I(A,B) a podmienené entropie oboch pokusov H(A|B), H(B|A).

  2. Nech Z = (A*,P) je závislý stacionárny informačný zdroj, A = {1, 2, 3}. Pravdepodobnosť vyslania jednotlivých znakov abecedy závisí od predchádzajúceho vyslaného znaku:

    P(Xn = 1 | Xn-1 = 1) = 0,8
    P(Xn = 2 | Xn-1 = 1) = 0,2
    P(Xn = 3 | Xn-1 = 1) = 0
    P(Xn = 1 | Xn-1 = 2) = 0,2
    P(Xn = 2 | Xn-1 = 2) = 0,7
    P(Xn = 3 | Xn-1 = 2) = 0,1
    P(Xn = 1 | Xn-1 = 3) = 0
    P(Xn = 2 | Xn-1 = 3) = 0,3
    P(Xn = 3 | Xn-1 = 3) = 0,7

    Určte entropiu jednoznakových a dvojznakových slov H(C1), H(C2), podmienenú entropiu druhého znaku, ak poznáme prvý znak H(X2|X1) a entropiu zdroja H(Z).