1. zápočtový test z TI 2017, forma D

  1. Skúmame závislosť dvoch pokusov A a B. Výsledok pokusu A má 5 možností A={A1, A2, A3, A4, A5}, výsledok pokusu B má tiež 5 možností B={B1, B2, B3, B4, B5}. Pravdepodobnosti jednotlivých možností môžeme odhadnúť na základe výsledkov prieskumu, do ktorého sa zapojilo spolu 100 respondentov. Početnosti sú uvedené v nasledujúcej tabuľke:

    B1 B2 B3 B4 B5 Spolu
    A1 14 9 7 2 7 39
    A2 1 3 2 1 1 8
    A3 3 10 1 2 8 24
    A4 2 0 4 2 6 14
    A5 2 0 11 1 1 15
    Spolu 22 22 25 8 23 100

    Vypočítajte entropiu jednotlivých pokusov H(A), H(B), entropiu kombinovaného pokusu H(A^B), spoločnú informáciu oboch pokusov I(A,B) a podmienené entropie oboch pokusov H(A|B), H(B|A).

    H(A) = 2,1231
    H(B) = 2,2403
    H(A^B) = 4,0296
    I(A, B) = 0,3338
    H(A|B) = 1,7893
    H(B|A) = 1,9065

  2. Nech Z = (A*,P) je závislý stacionárny informačný zdroj, A = {1, 2, 3, 4}. Pravdepodobnosť vyslania jednotlivých znakov abecedy závisí od predchádzajúceho vyslaného znaku:

    P(Xn = 1 | Xn-1 = 1) = 0,8
    P(Xn = 2 | Xn-1 = 1) = 0,2
    P(Xn = 3 | Xn-1 = 1) = 0
    P(Xn = 4 | Xn-1 = 1) = 0
    P(Xn = 1 | Xn-1 = 2) = 0,4
    P(Xn = 2 | Xn-1 = 2) = 0,5
    P(Xn = 3 | Xn-1 = 2) = 0,1
    P(Xn = 4 | Xn-1 = 2) = 0
    P(Xn = 1 | Xn-1 = 3) = 0
    P(Xn = 2 | Xn-1 = 3) = 0,3
    P(Xn = 3 | Xn-1 = 3) = 0,6
    P(Xn = 4 | Xn-1 = 3) = 0,1
    P(Xn = 1 | Xn-1 = 4) = 0
    P(Xn = 2 | Xn-1 = 4) = 0
    P(Xn = 3 | Xn-1 = 4) = 0,7
    P(Xn = 4 | Xn-1 = 4) = 0,3

    Určte entropiu jednoznakových a dvojznakových slov H(C1), H(C2), podmienenú entropiu druhého znaku, ak poznáme prvý znak H(X2|X1) a entropiu zdroja H(Z).

    p1 = 0,5915; p2 = 0,2958; p3 = 0,0986; p4 = 0,0141
    H1 = H(C1) = 1,3840
    H2 = H(C2) = 2,3537
    H(Xn|Xn-1Xn-2...X2X1) = H(Xn|Xn-1) = H(X2|X1) = 0,9697
    H(Z) = 0,9697