1. a 2. zápočtový test z TI 2015, forma H

  1. Skúmame závislosť dvoch pokusov A a B. Výsledok pokusu A má 3 možnosti A={A1, A2, A3}, výsledok pokusu B má 5 možností B={B1, B2, B3, B4, B5}. Pravdepodobnosti jednotlivých možností môžeme odhadnúť na základe výsledkov prieskumu, do ktorého sa zapojilo spolu 100 respondentov. Početnosti sú uvedené v nasledujúcej tabuľke:

    B1B2B3B4B5Spolu
    A1161114133
    A26128421
    A3248181446
    Spolu2416113019100

    Vypočítajte entropiu jednotlivých pokusov H(A), H(B), entropiu kombinovaného pokusu H(A^B), spoločnú informáciu oboch pokusov I(A,B) a podmienené entropie oboch pokusov H(A|B), H(B|A).

    H(A) =
    H(B) =
    H(A^B) =
    I(A, B) =
    H(A|B) =
    H(B|A) =

  2. Nech Z = (A*,P) je závislý stacionárny informačný zdroj, A = {1, 2, 3}. Pravdepodobnosť vyslania jednotlivých znakov abecedy závisí od predchádzajúceho vyslaného znaku:

    P(Xn = 1 | Xn-1 = 1) = 0,7
    P(Xn = 2 | Xn-1 = 1) = 0,3
    P(Xn = 3 | Xn-1 = 1) = 0
    P(Xn = 1 | Xn-1 = 2) = 0,3
    P(Xn = 2 | Xn-1 = 2) = 0,6
    P(Xn = 3 | Xn-1 = 2) = 0,1
    P(Xn = 1 | Xn-1 = 3) = 0
    P(Xn = 2 | Xn-1 = 3) = 0,4
    P(Xn = 3 | Xn-1 = 3) = 0,6

    Určte entropiu jednoznakových a dvojznakových slov H(C1), H(C2), podmienenú entropiu druhého znaku, ak poznáme prvý znak H(X2|X1) a entropiu zdroja H(Z).

    p1 = ..., p2 = ..., p3 = ...
    H1 = H(C1) =
    H2 = H(C2) =
    H(Xn|Xn-1Xn-2...X2X1) = H(Xn|Xn-1) = H(X2|X1) =
    H(Z) =


  3. Nájdite najkratší kód a určte jeho dĺžku pre stacionárny nezávislý zdroj Z = (A*,P), A = {a, b, c, d, e, f, g, h, i, j}. Porovnajte dĺžku kódu s entropiou zdroja H(Z)

    zp(z)
    a0,059
    b0,171
    c0,142
    d0,074
    e0,057
    f0,169
    g0,046
    h0,057
    i0,004
    j0,221
  4. Nech G=

    100011010
    010011111
    001000111
    000110101

    je generujúca matica lineárneho (9,4) kódu K. Určte minimálnu vzdialenosť kódu K (delta K). Koľkonásobné chyby dokáže takýto kód objaviť a koľkonásobné opraviť?

  5. Nech w =

    (1,1,1,1,0,1,0,0,0)T

    je prijaté slovo. Dekódujte (opravte) toto slovo podľa lineárneho kódu z predchádzajúcej úlohy.