У тебя задача сама в общем сломанная.

В условии:

640 * 480

В дано:

K = 640 * 480

В формулaх:

N = 2^i

I = K * i

В решении:

65536 = 2^i, i = 16

I = 640 * 480 * 16 = 2^6 * 10 * 2^4 * 30 * 2^4 = 300 * 2^14 (битов) = 300 * 2^11 (байтов) = 600 (Кбайт)