Единица информации – один бит – равна выбору одного из двух равновероятных событий, например, выпадению орла или решки. Но если монета встанет на ребро – что маловероятно, но не исключено полностью – то это произведет сенсацию, и емкость информации вырастет на величину, обратно пропорциональную вероятности события.