Что такое нормальное распределение случайных величин? Почему оно нормальное? Какие еще бывают ненормальные распределения?

Это такое, для которого вероятность того, что случайная величина х имеет значение, равное f(x), описывается формулой Гаусса.
Ясень пень, что раз существует одна  формула, то могут существовать и другие. И им будут соответствовать другие распределения. Самый простой случай - равномерное распределение. Для него вероятность того, что случайная величина имеет значение х, вообще не зависит от х.  Вот, скажем, вероятность того, что шарик рулетки выпадет на то или иное число, не зависит от этого числа.
Есть распределение Пуассона. Ему, в частности, подчиняется число горошин, попавших в паркетину, или капель дождя, или фотонов, попавших в ячейку матрицы.
В мат. статистике часто применяется распределение хи квадрат (да-да, оно так и называется). Распределение вида "сколько раз выпадет орёл в серии из N подбрасываний" - пример биномиального распределения.