В полушар радиуса R = 8 вписана правильная треугольная призма так, что одно ее основание принадлежит плоскому основанию полушара, а все вершины другого основания призмы расположены на сферической поверхности полушара. Укажите наибольший объем такой призмы.
Какая теория нужна, чтобы её решить?

Нужно уметь находить наибольшее значение функции на промежутке.
Ищем максимум объёма призмы. За параметр можно взять, например,  t = cosα; где α — угол между осью призмы и радиусом из вершины верхнего основания (см. рис.).
h = R·cosα  = Rt; r² = R²·sin²α = R²(1 − t²);
V(t) = ⅓·Sh = ⅓·(3·½·r²·sin120°)·R�t = R³√3·t(1 − t²)/4.
V'(t) = 0 при t = 1/√3 — точка максимума; 
Значит,
Vmax(t) = V(1/√3) = R³/6.
                                                                              

Наибольший объем призмы будет при оптимальном соотношении длины стороны основания треугольной призмы и её высоты.Эту длину надо рассматривать как хорду в окружности.При малой её величине высота призмы больше и напротив,при росте длины высота будет уменьшаться.
При стороне 12 и высоте 5 (высота в секторе круга при длине хорды 12 будет 3 => 8-3=5 ) это вроде большее значение ( даные из интернет калькулятора ).Площадь основания призмы получится
S=[3]а²/4,где [3] корень из 3 и а = 12.
S=62,35.Определим объем 62,35×5 = 311,77.