a принадлежит (3п/2;2п).

Вот ваше уравнение (если я правильно понял)
cosA = sqrt(21)/5 = 0,2*sqrt(21). (1)
Где sqrt обозначает квадратный корень (произошло от английских слов square root – квадратный корень). Так обычно пишут в Интернете, если сайт не воспринимает греческие буквы и математические знаки, которых нет на клавиатуре. Вспомним самую главную формулу из тригонометрии
sin^2(A) + cos^2(A) = 1. (2)
Где значок ^ означает возведение в степень. Например, 4^2 = 16. То есть сумма квадратов синуса и косинуса одного и того же угла равна 1. Из уравнений (2) и (1) имеем
sin^2(A) = 1 - cos^2(A) = 1 – 0,04*21 = 1 – 0,84 = 0,16. (3)
Отсюда получаем два ответа: 1) sin(A) = 0,4 и 2) sin(A) = -0,4. Так как корень из 0,16 имеет 2 значения, положительное и отрицательное. В задаче сказано, что наш угол лежит в четвертой четверти в промежутке углов от 3п/2 до 2п (или от 0 до –п/2). Здесь п – греческая буква Пи. Пи = 3,1416. А здесь синус отрицательный. Значит, остается один ответ sin(A) = -0,4.