Система такая:
{ x^2 = 17x + y
{ y^2 = 17y + x
Требуется найти значение выражения: √(x^2 + y^2 + 1) при условии: x ≠ y.
Я не прошу решать эту задачу. Вопрос в другом!
Мы видим, что уравнения симметричны относительно переменных.
И первое, что приходит в голову - это как раз заменить y на x и решить уравнение:
x^2 = 18x
Внимание, вопрос: существуют ли вообще решения, при которых x ≠ y?

Можно, например, вот так решать, там все раскладывается хорошо
                                                                              

Для оценки вопроса можно воспользоваться графическим методом. Мы видим два подобных квадратных уравнения. Одно относительно х, другое относительно y.
y = x² - 17x (1)
x = y² - 17y (2)
Соответсвенно можно схематично построить уравнение (1) будет парабола
1) a>0 ветви вверх
2) вершина параболы х = -b/2a = 17/2 = 8,5; y = 8,5² - 17•8,5 = (17/2)•(-17,2) = -289/4 = -72,25
3) нули функции y = 0 при х = 0 и х = 17
Аналогично строим уравнение (2), только поворотом на 90°, то есть относительно х от y
Получим две симметричные параболы относительно прямой  y=x
Видим, что решением будут точки пересечения. А их всего 4
Две из них будут при равенстве y = x (лежать на оси симметрии)
Находятся очевидно сразу подстановкой х = y
x² = 17x + x = 18x
x²-18x = 0
x(x-18) = 0
x = y = 0 и x = y = 18
Ну а два других корня найдем путем решения системы подстановкой одного уравнения в другое
в результате
получим уравнение 4-й степени относительно х с четырьмя корнями.
x⁴ - 34x³ + 272x² + 288x  = 0
Вынесем х (это будет корень х=0)
х( x³ - 34x² + 272x + 288) = 0
Останется многочлен 3 степени. Разделим его (вынесем множитель) на второй корень (х-18)=0
Получим
(х-18)•(х² - 16х - 16) = 0
Осталось решить квадратное уравнение
х² - 16х - 16 = 0
D = 256 + 64 = 320
x₃ = 8-4√5 ≈ -0,944
x₄ = 8+4√5 ≈ 16,944
Соответсвенно
y₃ = 8+√5 (симметрично) но можно подставить и посчитать
y₄ = 8 - 4√5
Осталось посчитать требуемое выражение √(x² + y² + 1)
подставляем х₃ и y₃
√(8-4√5)² + (8+4√5)² + 1 =
= √(64 -8√5 + 80 + 64 + 8√5 + 80 + 1) =
= √289 = 17

Да, существуют решения, при которых x ≠ y. Рассмотрим два случая:
1) Если x = 0, то из первого уравнения получаем y = 0. Но в этом случае x = y, что противоречит условию. Значит, x ≠ 0.
2) Если x ≠ 0, то из первого уравнения получаем y = x^2 - 17x. Подставим это выражение во второе уравнение:
(y^2) = 17(y) + x
(x^2 - 17x)^2 = 17(x^2 - 17x) + x
(x^4 - 34x^3 + 289x^2) = 17x^2 - 289x + x
x^4 - 34x^3 + 289x^2 - 17x^2 + 289x - x = 0
x^4 - 34x^3 + 272x^2 + 288x = 0
x(x^3 - 34x^2 + 272x + 288) = 0
Получили кубическое уравнение относительно x. Решение этого уравнения может дать нам значения x, при которых x ≠ 0. Если найдем такие значения x, то сможем найти соответствующие значения y = x^2 - 17x.
Таким образом, чтобы найти значения x и y, при которых x ≠ y и удовлетворяющие системе уравнений, необходимо решить кубическое уравнение x^3 - 34x^2 + 272x + 288 = 0.

x(x^3 - 34x^2 + 272x + 288) = 0
корни 0 и 18
далее делим на x и x-18
(x^3 - 34x^2 + 272x + 288):(x-18)=x2 - 16x - 16
Решаем получаем:
То есть если x=8+4√5 и  x=8-4√5, то y=8-4√5 и 8+ x=8+4√5 соответственно.
√(x2+y2+1)=√(128+160+1)=17
Хотя, судя по ответу должно быть более элегантное решение.
(y-9)^(2)+(x-9)^(2)=2*9^2

Не надо шаманства. Во втором уравнении выражаем Х через У и подставляем в первое. А дальше  раскрываем скобки решаем биквадратное уравнение относительно У