Не систему уравнений

Уравнение типа такого
x^2+5y^2+4xy+2y+1 = 0
Задает какую-то фигуру второго порядка - окружность, эллипс, гиперболу или параболу.
Чтобы понять, какую именно фигуру, нужно избавиться от слагаемого xy. Это делается заменой
x = x'*cos a - y'*sin a
y = x'*sin a + y'*cos a
Здесь а - это угол поворота осей координат.
Получаем
(x'*cos a - y'*sin a)^2 + 5(x'*sin a + y'*cos a)^2 + 4(x'*cos a - y'*sin a)(x'*sin a + y'*cos a) + 2(x'*sin a + y'*cos a) + 1 = 0
Раскрываем скобки, потом выделяем слагаемые x'*y' и приравниваем коэффициент к 0.
Отсюда находим угол а и подставляем его во всё уравнение.
Получаем одно из таких 5 уравнений:
1) A(x' - x0)^2 + A(y' - y0)^2 = С. Заметьте, перед x' и y' одинаковые коэффициенты А. Это окружность.
2) A(x' - x0)^2 + B(y' - y0)^2 = С. Перед x' и y' коэффициенты разные. Это эллипс.
3) A(x' - x0)^2 - B(y' - y0)^2 = С =/= 0. Это гипербола.
4) A(x' - x0)^2 - By' = 0 ИЛИ Ax' - B(y' - y0)^2 = 0. Только одна переменная в квадрате. Это парабола.
5) A(x' - x0)^2 ± B(y' - y0)^2 = 0. Это одна точка (x0, y0), независимо от знака - плюс или минус.
Если получится что-то другое, то это мнимая фигура, которая решений не имеет.
Но я подозреваю, что тебе нужно совершенно другое, а именно - целые пары решений уравнения.
Это делается совершенно другими методами, погугли "диофантовы уравнения".