Если это формула сокращённого умножения, то как она выводится? А если нет, то как доказать это равенство?

Я пошла другим путём, но он меня никуда не привёл. Копирую условие.
a^2+b^2+1-ab-a-b=(a-b-1)^2
Раскладываю квадрат справа от равно.
(a-b-1)(a-b-1)= a^2-ab-a -ab+b^2+b -a+b+1 = a^2-2ab+b^2-2a+2b+1
Восстанавливаю обе стороны.
a^2+b^2+1-ab-a-b = a^2-2ab+b^2-2a+2b+1
Удаляю одинаковые значения. У меня получается...
-ab-a-b = -2ab-2a+2b
Результат.
0 = -ab-a-b
Этого не может быть или я ошиблась. А может всё таки ошибка в задаче?

Выводятся подобные формулы путём группировки суммы трёх слагаемых и приведением к сумме двух слагаемых: a-b-1 = (a-b)-1. А дальше применяем простую формулу для квадрата суммы/разности:
[(a-b)-1]^2=(a-b)^2-2*(a-b)*1+1^2=a^2-2ab+b^2-2(a-b)+1=a^2+b^2+1-2(ab+a-b).
Как видим, в приведённом Вами равенстве ошибка: вместо -ab-a-b должно быть -2(ab+a-b).