Функции двух переменных - это не школьные знания)))

Найдите частные производные у по х и х по у и обе приравняйте к нулю.

Если счтать х постоянной, то производная будет иметь вид 2х - 4у

Если у считать постоянной, производная будет иметь вид 2у - 6х.

Решение этой системы (0;0) - точка экстремума.