Решение:

1) Пусть BC=х, АВ = х+6, х>0

по т. Пифагора ( ∠В = 90° )

12²=х²+(х+6)²

144=х²+х²+12х+36

2х²+12х+36-144=0

2х²+12х-108=0   I :2

х²+6х-54=0

k=6/2=3

D1=k²- ac = 9-1*(-54) = 9+54 = 63

х1 = -3 - √63 ( не подходит т.к ВС<0 )

х2 = -3 + √63 ≅ -3+8 = 5 ( меньший катет )

AB = х+6 = -3 + √63 + 6 =3+√63 ≅ 3+8 = 11

Ответ: -3 + √63