Предполагая известной формулу для площади равностороннего треугольника через длину его стороны (S = a^2*sqrt(3)/2) можно сразу определить минимальное \(\frac{a^2\sqrt{3}}{\ \ \ \ 2}\)  и максимальное \(\frac{b^2\sqrt{3}}{\ \ \ \ 2}\)  значения площади.

По условию, длина стороны треугольника распределена равномерно, но площадь треугольника меняется квадратично. 

Самое важное в этой задаче - понять, что функция плотности распределения вероятности f(x) может быть использована при вычислении математического ожидания M(x) по формуле \(M\left(x\right)\ =\ \ \int_a^bx\cdot f\left(x\right)dx\ =\ \frac{\sqrt{3}}{\ \ 2}\int_a^bx^3dx\ =\) 

Надеюсь, то, что первообразной для функции x в кубе будет \(\frac{x^4}{4}\)подробно объяснять не нужно? Далее по формуле Ньютона -Лейбница можно получить ответ \(\frac{\sqrt{3}}{\ 8}\left(b^4-a^4\right)\)