Lời giải:TXĐ: \(D = \mathbb{R}\). Ta có: \(y' = {x^2} - 2\left( {m + 1} \right)x + {m^2} + 2m\).
Để hàm số nghịch biến trên khoảng \(\left( { - 1;1} \right)\) thì \(y' \le 0\,,\,\forall x \in \left( { - 1;1} \right)\)
\( \Leftrightarrow {x^2} - 2\left( {m + 1} \right)x + {m^2} + 2m \le 0\) với \(\forall x \in \left( { - 1;1} \right)\).
Đặt \(f\left( x \right) = {x^2} - 2\left( {m + 1} \right)x + {m^2} + 2m\).
Để \(f\left( x \right) \le 0\,\,\forall x \in \left( { - 1;1} \right)\) thì phương trình \(f\left( x \right) = 0\) phải có 2 nghiệm phân biệt \({x_1},\,\,{x_2}\) thỏa mãn \({x_1} \le - 1 < 1 \le {x_2}\). Khi đó ta có:
\(\left\{ \begin{array}{l}\Delta ' > 0\\{x_1} \le - 1 < {x_2}\\{x_1} < 1 \le {x_2}\end{array} \right.\)\( \Leftrightarrow \left\{ \begin{array}{l}{\left( {m + 1} \right)^2} - {m^2} - 2m > 0\\{x_1} + 1 \le 0 < {x_2} + 1\\{x_1} - 1 < 0 \le {x_2}\end{array} \right.\) \( \Leftrightarrow \left\{ \begin{array}{l}1 > 0\\\left( {{x_1} + 1} \right)\left( {{x_2} + 1} \right) \le 0\\\left( {{x_1} - 1} \right)\left( {{x_2} - 1} \right) \le 0\end{array} \right.\) \( \Leftrightarrow \left\{ \begin{array}{l}{x_1}{x_2} + \left( {{x_1} + {x_2}} \right) + 1 \le 0\\{x_1}{x_2} - \left( {{x_1} + {x_2}} \right) + 1 \le 0\end{array} \right.\,\,\,\left( * \right)\)
Áp dụng định lí Vi-ét ta có: \(\left\{ \begin{array}{l}{x_1} + {x_2} = 2\left( {m + 1} \right)\\{x_1}{x_2} = {m^2} + 2m\end{array} \right.\).
Khi đó \(\left( * \right) \Leftrightarrow \left\{ \begin{array}{l}{m^2} + 2m + 2\left( {m + 1} \right) + 1 \le 0\\{m^2} + 2m - 2\left( {m + 1} \right) + 1 \le 0\end{array} \right.\) \( \Leftrightarrow \left\{ \begin{array}{l}{m^2} + 4m + 3 \le 0\\{m^2} - 1 \le 0\end{array} \right.\) \( \Leftrightarrow \left\{ \begin{array}{l} - 3 \le m \le - 1\\ - 1 \le m \le 1\end{array} \right. \Leftrightarrow m = - 1\).
Vậy \(S = \left\{ { - 1} \right\}.\)
