Lời giải:ĐK: - 1 < x < 5, y khác 4. Ta có:
\(\begin{array}{l}
{\log _{\sqrt 3 }}\left( {{y^2} + 8y + 16} \right) + {\log _2}\left[ {\left( {5 - x} \right)\left( {1 + x} \right)} \right] = 2{\log _3}\frac{{5 + 4x - {x^2}}}{3} + {\log _2}{\left( {2y + 8} \right)^2}.\\
\Leftrightarrow 2{\log _3}\left( {{y^2} + 8y + 16} \right) - 2{\log _3}\left( {5 + 4x - {x^2}} \right) = {\log _2}\left( {{y^2} + 8y + 16} \right) - {\log _2}\left( {5 + 4x - {x^2}} \right)\\
\Leftrightarrow \left( {{{\log }_3}4 - 1} \right).{\log _2}\left( {{y^2} + 8y + 16} \right) = \left( {{{\log }_3}4 - 1} \right).{\log _2}\left( {5 + 4x - {x^2}} \right)
\end{array}\)
\( \Leftrightarrow {y^2} + 8y + 16 = 5 + 4x - {x^2}\) (vì hàm \(f\left( t \right) = \left( {{{\log }_3}4 - 1} \right).{\log _2}t\) đồng biến trên \(\left( {0; + \infty } \right)\)).
\(\begin{array}{l}
\Rightarrow {\left( {{x^2} + {y^2} + 11} \right)^2} = {\left( {4x - 8y} \right)^2} \le 80\left( {{x^2} + {y^2}} \right)\\
\Rightarrow {\left( {{x^2} + {y^2}} \right)^2} - 58\left( {{x^2} + {y^2}} \right) + 121 \le 0\\
\Rightarrow 29 - 12\sqrt 5 \le {x^2} + {y^2} \le 29 + 12\sqrt 5 \\
\Rightarrow \sqrt {29 - 12\sqrt 5 } \le \sqrt {{x^2} + {y^2}} \le \sqrt {29 + 12\sqrt 5 }
\end{array}\).
Đặt \(a = \sqrt {29 - 12\sqrt 5 } ,b = \sqrt {29 + 12\sqrt 5 } \) , ta có: \(\mathop {\max }\limits_{\left[ {a;b} \right]} {\mkern 1mu} P = \max \left\{ {\left| {a - m} \right|,\left| {b - m} \right|} \right\}\).
Do đó, \(\mathop {\max }\limits_{\left[ {a;b} \right]} {\mkern 1mu} P \le 10 \Leftrightarrow \left\{ \begin{array}{l}
\left| {a - m} \right| \le 10\\
\left| {b - m} \right| \le 10
\end{array} \right. \Leftrightarrow \left\{ \begin{array}{l}
a - 10 \le m \le a + 10\\
b - 10 \le m \le b + 10
\end{array} \right. \Rightarrow b - 10 \le m \le a + 10\).
Vì \(m \in Z\) nên \(S = \left\{ { - 2; - 1;0;1;2;3;4;5;6;7;8;9;10;11} \right\}\).
Vậy số tập con không phải là tập rỗng của tập S là \({2^{14}} - 1 = 16383\).
