(1)解方程x2-10x+16=0得x1=2,x2=8,
∵点B在x轴的正半轴上,点C在y轴的正半轴上,且OB<OC,
∴B、C三点的坐标分别是B(2,0)、C(0,8),
将A(-6,0)、B(2,0)、C(0,8)代入表达式y=ax2+bx+8,0=36a-6b+80=4a+2b+8解得a=-23b=-83
∴所求二次函数的表达式为y=-23x2-83x+8;
(2)∵AB=8,OC=8,依题意,AE=m,则BE=8-m,
∵OA=6,OC=8,∴AC=10.
∵EF∥AC,∴△BEF∽△BAC.
∴EFAC=BEAB.即EF10=8-m8.∴EF=40-5m4.
过点F作FG⊥AB,垂足为G,则sin∠FEG=sin∠CAB=45.
∴FGEF=45.∴FG=45•40-5m4=8-m.
∴S=S△BCE-S△BFE=12(8-m)×8-12(8-m)(8-m)=12(8-m)
(8-8+m)=12(8-m)m=-12m2+4m.
自变量m的取值范围是0<m<8.
(3)存在.理由如下:
∵S=-12m2+4m=-12(m-4)2+8,且-12<0,
∴当m=4时,S有最大值,S最大值=8.
∵m=4,∴点E的坐标为(-2,0)
∴△BCE为等腰三角形.
(其它正确方法参照给分)