(1)∵四边形 是平行四边形∴|OF|=|PM|=c
作双曲线的右准线交PM于H,则|PM|=|PH|+2a^2/c
又e=|PF|/|PH|=λ|OF|/(c-2a^2/c)=λc/(c-2a^2/c)=
λc^2/(c^2-2a^2)=λe^2/(e^2-2)
∴e^2-λe-2=0
(2)当λ=1时,e=2,c=2a,b^2=3a^2 ,双曲线为x^2/4a^2-y^2/3a^2=1,四边形OFPM是菱形,所以直线OP的斜率为√3 ,则直线AB的方程为
y=√3(x-2a)代入到双曲线方程得:9x^2 -48ax+60a^2=0
又因为|AB|=12,|AB|=√(1+k^2)*√[(x1+x2)^2-4x1*x2]得
12=√[(48a/9)^2-240a^2/9].解得:a^2=9/4,b^2=27/4
所以双曲线方程为:4x^2/9-4y^2/27=1