针对行星齿轮箱模态试验下多自由度、低频、密频的模态参数识别问题,提出一种将经验模式分解(Empirical Mode Decomposition,EMD)与能量算子(Energy Operator,EO)相结合的模态参数识别方法。为了定阶模态和满足能量算子对单分量的要求,采用EMD方法将振动信号分解成多个固有模式函数(Intrmsic Mode Fimction,IMF)。对各个IMF利用高阶能量算子估算频率,计算各IMF与原信号的相关性并根据频率判断阶次及去除虚假分量。由于阻尼比本质就是反映能量衰减,而能量算子能够追踪系统能量,结合二者提出半周期能量算子法估算模态阻尼比。分析了仿真信号和模态试验信号,并与传统方法进行对比分析,实验结果表明,该方法能有效提取行星齿轮箱各阶次的模态参数,验证了方法的有效性与可行性。