基于强化学习的风力涡轮机偏航偏移控制的制作方法

技术特征：
1.一种控制第一风力涡轮机（201a，201e，201i，201m）的偏航偏移（800）的方法，所述方法包括：接收（402）指示第一风力涡轮机（201a，201e，201i，201m）的当前状态和沿风向（205）在下游与第一风力涡轮机（201a，201e，201i，201m）相邻的第二风力涡轮机（201b，201f，201j，201n）的当前状态的数据；基于第一风力涡轮机（201a，201e，201i，201m）的当前状态、第二风力涡轮机（201b，201f，201j，201n）的当前状态和强化学习算法（700），确定（404）与第一风力涡轮机（201a，201e，201i，201m）的偏航偏移（800）相关联的一个或多个控制动作；以及将所确定的一个或多个控制动作应用（406）到第一风力涡轮机（201a，201e，201i，201m）。2.根据权利要求1所述的方法，其中，第一风力涡轮机（201a，201e，201i，201m）的当前状态和第二风力涡轮机（201b，201f，201j，201n）的当前状态指定以下中的一项或多项：相应风力涡轮机现场的风向（205），相应风力涡轮机现场的风速，或相应风力涡轮机的偏航偏移（800）。3.根据权利要求1或2所述的方法，其中，所述一个或多个控制动作包括将偏航偏移（800）设置在-45
°
至+45
°
的范围内。4.根据前述权利要求中任一项所述的方法，其中，所述一个或多个控制动作是基于预定义控制动作集来确定的，其中，所述预定义控制动作集中的每个控制动作与假定在第一风力涡轮机（201a、201e、201i、201m）的当前状态和第二风力涡轮机（201b、201f、201j、201n）的当前状态下确定相应的控制动作的参考奖励值相关联。5.根据权利要求4所述的方法，其中，所述一个或多个控制动作是考虑到相应的参考奖励值基于预定义控制动作集来确定的。6.根据权利要求4所述的方法，其中，所述一个或多个控制动作是使用任意选择基于预定义控制动作集来确定的。7.根据权利要求4至6中任一项所述的方法，进一步包括：在应用所确定的一个或多个控制动作时：接收与当前奖励值相关联的测量数据；执行参考奖励值和当前奖励值之间的比较；以及基于所述比较来训练强化学习算法（700）。8.根据权利要求1至3所述的方法，进一步包括：基于强化学习算法（700）的预定义价值函数，在所确定的一个或多个控制动作的所述应用的多次迭代之后，预测未来时间点的奖励值，其中所述一个或多个控制动作是考虑到预测的奖励值基于预定义控制动作集来确定的。9.根据权利要求8所述的方法，其中价值函数包括线性函数或神经网络。10.根据权利要求8或9中任一项所述的方法，进一步包括：在完成所确定的一个或多个控制动作的所述应用的多次迭代时：跨多次迭代接收与当前聚合奖励值相关联的测量数据；执行预测奖励值和当前聚合奖励值之间的比较；以及基于所述比较来训练强化学习算法（700）。
11.根据权利要求4至10中任一项所述的方法，其中，所述奖励值包括第一风力涡轮机（201a，201e，201i，201m）和第二风力涡轮机（201b，201f，201j，201n）这两者的功率输出总和。12.根据前述权利要求中任一项所述的方法，进一步包括：通过使用以下数据元组来预训练（401）所述强化学习算法（700）：风向（205）、风速、偏航偏移（800）和功率输出总和，其中所述数据元组是从沿着风向（205）彼此相邻的两个参考风力涡轮机获得的，或者是从专家知识获得的。13.根据前述权利要求中任一项所述的方法，进一步包括：接收指示沿着风向在下游与第二风力涡轮机相邻的第三风力涡轮机（201c，201g，201k，201o）的当前状态的数据；基于第二风力涡轮机（201b，201f，201j，201n）的当前状态、第三风力涡轮机（201c，201g，201k，201o）的当前状态以及强化学习算法（700）确定与第二风力涡轮机（201b，201f，201j，201n）的进一步的偏航偏移（800）相关联的控制动作；将所确定的一个或多个进一步的控制动作应用于第二风力涡轮机（201b，201f，201j，201n）。14.根据权利要求13所述的方法，其中，所述一个或多个进一步的控制动作的所述确定在所述一个或多个控制动作的所述确定之后执行。15.一种用于控制第一风力涡轮机（201a，201e，201i，201m）的偏航偏移（800）的设备（800），所述设备（800）包括一个或多个处理器（810），所述一个或多个处理器（810）被配置为：接收（402）指示第一风力涡轮机（201a，201e，201i，201m）的当前状态和沿着风向在下游与第一风力涡轮机（201a，201e，201i，201m）相邻的第二风力涡轮机（201b，201f，201j，201n）的当前状态的数据；基于第一风力涡轮机（201a，201e，201i，201m）的当前状态、第二风力涡轮机（201b，201f，201j，201n）的当前状态和强化学习算法（700），确定（404）与第一风力涡轮机（201a，201e，201i，201m）的偏航偏移（800）相关联的一个或多个控制动作；以及将所确定的一个或多个控制动作应用（406）于第一风力涡轮机（201a，201e，201i，201m）。16.根据权利要求15所述的设备（800），其中所述一个或多个处理器（810）被配置为执行权利要求1至14中任一项所述的方法。17.一种控制多个风力涡轮机（201a-201d，201e-201h，201i-201l，201m-201p）的偏航偏移（800）的方法，所述多个风力涡轮机（201a-201d，201e-201h，201i-201l，201m-201p）中的风力涡轮机沿着风向（205）按顺序布置，所述方法包括：对于所述多个风力涡轮机（201a-201d，201e-201h，201i-201l，201m-201p）中的每个风力涡轮机：接收（502）指示相应当前状态的数据；基于所述多个风力涡轮机（201a-201d，201e-201h，201i-201l，201m-201p）中的风力涡轮机的当前状态和强化学习算法（700），确定（504）与所述多个风力涡轮机（201a-201d，201e-201h，201i-201l，201m-201p）中的每个风力涡轮机的偏航偏移（800）相关联的控制动作，所述强化学习算法在单次执行中提供针对所述多个风力涡轮机中的每个风力涡轮机的
控制动作；以及将所确定的控制动作应用（506）于所述多个风力涡轮机（201a-201d，201e-201h，201i-201l，201m-201p）中的风力涡轮机。18.一种用于控制多个风力涡轮机（201a-201d，201e-201h，201i-201l，201m-201p）的偏航偏移（800）的设备（900），所述多个风力涡轮机（201a-201d，201e-201h，201i-201l，201m-201p）中的风力涡轮机沿着风向（205）按顺序布置，所述设备（900）包括一个或多个处理器（910），所述一个或多个处理器（910）被配置为：接收（502）指示所述多个风力涡轮机（201a-201d，201e-201h，201i-201l，201m-201p）中的每个风力涡轮机的相应当前状态的数据；基于所述多个风力涡轮机（201a-201d，201e-201h，201i-201l，201m-201p）中的风力涡轮机的当前状态和强化学习算法（700）来确定（504）与所述多个风力涡轮机（201a-201d，201e-201h，201i-201l，201m-201p）的偏航偏移（800）相关联的控制动作，所述强化学习算法在单次执行中提供针对所述多个风力涡轮机中的每个风力涡轮机的控制动作；以及将控制动作应用（506）于所述多个风力涡轮机（201a-201d，201e-201h，201i-201l，201m-201p）中的风力涡轮机。

技术总结
公开了用于基于强化学习来控制上游风力涡轮机的偏航偏移的方法、系统和设备。所述方法包括接收指示第一风力涡轮机的当前状态和沿着风向在下游与第一风力涡轮机相邻的第二风力涡轮机的当前状态的数据，基于第一风力涡轮机的当前状态、第二风力涡轮机的当前状态和强化学习算法确定与第一风力涡轮机的偏航偏移相关联的一个或多个控制动作，以及将所确定的一个或多个控制动作应用于第一风力涡轮机。的一个或多个控制动作应用于第一风力涡轮机。的一个或多个控制动作应用于第一风力涡轮机。


技术研发人员：B
受保护的技术使用者：西门子歌美飒可再生能源公司
技术研发日：2020.08.03
技术公布日：2022/4/13