OPRO(Optimization by PROmpting)是Google DeepMind研究者在2023年的论文《Large Language Models as Optimizers》中提出的优化方法。它用自然语言描述待优化的问题,把此前得到的解及其得分写入元提示词交给语言模型,让模型生成得分更高的新解;新解经过评估后再加入元提示词,如此反复迭代。
其最具代表性的用途是提示词优化,即让模型自行寻找能提高任务准确率的指令。该方法不计算梯度,只依赖模型输出和得分,因此也适用于只能通过API访问的模型。