基于深度神经网络并利用大规模高质量“〈文本，音频〉”语料库训练的端到端语音合成系统已能够合成出高质量的语音，因受限于语料库规模，低资源非通用语言端到端语音合成系统性能仍有待提升. 近年来，自然语言处理领域实现了利用海量无标记文本数据以弱监督方式训练语言模型，BERT等预训练的语言模型被证明显著改进了许多自然语言处理任务. 论文基于预训练语言模型探索提升印尼语端到端语音合成系统性能的方法，首先利用上下文信息拼接和词向量拼接方法将BERT预训练词向量信息嵌入语音合成系统，然后在此基础上进一步研究编码器结构对语音合成性能的影响，最后从主观和客观两方面对文中阐述的各种方法所合成的语音进行测评. 实验结果表明，新方法与基线语音合成系统相比，客观评测结果显示系统性能提升近15%，有效降低了合成语音的梅尔倒谱失真和基频帧错误率，主观评价平均意见得分达到4.15，远高于基线系统的3.72.