Cro-MTVITS: An End-to-End Cross-Lingual Speech Synthesis Model for Mandarin and Multi-Dialect Tibetan

Intral-Lingual Speech Synthesis

Ground Truth	VITS-Baseline	Cro-MTVITS
Lhasa Text：བྱ་ཤ་སྲེག་པ་གནད་ལ་ཕོག
Lhasa Text：རྨི་ལམ་གྱི་ཞིང་ཁམས་འགྲིམ།
Kham Text：ཁོང་གཞུང་ལམ་བརྒྱུད་ནས་ཡོང་།
Kham Text：གཞུང་གི་རླངས་འཁོར་དེ་བཀག་མ་སོང་།
Amdo Text：ཁྱེད་ཚོར་འབྲེལ་ཡོད་ཀྱི་འཛིན་ཤོག་ཚང་མ་སྤྲད་སོང་།
Amdo Text：ཁྱེད་རང་སྔོན་ལ་ཞིབ་བཤེར་ཞིག་བྱེད།
Mandarin Text：在三年时间内，通过科学的饮食和运动。
Mandarin Text：在球网前站好。

Cross-Lingual Speech Synthesis

ReferenceSpeaker	Ground Truth	VITS-Baseline	Cro-MTVITS
Lhasa Speaker	Mandarin Text：在三年时间内，通过科学的饮食和运动。
	Mandarin Text：在球网前站好。
Kham Speaker	Mandarin Text：在三年时间内，通过科学的饮食和运动。
	Mandarin Text：在球网前站好。
Amdo Speaker	Mandarin Text：在三年时间内，通过科学的饮食和运动。
	Mandarin Text：在球网前站好。
Mandarin Speaker	Lhasa Text：བྱ་ཤ་སྲེག་པ་གནད་ལ་ཕོག
	Lhasa Text：རྨི་ལམ་གྱི་ཞིང་ཁམས་འགྲིམ།
	Kham Text：ཁོང་གཞུང་ལམ་བརྒྱུད་ནས་ཡོང་།
	Kham Text：གཞུང་གི་རླངས་འཁོར་དེ་བཀག་མ་སོང་།
	Amdo Text：ཁྱེད་ཚོར་འབྲེལ་ཡོད་ཀྱི་འཛིན་ཤོག་ཚང་མ་སྤྲད་སོང་།
	Amdo Text：ཁྱེད་རང་སྔོན་ལ་ཞིབ་བཤེར་ཞིག་བྱེད།

Cross-Dialect Speech Synthesis

ReferenceSpeaker	Ground-Truth	VITS-Baseline	Cro-MTVITS
Lhasa Speaker	Amdo Text：ཁྱེད་ཚོར་འབྲེལ་ཡོད་ཀྱི་འཛིན་ཤོག་ཚང་མ་སྤྲད་སོང་།
	Amdo Text：ཁྱེད་རང་སྔོན་ལ་ཞིབ་བཤེར་ཞིག་བྱེད།
	Kham Text：ཁོང་གཞུང་ལམ་བརྒྱུད་ནས་ཡོང་།
	Kham Text：གཞུང་གི་རླངས་འཁོར་དེ་བཀག་མ་སོང་།
Kham Speaker	Lhasa Text：བྱ་ཤ་སྲེག་པ་གནད་ལ་ཕོག
	Lhasa Text：རྨི་ལམ་གྱི་ཞིང་ཁམས་འགྲིམ།
	Amdo Text：ཁྱེད་ཚོར་འབྲེལ་ཡོད་ཀྱི་འཛིན་ཤོག་ཚང་མ་སྤྲད་སོང་།
	Amdo Text：ཁྱེད་རང་སྔོན་ལ་ཞིབ་བཤེར་ཞིག་བྱེད།
Amdo Speaker	Lhasa Text：བྱ་ཤ་སྲེག་པ་གནད་ལ་ཕོག
	Lhasa Text：རྨི་ལམ་གྱི་ཞིང་ཁམས་འགྲིམ།
	Kham Text：ཁོང་གཞུང་ལམ་བརྒྱུད་ནས་ཡོང་།
	Kham Text：གཞུང་གི་རླངས་འཁོར་དེ་བཀག་མ་སོང་།

Code_switch Speech Synthesis

text	Cro-MTVITS
དེ་རིང་ང་རང་加油站ལ་ངིའ་མོ་ཊ་དརེ加油བྱེད་པར་འགྲོ་ཁན་ཡིན་	Lhasa
	Kham
	Amdo
这件衣服怎么卖?གོང་ཚད་དམའ་རོ་བཏང་ན་འགྲིག་གམ་	Lhasa
	Kham
	Amdo