Bên cạnh công tác mục vụ, Đức cố Giám mục Giuse Vũ Duy Thống còn được biết đến là một nhạc sĩ tài hoa. Với bút hiệu “Thông Vi Vu”, ngài đã cho ra đời nhiều tác phẩm chạm đến trái tim người nghe.