Splatting Sài Gòn từ trên cao

Viettel AI Race 2026 đưa cho chúng tôi ảnh chụp những địa điểm có thật, mỗi ảnh kèm vị trí camera, và yêu cầu dựng lại ảnh mà camera sẽ chụp được từ những vị trí chưa từng đặt máy. Đó là bài toán tổng hợp góc nhìn mới, nền móng của mọi digital twin có thể bay xuyên qua.

Đề bài

Bảy cảnh: hai vật thể chụp cận là một chậu bonsai và một chiếc ghế, cùng năm cảnh chụp từ trên không ở TP. Hồ Chí Minh. Mỗi bản nộp gồm 386 ảnh render, chấm theo từng cảnh rồi lấy trung bình:

score = 0.4 × (1 − LPIPS) + 0.3 × SSIM + 0.3 × min(PSNR / 50, 1)

Mỗi đội được nộp mười lăm lần một ngày, và chỉ lần nộp cuối được tính.

Đọc thước đo theo từng cảnh

LPIPS có trọng số lớn nhất, nhưng nên đẩy vào đâu còn tuỳ thành phần nào còn dư địa. Các cảnh trên không đã có LPIPS thấp, khoảng 0,10 đến 0,13, nên PSNR mới là trục còn nhích được. Hai vật thể nằm ở mức 0,22 đến 0,27, và ở đó LPIPS mới là đòn bẩy. Quy tắc chúng tôi dùng: giảm 0,05 LPIPS đáng khoảng hai điểm, còn thêm một decibel PSNR đáng khoảng 0,6.

Tách điểm theo từng cảnh trước khi thay đổi bất cứ thứ gì

Bước sửa lớn nhất là hình học, không phải học máy

Camera chụp từ trên không có méo ống kính dạng xuyên tâm, và ảnh dùng để chấm điểm cũng bị méo như vậy. Vì thế chúng tôi khử méo ảnh train, train mô hình pinhole, render các góc cần nộp, rồi áp lại đúng độ méo bằng nội suy bậc ba. Ở phiên bản đầu của đề¹, riêng bước này đưa điểm từ 65 lên 77.

Điều làm điểm tăng

• Thêm dung lượng ở chỗ cảnh còn thiếu chi tiết. Nâng giới hạn từ 12 lên 16 triệu Gaussian giúp bốn trên năm cảnh trên không, nhờ lấp chi tiết ở vùng xa
• Lấy trung bình nhiều mô hình theo từng điểm ảnh. Những bước nhảy thật sự đến từ việc gộp ảnh render của nhiều mô hình train độc lập, bằng trung bình thường hoặc trung bình cắt bỏ giá trị cực ở mỗi điểm ảnh. Chỉ riêng việc gộp đã nâng chiếc ghế thêm hơn một điểm
• Chia shard. Mô hình lớn nhất không vừa một GPU, nên việc train được chia ra bốn GPU rồi gộp lại

Điều không hiệu quả

• Thêm ràng buộc cho một mô hình vốn đã khớp tốt. Tăng bậc spherical harmonics hay phạt scale và opacity đều làm góc nhìn mới tệ đi
• Tinh chỉnh vị trí camera, mất gần hai điểm
• Mô hình diffusion làm nét ảnh. Chúng có ích khi góc nhìn thưa và mô hình phải ngoại suy. Góc cần nộp của chúng tôi nằm giữa các góc train, và ở đó chúng không mang lại gì

Tập kiểm tra nội bộ đã nói dối

Một tập giữ lại từ ảnh train nói rằng một thay đổi đáng +0,16 điểm. Điểm chính thức nói −0,08. Từ đó mọi thí nghiệm trên vật thể đều phải chứng minh trên bảng xếp hạng chính thức, và mười lăm lượt nộp mỗi ngày trở thành ngân sách chúng tôi lên kế hoạch quanh nó.

Vòng chung kết

Chúng tôi vào chung kết, là một trong mười hai đội. Đề chung kết là một cảnh đô thị lớn, chấm trên ảnh gốc độ phân giải đầy đủ và sắc nét, còn thời gian inference được đo riêng trên H200. Các bước hậu xử lý từng vô dụng với ảnh chấm mềm của vòng loại nay lại có tác dụng. Chúng tôi mang vào densification MCMC tới 14 triệu Gaussian, regularisation weight-decay, tích luỹ đa góc nhìn khi train, và một mô hình phục hồi ảnh SCUNet fine-tune trên chính ảnh render của mình. Lượt chạy đó mang về Giải Triển Vọng.

Tiếp theo

Chúng tôi giữ lại pipeline, nhật ký thí nghiệm và danh sách những hướng đã bỏ. Nếu bạn làm tái dựng cảnh lớn, hãy cùng trao đổi.