Egocentric Görüntüleme ile 3D Anlamanın Geliştirilmesi

Son yıllarda, egocentric bilgisayarla görme alanında yapılan çalışmalar, insan etkileşimlerini ve nesne manipülasyonlarını daha iyi anlamayı hedeflemektedir. Bu bağlamda, insan ellerinin ve nesnelerin 3D anlayışının doğru bir şekilde sağlanması önemli bir zorluk oluşturmaktadır. Mevcut el-nesne etkileşimi veri setleri genellikle kontrol edilen stüdyo ortamlarında oluşturulduğundan, gerçek dünya senaryolarına genelleme yeteneği sınırlıdır. Rim ve arkadaşları ^[1], bu sorunu ele almak amacıyla, kullanıcı tarafından giyilen bir sanal gerçeklik başlığı ile senkronize edilen, hafif ve çoklu kamera sistemine dayanan SHOW3D adlı bir veri seti tanıtmaktadır. Bu sistem, gerçek dünya ortamlarında, el ve nesnelerin 3D etkileşimlerini gösteren büyük ölçekli bir veri seti oluşturarak, çevresel gerçeklik ile 3D anotasyonların doğruluğu arasındaki temel ticareti önemli ölçüde azaltmaktadır.

Bunun yanı sıra, Safadoust ve arkadaşları ^[2], büyük piksel kaymalarıyla başa çıkabilen yeni bir optik akış tahmin mimarisi olan FlowIt’i sunmaktadır. Bu mimari, uzun mesafeli eşleşmeleri etkili bir şekilde modelleyebilmek için hiyerarşik bir transformer yapısından faydalanmaktadır. FlowIt, akış başlangıcını optimal taşıma problemi olarak formüle ederek, yüksek güvenilirlikte bir akış alanı elde etmektedir. Bu yaklaşım, Sintel ve KITTI veri setleri üzerinde gerçekleştirilen deneylerle doğrulanmış ve mevcut en iyi sonuçları elde etmiştir. FlowIt, aynı zamanda Sintel, Spring ve LayeredFlow veri setlerinde sıfırdan genel performans açısından da yeni bir rekor kırmaktadır.

Yu ve arkadaşları ^[3], egocentric veri kullanarak 3D sahne grafikleri oluşturmayı amaçlayan Pandora sistemini tanıtmaktadır. Bu sistem, bir insanın doğal olarak bir sahneyi keşfederken topladığı verileri kullanarak, robotların nesne dinamikleri ve nesne-kapsayıcı ilişkileri hakkında daha iyi bir anlayış geliştirmektedir. Pandora, egocentric verileri kullanarak hareketli nesne parçalarının modellerini geri kazanmakta ve bu modelleri 3D sahne grafiklerine entegre ederek robotların mobil manipülasyon görevlerini daha etkili bir şekilde gerçekleştirmesine olanak tanımaktadır. Bu bağlamda, bir Boston Dynamics Spot robotunun gizli hedef nesneleri elde etme görevini, yalnızca 3D sahne grafiği girişi ile gerçekleştirebildiği gösterilmektedir.

Bu çalışmalar, egocentric bilgisayarla görme ve 3D modelleme alanında önemli ilerlemeler sağlamaktadır. Hem insan hem de robot etkileşimlerinin daha kapsamlı bir şekilde anlaşılmasına katkı sunan bu yöntemler, gelecekteki uygulamalar için önemli bir temel oluşturmaktadır.