Peneliti IIITH merancang alat AI untuk pengeditan video

Peneliti IIITH merancang alat AI untuk pengeditan video

Keluaran Hongkong

Hyderabad: Para peneliti di International Institute of Information Technology Hyderabad (IIITH), yang telah bekerja menggunakan Kecerdasan Buatan (AI) dalam pengeditan video, telah merancang kerangka kerja ujung-ke-ujung lengkap untuk pengeditan video yang dapat merekam dan mengedit video. hemat biaya.

Dengan menggunakan AI, sistem dapat secara otomatis menghasilkan bidikan dari berbagai sudut dari input video tunggal dan dapat meniru editor ahli dengan memilih bidikan yang paling jelas menceritakan plot pada setiap contoh yang diberikan.

“Ini adalah waktu yang sangat gelap untuk teater dan pertunjukan langsung lainnya. Perusahaan berukuran kecil terpaksa tutup karena mereka tidak dapat berinvestasi pada peralatan kamera berat dan beralih ke streaming langsung. Upaya kami adalah membantu rumah-rumah semacam itu dan memastikan hasilnya secara estetika terbaik, ”kata Vineet Gandhi dari lab CVIT, IIIT H, yang memimpin penelitian. Dia mengatakan bahwa metode yang diadopsi oleh timnya mirip dengan pembuatan video tradisional di mana pengambilan gambar pertama diambil dan kemudian dipilih atau diedit secara manual untuk membuat alur cerita yang mengalir.

Apa yang membuat sistem ini lebih unik adalah ia menciptakan footage yang tampak seperti sinematik, tambahnya. Gandhi mengatakan bahwa menurut para ilmuwan, meskipun menggabungkan data tatapan atau pelacakan mata dalam pemilihan bidikan adalah teknik pengeditan yang diinginkan, bergantung sepenuhnya pada tatapan tidak selalu optimal.

“Untuk memberikan narasi yang halus, algoritme juga telah dilatih pada prinsip sinematik seperti menghindari pemotongan antara bidikan yang tumpang tindih, menghindari transisi bidikan yang cepat, dan mempertahankan ritme,” tambah Gandhi.

Memperluas pekerjaan mereka sebelumnya di mana algoritme secara otomatis menghasilkan beberapa jepretan kamera dari satu video resolusi tinggi dari acara yang dipentaskan, Gandhi dan siswanya, KL Bhanu Moorthy dan Moneish Kumar, merancang kerangka kerja ujung-ke-ujung ini di mana sistem AI menggabungkan tidak hanya umpan dari satu kamera statis tetapi juga tatapan mata pengguna – direktur program atau editor yang telah melihat rekaman dan menyajikan video pertunjukan yang digabungkan secara estetis. Teknik ini diberi label sebagai teknik EDiting yang dipandu oleh GAZe mata atau GAZED.

Tim juga mempresentasikan makalah penelitian berjudul “GAZED: Pengeditan Sinematik yang Dipandu Gaze dari Perekaman Video Monokuler Sudut Lebar” di Konferensi ACM CHI tentang Faktor Manusia dalam Sistem Komputasi 2020. Kemanjuran sistem telah diuji pada sekelompok pengguna dan ditemukan bahwa teknik GAZED berkinerja terbaik dan menghasilkan keluaran yang mulus dan diedit.