كشفت DeepMind، المختبر الذكي التابع لجوجل، عن تقنية جديدة تُمكن من إضافة الموسيقى، بل والحوار، إلى مقاطع الفيديو!
يُطلق على هذه التقنية الرائدة اسم “V2A” أو (Video-to-Audio)، وهي مصممة للعمل مع أدوات إنشاء الفيديو مثل Google Veo و OpenAI Sora.
ووفقًا لشرح فريق DeepMind على مدونة الشركة، فإن النظام قادر على تحليل البكسل وفهم محتوى الفيديو، ثم دمج هذه المعلومات مع نصوص مُحددة لتكوين المؤثرات الصوتية المُناسبة لما يحدث على الشاشة.
وليس ذلك فحسب، بل يمكن استخدام هذه الأداة أيضًا لإنشاء موسيقى تصويرية لمقاطع الفيديو التقليدية، مثل الأفلام الصامتة وأي فيديو آخر لا يحتوي على صوت.
اعتمد باحثو DeepMind في تدريب هذه التقنية على كميات هائلة من البيانات، شملت مقاطع فيديو وصوتيات وحتى تعليقات مُولدة بالذكاء الاصطناعي تحتوي على أوصاف مُفصّلة للأصوات ونصوص الحوار.
وهدفهم من ذلك كان تعليم النظام كيفية ربط الأصوات المُحددة بالمَشاهد البصرية.
وبحسب موقع تك كرانش، فإن DeepMind ليست أول من يُصدر أداة ذكاء اصطناعي لإنشاء المؤثرات الصوتية، فقد سبقها ElevenLabs في إصدار أداة مشابهة، لكن تقنية V2A تتميز بفهمها للبكسل الخام، مما يجعلها أكثر دقة وواقعية.
يُمكن استخدام نصوص مُحددة مع تقنية V2A لتوجيه النتائج وتشكيلها بما يتناسب مع رغبة المستخدم.
