أنا أستخدم الحس المواكب الخاص بي لإنشاء نوع جديد من فن الذكاء الاصطناعي. يمكن للتكنولوجيا “قراءة” لوحاتي ومساعدتي في تأليف الموسيقى.

• شين جوفوغ هو فنان تجريدي متعدد الوسائط يتمتع بالحس المواكب، مما يعني أنه “يسمع اللون”.
• عمل جوفوغ مع خبراء الذكاء الاصطناعي والموسيقيين لتأليف الموسيقى التي تتوافق مع لوحاته.
• وهو يعتقد أن الذكاء الاصطناعي لا يزال أداة “تحتاج إلى إشراف” ولكنه عزز عمليته الإبداعية.

هذه محادثة مع شين جوفوغ، الفنان الأمريكي الذي أطلق معرض “في نقطة السكون في العالم المتحول – غرباء الزمن”، وهو معرض يضم 21 لوحة في بينالي البندقية في وقت سابق من هذا الشهر. تم تكثيف هذه المحادثة وتحريرها من أجل الوضوح.

لدي الحس المواكب، وهو ما يعني أنني أسمع اللون.

لذا، فإن ما أستمع إليه عندما أرسم هو أمر مهم. أستمع إلى الموسيقى الكلاسيكية الهندية، والأناشيد الغريغورية، وبعض الملحنين الغامضين مثل جيورجي ليجيتي، وليو أورنشتاين، وتيري رايلي. تثير الموسيقى إبداعي وتسمح لي بالحضور الكامل في تلك اللحظة.

لسنوات، كنت منشغلاً بما قد تبدو عليه لوحاتي. لقد دفعتني ثورة الذكاء الاصطناعي إلى البحث عن خبراء يمكنهم مساعدتي. كانت نقطة الاتصال الأولى لي هي راديكا ديركس، خبيرة الذكاء الاصطناعي والحوسبة الكمومية. لقد أجرينا جلستين عبر تطبيق Zoom، وأخبرتني – على حد علمها – أنه لا يوجد برنامج للذكاء الاصطناعي يمكنه مساعدتي. وبدلاً من ذلك، اقترحت أن أقوم بإنشاء أبجدية مرئية تطابق الحبال الموسيقية التي سمعتها في ذهني مع الألوان.

اعتقدت أنها يمكن أن تكون وسيلة لدفع إبداعي. كما أنها مبنية على فكرة الأبجدية اللاواعية التي أثرت في فني طوال مسيرتي المهنية.

التقيت بموسيقيين وخبراء في الذكاء الاصطناعي لإنشاء أبجدية مرئية

لقد بدأت بالبحث عن موسيقيين للتعاون معهم والتقيت بأنطوني كارديلا، عازف البيانو الشاب الموهوب بشكل لا يصدق في لوس أنجلوس. إنه طالب دكتوراه في جامعة جنوب كاليفورنيا وصادف أنه يعرف – بل ويعزف – العديد من الملحنين الغامضين الذين أستمع إليهم عندما أرسم.

بدأنا التعاون. كنا نجلس ونفحص لوحاتي معًا. أقوم بتكبير لون ما في Photoshop، وأنظر إليه، وأشعر بالنغمة الموسيقية حسيًا. ثم سأخبر أنتوني. سأقول، على سبيل المثال، أعتقد أن هذا هو لون الملاحظة B. لقد ضرب B، وأقول، “لا، هذا ليس هو الحال؛ جرب B حاد؟” وبعد عدة محاولات، وصل فجأة إلى النغمات الصحيحة. سأعرف ذلك لأن الألوان ستبدأ بالاهتزاز بالنسبة لي. معًا، قمنا برسم أوتار تتوافق مع 40 لونًا.

وبعد فترة وجيزة، التقيت بباحث في مجال الذكاء الاصطناعي يُدعى جونا لينش من خلال الاتصالات المتبادلة. يعمل عند تقاطع العلوم الإنسانية الرقمية والتعلم الآلي. لقد دعوته إلى مزرعتي في وسط كاليفورنيا وشرحت له العمل الذي كنت أقوم به وكيف رسمت لوحاتي. أجرينا مناقشات طويلة حول الفن والشعر وإنشاء خوارزمية ذكاء اصطناعي يمكن أن تغذي الأوتار.

قام بتطوير برنامج “لقراءة” لوحاتي وتحويلها إلى موسيقى. وأعطيته الألوان الأساسية التي أستخدمها في كل لوحة والأوتار التي أسمعها عندما أرى تلك الألوان. وشاهد جوناه مقاطع فيديو لي وأنا أرسم، ودرس حركة الحركات. يدي، وكتب برنامجًا يأخذ عينات من اللوحات، ويتتبع حركات يدي، ويخصص كل لون تم أخذه من اللوحات إلى الوتر المقابل له، ثم قام بتغذية تسلسل الأوتار هذا في شبكة عصبية حفظت معظم الألوان الأخيرة 500 عام من موسيقى لوحة المفاتيح. لقد دفع الشبكة إلى “الحلم” بتسلسلات جديدة تعتمد على تسلسلات الألوان وتاريخ الموسيقى الغربية لإنشاء صفحات من النوتة الموسيقية.

عندما سمعت تلك الموسيقى تعاد إليّ، جلبت الدموع إلى عيني. لقد كانت مجرد نسخة تقريبية مما سمعته أثناء الرسم، لكنني فكرت، “ها هو ذا”.

أخذت الموسيقى مرة أخرى إلى عازف البيانو أنتوني. من المثير للدهشة، أنه كان بإمكاني الإشارة إلى النوتة الموسيقية وإخباره عن المقطوعات الموسيقية التي كنت أستمع إليها أثناء الرسم، فيقول: “نعم، أستطيع رؤيتها في الأوتار.” الراجا الهندية، والأناشيد الغريغورية، والليجيتي، والأورنشتاين – كانت جميعها هناك.

ومع ذلك، كانت الموسيقى إلى حد كبير عبارة عن سلسلة من الأوتار في تلك المرحلة. قال أنتوني أنه يمكننا الحصول على ألحان إذا قمنا بإعادة ترتيبها قليلاً.

لا يزال الذكاء الاصطناعي أداة تحتاج إلى إشراف بشري

قمنا بتأليف الموسيقى للعديد من اللوحات وقمنا بتشغيلها للجمهور في جميع أنحاء العالم. لقد أقمنا حفلًا موسيقيًا الشهر الماضي في متحف فورست لاون في لوس أنجلوس، حيث شاركت أيضًا في بعض اللوحات. يمكن للجمهور أن ينظر إلى اللوحات بينما كان أنتوني يعزف، وكانت هذه تجربة عميقة. بكى زوجان من الناس.

في حفل إطلاق معرضي الأخير خلال الأسبوع الافتتاحي لبينالي البندقية، قدم أنتوني العرض العالمي الأول لسوناتا ألفها مستوحاة من لوحتي “فقط عبر الزمن يتم غزو الوقت”، أمام جمهور حي. بعد العرض، تحدثت إلى العديد من الأشخاص، وقالوا إنهم يستطيعون رؤية مكان التقاء الألوان والملاحظات في اللوحة. لقد كان شيئًا لم يختبروه من قبل.

أعلم أن الكثير من الناس يخافون جدًا من الذكاء الاصطناعي، وأنا أيضًا أعتبره أداة تحتاج إلى إشراف بشري. إنها ليست وسيلة لتحقيق غاية. ومع ذلك، فقد فتح العديد من الاحتمالات وعزز عملي الإبداعي. لا أعرف إذا كان بإمكاني فتح الموسيقى في لوحاتي بطريقة حقيقية بدونها.

استمعوا للسوناتا أدناه: