रिचर्ड सटन ने चेतावनी दी कि केवल गणना शक्ति कृत्रिम बुद्धिमत्ता के लिए पर्याप्त नहीं है

a close up of a server in a server room — Tyler / Unsplash

ट्यूरिंग पुरस्कार विजेता Richard Sutton ने कहा है कि केवल कच्ची गणना शक्ति बुद्धिमत्ता के लिए पर्याप्त नहीं है। उन्होंने तर्क दिया कि कृत्रिम बुद्धिमत्ता विज्ञान अभी तक अपने लक्ष्य तक नहीं पहुँचा है और इसे नए चतुर तरीकों की आवश्यकता है।

Sutton ने अपने पिछले विचारों को दोहराते हुए कहा कि बड़े भाषा मॉडलों का केवल विस्तार करना सीमित है। उन्होंने कृत्रिम डेटा के उपयोग को एक बड़ी गलती बताया क्योंकि वास्तविक दुनिया अत्यंत जटिल है और उसका कोई भी अनुकरण बहुत छोटा होता है। उन्होंने सुझाव दिया कि ऐसे एजेंटों की आवश्यकता है जिनमें विश्व मॉडल हों और जो अपने स्वयं के अनुभव से निरंतर सीख सकें, क्योंकि वर्तमान मॉडल प्रशिक्षण के बाद सीखना बंद कर देते हैं।

पूर्व OpenAI शोधकर्ता Jerry Tworek ने इस विचार का समर्थन करते हुए कहा कि जैसे-जैसे मॉडल प्रशिक्षण में अधिक गणना शक्ति लगती है, एल्गोरिदम का महत्व और बढ़ जाता है। Tworek के अनुसार, ट्रांसफॉर्मर विस्तार की अस्थायी सफलता और उनके सिद्धांतों की गलत व्याख्या ने वैज्ञानिकों की एक पूरी पीढ़ी को भ्रमित कर दिया है। वह Core Automation के माध्यम से ऐसे सीखने के एल्गोरिदम की तलाश कर रहे हैं जो पूर्व-प्रशिक्षण और सुदृढ़ीकरण सीखने से परे हों।

शोधकर्ता Jayden Teoh ने उल्लेख किया कि उनके सिद्धांतों की गलत व्याख्या के कारण कई आशाजनक विचारों को यह कहकर खारिज कर दिया गया कि वे विस्तार योग्य नहीं हैं। उन्होंने तर्क दिया कि किसी विचार को महत्वपूर्ण योगदान देने के लिए हमेशा विस्तार योग्य होना आवश्यक नहीं है।

दूसरी ओर, OpenAI के मुख्य कार्यकारी अधिकारी Sam Altman का मानना है कि बड़े भाषा मॉडलों का विस्तार अभी पूरी तरह से नहीं हुआ है। उन्होंने उन आलोचकों की आलोचना की जो विस्तार की क्षमताओं के बारे में बहुत अधिक आश्वस्त थे। उन्होंने प्रमाण के रूप में एक मॉडल का उल्लेख किया जिसने एक कठिन गणितीय अनुमान को गलत साबित किया। इसी तरह, Anthropic के प्रमुख Dario Amodei ने विस्तार की प्रगति को एक अंतहीन अवसर के रूप में वर्णित किया है।