दीपसेक की सामर्थ्य एक मिथक है: क्रांतिकारी एआई वास्तव में विकसित करने के लिए $ 1.6 बिलियन का खर्च आता है

दीपसेक के नए चैटबोट में एक प्रभावशाली परिचय है: "हाय, मैं बनाया गया था ताकि आप कुछ भी पूछ सकें और एक जवाब प्राप्त कर सकें जो आपको आश्चर्यचकित भी कर सके।" यह एआई, चीनी स्टार्टअप दीपसेक का एक उत्पाद, जल्दी से एक प्रमुख बाजार खिलाड़ी बन गया है, यहां तक ​​कि एनवीडिया के स्टॉक मूल्य में एक महत्वपूर्ण गिरावट में भी योगदान देता है।

दीपसेक की सफलता अपने अभिनव वास्तुकला और प्रशिक्षण विधियों से उपजी है। प्रमुख प्रौद्योगिकियों में शामिल हैं:

• मल्टी-टोकन भविष्यवाणी (एमटीपी): व्यक्तिगत रूप से शब्दों की भविष्यवाणी करने के बजाय, एमटीपी एक साथ कई शब्दों का अनुमान लगाता है, सटीकता और दक्षता को बढ़ाता है।
• विशेषज्ञों का मिश्रण (एमओई): यह आर्किटेक्चर डीपसेक वी 3 में 256 तंत्रिका नेटवर्क का उपयोग करता है, प्रत्येक टोकन के लिए आठ को सक्रिय करता है, प्रशिक्षण को तेज करता है और प्रदर्शन में सुधार करता है।
• मल्टी-हेड लेटेंट ध्यान (एमएलए): एमएलए बार-बार पाठ के टुकड़ों से महत्वपूर्ण विवरण निकालता है, यह सुनिश्चित करता है कि महत्वपूर्ण जानकारी याद नहीं है, जिससे इनपुट डेटा की अधिक बारीक समझ हो जाती है।

जबकि डीपसेक ने शुरू में 2048 जीपीयू का उपयोग करते हुए डीपसेक वी 3 के लिए $ 6 मिलियन की उल्लेखनीय रूप से कम प्रशिक्षण लागत का दावा किया था, सेमियालिसिस ने एक अधिक पर्याप्त बुनियादी ढांचे का खुलासा किया: लगभग 50,000 एनवीडिया हॉपर जीपीयू, जिसमें 10,000 एच 800, 10,000 एच 100, और अतिरिक्त एच 20, वितरित किए गए एच 20, वितरित किए गए। यह लगभग $ 1.6 बिलियन के कुल सर्वर निवेश का प्रतिनिधित्व करता है, जिसमें परिचालन खर्च $ 944 मिलियन का अनुमान है।

चाइनीज हेज फंड हाई-फ्लायर की सहायक कंपनी दीपसेक अपने डेटा सेंटरों का मालिक है, जो क्लाउड-आधारित प्रतियोगियों की तुलना में अधिक नियंत्रण और तेजी से नवाचार कार्यान्वयन की पेशकश करता है। यह स्व-वित्त पोषित दृष्टिकोण लचीलापन और निर्णय लेने की गति को बढ़ाता है। इसके अलावा, कंपनी शीर्ष प्रतिभा को आकर्षित करती है, कुछ शोधकर्ताओं ने सालाना 1.3 मिलियन डॉलर से अधिक की कमाई की, मुख्य रूप से प्रमुख चीनी विश्वविद्यालयों से।

दीपसेक के शुरुआती $ 6 मिलियन का आंकड़ा केवल पूर्व-प्रशिक्षण GPU उपयोग को शामिल करता है, अनुसंधान, शोधन, डेटा प्रसंस्करण और बुनियादी ढांचे को छोड़कर। कंपनी का कुल एआई विकास निवेश $ 500 मिलियन से अधिक है। हालांकि, इसकी दुबली संरचना बड़ी, अधिक नौकरशाही कंपनियों की तुलना में कुशल नवाचार की सुविधा प्रदान करती है।

दीपसेक की सफलता उद्योग के दिग्गजों के साथ प्रतिस्पर्धा करने के लिए एक अच्छी तरह से वित्त पोषित, स्वतंत्र एआई कंपनी की क्षमता को प्रदर्शित करती है। जबकि "क्रांतिकारी बजट" का दावा यकीनन अतिरंजित है, इसकी उपलब्धियां निर्विवाद हैं, विशेष रूप से प्रतियोगियों द्वारा की गई काफी अधिक लागतों को देखते हुए। उदाहरण के लिए, दीपसेक ने R1 पर $ 5 मिलियन खर्च किए, जबकि CHATGPT4 की लागत $ 100 मिलियन है। यह पर्याप्त समग्र निवेश के बावजूद, डीपसेक की लागत दक्षता पर प्रकाश डालता है।