ডিপসিকের সাশ্রয়ী মূল্যের একটি মিথ: বিপ্লবী এআইয়ের বিকাশের জন্য $ 1.6 বিলিয়ন ডলার ব্যয় হয়

ডিপসেকের নতুন চ্যাটবট একটি চিত্তাকর্ষক ভূমিকা নিয়ে গর্বিত: "হাই, আমি তৈরি হয়েছিল যাতে আপনি কিছু জিজ্ঞাসা করতে পারেন এবং এমন একটি উত্তর পেতে পারেন যা আপনাকে অবাক করে দিতে পারে।" এই এআই, চীনা স্টার্টআপ ডিপসিকের একটি পণ্য, দ্রুত একটি বড় বাজারের খেলোয়াড় হয়ে উঠেছে, এমনকি এনভিডিয়ার শেয়ারের দামের উল্লেখযোগ্য হ্রাসে অবদান রেখেছে।

ডিপসিকের সাফল্য তার উদ্ভাবনী স্থাপত্য এবং প্রশিক্ষণ পদ্ধতি থেকে উদ্ভূত। মূল প্রযুক্তিগুলির মধ্যে রয়েছে:

• মাল্টি-টোকেন পূর্বাভাস (এমটিপি): স্বতন্ত্রভাবে শব্দের পূর্বাভাস দেওয়ার পরিবর্তে, এমটিপি একসাথে একাধিক শব্দের পূর্বাভাস দেয়, নির্ভুলতা এবং দক্ষতা বাড়িয়ে তোলে।
• বিশেষজ্ঞদের মিশ্রণ (এমওই): এই আর্কিটেকচারটি ডিপসেক ভি 3 -তে 256 নিউরাল নেটওয়ার্কগুলি ব্যবহার করে, প্রতিটি টোকেনের জন্য আটটি সক্রিয় করে, প্রশিক্ষণকে ত্বরান্বিত করে এবং কর্মক্ষমতা উন্নত করে।
• মাল্টি-হেডের সুপ্ত মনোযোগ (এমএলএ): এমএলএ বারবার পাঠ্য খণ্ডগুলি থেকে মূল বিবরণগুলি বের করে, নিশ্চিত করে যে গুরুত্বপূর্ণ তথ্যটি মিস করা হয়নি, এটি ইনপুট ডেটা সম্পর্কে আরও সংক্ষিপ্ত বোঝার দিকে পরিচালিত করে।

যখন ডিপসেক প্রাথমিকভাবে 2048 জিপিইউ ব্যবহার করে ডিপসেক ভি 3 এর জন্য $ 6 মিলিয়ন ডলার একটি উল্লেখযোগ্যভাবে কম প্রশিক্ষণ ব্যয় দাবি করেছিলেন, সেমিয়ানালাইসিসটি আরও অনেক বেশি উল্লেখযোগ্য অবকাঠামো প্রকাশ করেছে: প্রায় 50,000 এনভিডিয়া হপার জিপিইউ, 10,000 এইচ 800 এস, 10,000 এইচ 10000, এবং অতিরিক্ত এইচ 20 সহ, একাধিক ডেটা সেন্টার জুড়ে রয়েছে। এটি প্রায় 1.6 বিলিয়ন ডলার মোট সার্ভার বিনিয়োগের প্রতিনিধিত্ব করে, অপারেশনাল ব্যয়গুলি 944 মিলিয়ন ডলার হিসাবে অনুমান করা হয়।

চীনা হেজ ফান্ড হাই-ফ্লায়ারের সহায়ক সংস্থা ডিপসেক তার ডেটা সেন্টারের মালিক, মেঘ-ভিত্তিক প্রতিযোগীদের তুলনায় বৃহত্তর নিয়ন্ত্রণ এবং দ্রুত উদ্ভাবনের বাস্তবায়ন সরবরাহ করে। এই স্ব-অর্থায়িত পদ্ধতির নমনীয়তা এবং সিদ্ধান্ত গ্রহণের গতি বাড়ায়। তদুপরি, সংস্থাটি শীর্ষ প্রতিভা আকর্ষণ করে, কিছু গবেষকরা মূলত শীর্ষস্থানীয় চীনা বিশ্ববিদ্যালয়গুলির কাছ থেকে বার্ষিক ১.৩ মিলিয়ন ডলার আয় করেন।

ডিপসেকের প্রাথমিক $ 6 মিলিয়ন চিত্র কেবল গবেষণা, পরিমার্জন, ডেটা প্রসেসিং এবং অবকাঠামো বাদ দিয়ে প্রাক-প্রশিক্ষণ জিপিইউ ব্যবহারকে কভার করে। সংস্থার মোট এআই উন্নয়ন বিনিয়োগ $ 500 মিলিয়ন ছাড়িয়েছে। তবে এর পাতলা কাঠামোটি বৃহত্তর, আরও আমলাতান্ত্রিক সংস্থার তুলনায় দক্ষ উদ্ভাবনকে সহায়তা করে।

ডিপসিকের সাফল্য শিল্প জায়ান্টদের সাথে প্রতিযোগিতা করার জন্য একটি সু-অর্থায়িত, স্বতন্ত্র এআই সংস্থার সম্ভাবনা প্রদর্শন করে। যদিও "বিপ্লবী বাজেট" দাবিটি যুক্তিযুক্তভাবে অতিরঞ্জিত, এর অর্জনগুলি অনস্বীকার্য, বিশেষত প্রতিযোগীদের দ্বারা ব্যয়বহুল উচ্চতর ব্যয় বিবেচনা করে। উদাহরণস্বরূপ, ডিপসেক আর 1 এ 5 মিলিয়ন ডলার ব্যয় করেছে, যখন চ্যাটজিপিটি 4 এর জন্য $ 100 মিলিয়ন ডলার ব্যয় করেছে। এটি পর্যাপ্ত সামগ্রিক বিনিয়োগ সত্ত্বেও ডিপসিকের ব্যয় দক্ষতা হাইলাইট করে।