विश्व स्तरीय भाषा प्रौद्योगिकियों के निर्माण के लिए हमें फिलिपिनो गुणों की आवश्यकता है

मैं फिलीपींस के एनालिटिक्स और एआई एसोसिएशन (एएपी) में फिलीपीन भाषा मॉडल मूल्यांकन (स्लाइड्स) विषय पर विशेष रूप से फिलबेंच पर एक भाषण दिया।
^{बैठक का उद्देश्य वास्तव में यह पता लगाना था (1) कि क्या हम “फिलीपीन एलएलएम” बना सकते हैं और (2) ऐसा करने से क्या होगा। मुझे अपने पिछले काम में खुली भाषा मॉडल बनाने का कुछ अनुभव था, और बहुभाषिकता पर मेरा शोध सीधे तौर पर संबंधित है, इसलिए मैं अपने विचार और अनुभव साझा करने में सक्षम था।}

प्रस्तावना के लिए: “क्या हम वास्तव में फिलिपिनो-केंद्रित एलएलएम का निर्माण कर सकते हैं?” के प्रश्न का उत्तर। निश्चित रूप से है हाँ. उपकरण ओपन-सोर्स हैं, व्यंजन सार्वजनिक रूप से उपलब्ध हैं, और निश्चित रूप से बहुत सारी प्रतिभाएँ हैं। हालाँकि, चुनौतियाँ दोतरफा हैं:

1. फिलिपिनो-केंद्रित एलएलएम का निर्माण इसमें सिलिकॉन वैली दृष्टिकोण को हमारे स्थानीय संदर्भों में लागू करना शामिल नहीं है. पूंजी का अंतर बहुत बड़ा है और पारिस्थितिकी तंत्र अलग है। यह देखना बेहतर है कि हमारे पड़ोसी (भौगोलिक और आर्थिक रूप से) यह कैसे कर रहे हैं, जैसे मलेशिया या अफ्रीका।

2. वास्तविक जरूरतों का पता लगाना सर्वोपरि है प्रोजेक्ट को घमंड प्रशिक्षण अभ्यास बनने से रोकें। यदि उपयोग-मामले को अगले चैटजीपीटी या क्लाउड रिलीज़ द्वारा हल किया जा सकता है, तो शायद यह एप्लिकेशन परत से अधिक गहराई में जाने लायक नहीं है।

   हाल ही में, संपूर्ण एलएम विकास पाइपलाइन पर स्वामित्व बनाए रखने के बारे में बहुत चर्चा हुई है, इसलिए संप्रभु एलएलएम का प्रसार हुआ है। यह एक सामान्य प्रेरणा है, लेकिन मैं अभी तक इस विषय से अच्छी तरह वाकिफ नहीं हूं। मुद्दा यह है कि क्या हम इसे व्यावसायिक आवश्यकता को पूरा करने के लिए बना रहे हैं? अधिक फिलीपीनी भाषाओं को शामिल करने के लिए? एलएम डेवलपमेंट स्टैक का स्वामी बनने के लिए?

तो क्या हम फिलिपिनो-केंद्रित एलएलएम का निर्माण कर सकते हैं और विश्व स्तरीय प्रौद्योगिकियों का योगदान कर सकते हैं? मेरा उत्तर है हाँक्योंकि हम फिलिपिनो के पास है अद्वितीय गुण और मूल्य ऐसा करना.

अगला कदम एक ऐसा वातावरण प्रदान करना है जहां ये गुण विकसित हों। ये गुण हैं: रणनीति, परिश्रम और दृढ़ताऔर वीर रस. आइए मैं उन्हें निम्नलिखित अनुभागों में समझाऊं।

हम फिलिपिनो-केंद्रित एलएलएम का निर्माण कर सकते हैं और विश्व स्तरीय भाषा प्रौद्योगिकियों में योगदान कर सकते हैं क्योंकि हमारे पास ऐसा करने के लिए अद्वितीय गुण हैं: डिस्कार्ते, टियागा में सिपाग और बयानिहान। फिर चुनौती एक ऐसा वातावरण बनाने की है जो इन गुणों को पनपने दे।

नीचे दी गई स्लाइडें मेरी बातचीत की समापन टिप्पणियों से ली गई हैं (लगभग 75% चर्चा फिलबेंच के बारे में है), लेकिन पाठ उन्हें एक-से-एक मैप नहीं करता है। बस इस ब्लॉग पोस्ट को उन समापन स्लाइडों के विस्तारित संस्करण के रूप में सोचें।

डिस्कार्ते – अत्यधिक बाधाओं के तहत एक लक्ष्य प्राप्त करना

द्वितीय विश्व युद्ध के बाद, अमेरिकी सैनिकों के देश छोड़ने के कारण कई अमेरिकी सेना विलीज़ एमबी ट्रक फिलीपींस में रह गए थे। बुनियादी ढांचे के नष्ट होने के कारण सार्वजनिक परिवहन की कमी थी, और इसलिए, हमने इन ट्रकों को हटाना शुरू कर दिया और उनमें धातु की छतें, और विभिन्न पेंटिंग और आभूषण जोड़ने के लिए बदलाव करना शुरू कर दिया। यही बाद में जीपनी या जीप बन गई, जो अब हमारा सांस्कृतिक प्रतीक और आज परिवहन का वर्तमान साधन है।
^{डिस्कार्ते का अंग्रेजी में अनुवाद करना कठिन है क्योंकि इसके कई अर्थ हो सकते हैं: संसाधनशीलता, सरलता, रचनात्मक सोच, आदि। यह अच्छा पेपर है जो इस बारे में विस्तार से बात करता है, और मैं किसी को भी इसे पढ़ने के लिए प्रोत्साहित करता हूं। व्यक्तिगत रूप से, मैं डिस्कार्टे को अत्यधिक बाधाओं के तहत एक लक्ष्य प्राप्त करने की क्षमता के रूप में देखता हूं।}

नवप्रवर्तन करने का सबसे अच्छा तरीका वैसा ही है जैसा हमने जीपनी से किया था: इन नवप्रवर्तनों को वैश्विक उत्तर से लेना और सरलता और संसाधनशीलता के माध्यम से उन्हें हमारे स्थानीय संदर्भों में अपनाना।

मेरा तर्क है कि नवप्रवर्तन का सबसे अच्छा तरीका वैसा ही है जैसा हमने जीपनी से संपर्क किया था: इन नवाचारों को ग्लोबल नॉर्थ से लेना और सरलता और संसाधनशीलता के माध्यम से उन्हें हमारे स्थानीय संदर्भों में अनुकूलित करना। केवल सिलिकॉन वैली दृष्टिकोणों का आयात करना पर्याप्त नहीं है। मैंने हाल के एक सर्वेक्षण पत्र में इसके बारे में विस्तार से लिखा है, लेकिन एक दृष्टिकोण जो मैं वर्तमान में खोज रहा हूं वह प्रशिक्षण डेटा की कमी को दूर करने के लिए सावधानीपूर्वक सिंथेटिक डेटा उत्पादन है। सीमांत भाषा मॉडल के प्रशिक्षण में सिंथेटिक डेटा अब एक सामान्य दृष्टिकोण है, लेकिन मेरा मानना ​​​​है कि हम इसे हटा सकते हैं और, जीपनी के समान, इसे कम-संसाधन भाषाओं के लिए काम करने के लिए कुछ आभूषण/समायोजन जोड़ सकते हैं। मैं आपको सर्वेक्षण पेपर पढ़ने के लिए प्रोत्साहित करता हूं, क्योंकि मैं सुधार के संभावित रास्तों का उल्लेख करता हूं जैसे कि कार्य-विशिष्ट छोटे भाषा मॉडल बनाना, किनारे पर मॉडल तैनात करना और हार्नेस के एक मजबूत सेट के माध्यम से मॉडल की क्षमताओं में सुधार करना।

जैसा कि कहा गया है, फिलीपीन एनएलपी परिदृश्य डेटा और गणना दोनों के मामले में बाधित है। हालाँकि फिलिपिनो बोलने वालों की एक महत्वपूर्ण उपस्थिति है और भाषा का इंटरनेट पर अच्छी तरह से प्रतिनिधित्व किया गया है, लेकिन कुछ लोगों ने इस संसाधन को उपयोगी, उच्च-गुणवत्ता वाले डेटासेट में बदल दिया है। अन्य फिलीपीनी भाषाओं के लिए यह स्थिति और भी अधिक स्पष्ट है। इसके अलावा, हमारी गणना स्थिति (विकास और तैनाती दोनों के लिए) वांछित होने के लिए बहुत कुछ छोड़ देती है। हमारे पास एलएलएम (जीपीयू क्लस्टर्स पर एपोच एआई डेटा, 2026) को प्रशिक्षित करने के लिए कंप्यूटिंग बुनियादी ढांचे की कमी है, और हमारी इंटरनेट और प्रौद्योगिकी पहुंच हमारे आसियान पड़ोसियों (विश्व बैंक पर आधारित आईटीयू डेटा) से पीछे है।

परिश्रम और दृढ़ता – समय के माध्यम से निरंतर प्रयास का समर्थन करना

एक प्रसिद्ध कहावत है: “पग मे तियागा, मे निलागा।” शायद निकटतम अंग्रेजी अनुवाद जो मैं कर सकता हूं वह है: “यदि धैर्य सच्चा है, तो आपको एक स्टू मिलेगा।”
^{मैं तर्क दूंगा कि भाषा मॉडलिंग रेसिपी के अधिकांश घटक (विशेष रूप से बहुभाषी पोस्ट-प्रशिक्षण में) अंतर्दृष्टि की चमक से अधिक धैर्य की परीक्षा हैं: बड़े पैमाने पर एनोटेशन या संश्लेषण के माध्यम से पर्याप्त डेटा एकत्र करना, कई एब्लेशन में सही डेटा मिश्रण का पता लगाना, और यह सुनिश्चित करना कि मूल्यांकन ईमानदारी से उन क्षमताओं को प्रतिबिंबित करता है जिनकी हम परवाह करते हैं। तो फिर, हम इस प्रकार की गतिविधियों का समर्थन कैसे कर सकते हैं?}

भाषा मॉडलिंग रेसिपी के अधिकांश घटक (विशेष रूप से बहुभाषी प्रशिक्षण के बाद) अंतर्दृष्टि की चमक से अधिक धैर्य की परीक्षा हैं।

अच्छी बात यह है कि मैं सरकार और शिक्षा जगत में फैली कुछ टीमों के बारे में काफी आशावादी महसूस करता हूँ। उदाहरण के लिए, ई-सीएआईआर ने कार्य-विशिष्ट सिस्टम बनाए हैं, और मैंने उनके कुछ सदस्यों को *सीएल और आईसीएमएल में प्रकाशित होते देखा है! मैं पिछले साल वियना में एसीएल में एआईएम के कुछ लोगों से भी मिला था, इसलिए वहां भी अच्छा निवेश हो रहा है। और मैंने यूएसटी और पीयूपी में कुछ स्नातक थीसिस समूहों के साथ बातचीत की है (और मुझे अभी भी कैलामैनसी के बारे में कभी-कभार ई-मेल मिलता है), इसलिए स्पष्ट रूप से किनारे पर काम करने वाले समूहों का एक ढीला नेटवर्क है। मैं जो कहने की कोशिश कर रहा हूं वह यह है कि यहां ऐसी प्रतिभाएं हैं जो कठिन काम करने को तैयार हैं – यह सिर्फ इन प्रयासों को अधिक समन्वित और संरेखित करने की बात है।

मैं इन गतिविधियों का समर्थन करने के दो आयाम प्रस्तावित करना चाहता हूँ: बुनियादी ढाँचा और प्रोत्साहन। यहां बुनियादी ढांचा दो रूप ले सकता है: गणना अनुदान जो लोगों को प्रयोग करने के लिए जगह देते हैं, और शासन प्रयासों को समन्वित रखने के लिए एक केंद्रीय निर्णय-निर्माता के साथ संरचनाएँ। पहला काफी आत्म-व्याख्यात्मक है। लेकिन मुझे लगता है कि दूसरा कहीं अधिक महत्वपूर्ण है।

उदाहरण के लिए, यह है फिलीपींस के लिए विहित राष्ट्रीय एआई रणनीति क्या है, यह पता लगाना काफी कठिन है. ओईसीडी एआई पॉलिसी नेविगेटर और यूनेस्को एनएआईएसआर वी2 की ओर इशारा करते हैं जो डीटीआई से है, लेकिन वेबसाइट का कहना है कि इसे डीओएसटी द्वारा एक अन्य फिलीपीन एआई रणनीति रोडमैप द्वारा प्रतिस्थापित किया गया था। अब, DOST से संबंधित एकमात्र रोडमैप जो मुझे मिल सकता है वह यह स्लाइड डेक है, लेकिन यह तो नहीं हो सकता, है ना?

बयानिहान – किसी लक्ष्य को प्राप्त करने के लिए सामूहिक कार्रवाई

मुझे बयानिहान की कल्पना हमेशा प्रेरणादायक लगती है। अधिकांश घर कंक्रीट से बने होने के कारण आज यह असामान्य हो गया है, लेकिन बयानिहान की भावना अभी भी जीवित है: मुझे हाई स्कूल की याद है जब हमारे पास ब्रिगेडा एस्केवेला थी और हम (मेरे सहपाठी, शिक्षक और यहां तक ​​​​कि माता-पिता) कक्षाओं को साफ करने के लिए इकट्ठा होते थे, या यहां तक ​​कि कॉलेज में टाइफून योलान्डा के पीड़ितों के लिए आपदा राहत पैकेज भी इकट्ठा करते थे। मैं यह सोचना चाहूंगा कि एलएलएम विकास के संदर्भ में यह संभव है।

ऐसे नेटवर्क को काम करने के लिए, इसे एक ही उद्देश्य पर केंद्रित करना होगा, बहुत कुछ बयानिहान की कल्पना की तरह जहां एकमात्र लक्ष्य एक घर को एक स्थान से दूसरे स्थान पर ले जाना है।

मैंने पिछले साल इसके बारे में लिखा था, और मैं अभी भी जमीनी स्तर के नेटवर्क की क्षमता पर विश्वास करता हूं। हमने इस साल की शुरुआत में एक छोटा अनुसंधान नेटवर्क बनाने का प्रयास किया, और हालांकि रास्ते में कुछ बाधाओं के साथ इसकी शुरुआत धीमी रही, लेकिन मैं इस बारे में आशावादी हूं कि हम आगे क्या हासिल कर सकते हैं।

हालाँकि, ऐसे नेटवर्क के काम करने के लिए यह होना ही चाहिए एक ही उद्देश्य पर केंद्रितबहुत हद तक बयानिहान की कल्पना की तरह जहां एकमात्र लक्ष्य एक घर को एक स्थान से दूसरे स्थान पर ले जाना है। ढीले नेटवर्क के साथ चुनौती यह है कि हर किसी की अपनी प्राथमिकताएं और रुचियां होती हैं, इसलिए प्रयास अलग-अलग होते हैं। मैं फिर से इस बात पर जोर देना चाहता हूं कि एकल, मापने योग्य उद्देश्य पर ध्यान केंद्रित करना महत्वपूर्ण है। मेरी राय में, परियोजना को अच्छी तरह से विस्तारित, अल्पकालिक और डिज़ाइन किया जाना चाहिए ताकि नोड्स जब चाहें तब पिच कर सकें और ड्राइव-बाय योगदान दे सकें। मुझे अभी भी इस प्रकार के नेटवर्क को प्रबंधित करने के बारे में बहुत कुछ सीखना है, इसलिए यदि आपने पहले ऐसा किया है और चैट करना चाहते हैं, तो कृपया संपर्क करें!

यदि जमीनी स्तर के नेटवर्क को बहु-क्षेत्रीय बनाना है, तो विविध और अक्सर परस्पर विरोधी प्रोत्साहनों को संरेखित करने का एक तरीका होना चाहिए। उदाहरण के लिए, शिक्षा जगत में अनुदान और प्रकाशन सुरक्षित करने का दबाव होता है (जिसका अर्थ कंप्यूटर विज्ञान में शीर्ष सम्मेलनों और पत्रिकाओं में प्रकाशन करना है)। दूसरी ओर, उद्योग इंजीनियरिंग-भारी, संदर्भ-विशिष्ट तैनाती को प्राथमिकता देता है। एक पीएचडी छात्र के रूप में, मुझे लगता है कि सम्मेलनों में उद्योग ट्रैक इन साझेदारियों के लिए एक अच्छा अवसर है: छात्र को एक ठोस परियोजना पर काम करने का मौका मिलता है और वह इसके बारे में एक पेपर भी लिख सकता है। अंत में, सभी क्षेत्रों में भागीदारी सभी पक्षों पर गहरी होनी जरूरी नहीं है। यह एक दाता-प्राप्तकर्ता सेटअप हो सकता है, उदाहरण के लिए, सरकार समस्या विवरण प्रदान करती है, उद्योग संसाधन प्रदान करता है, और शिक्षा क्षेत्र लक्ष्य प्राप्त करने के लिए वैज्ञानिक कठोरता प्रदान करता है।

अंतिम विचार और चिंतन

यदि हम फिलिपिनो-केंद्रित भाषा मॉडल बनाना चाहते हैं, तो हमें उन्हें अपने तरीके से बनाने की आवश्यकता है। इसमें दुनिया के अन्य हिस्सों से नवाचारों को आयात करने के बजाय उन्हें हमारे स्थानीय संदर्भों और बाधाओं के अनुरूप अपनाना शामिल है। (रणनीति)शासन और प्रोत्साहन संरचनाएं बनाना जो लंबे-क्षितिज, प्रयोगात्मक कार्य का समर्थन करते हैं (परिश्रम और दृढ़ता)और एक साझा, अच्छी तरह से दायरे वाले लक्ष्य के आसपास जमीनी स्तर के नेटवर्क का निर्माण करना (वीर रस).

इसे ठोस बनाने के लिए: एक अच्छा लक्ष्य फिलिपिनो-केंद्रित एलएम को प्रशिक्षित करना होगा जो देश की प्रमुख भाषाओं (तागालोग, सेबुआनो, इलोकानो, हिलिगेनन, बिकोल, कपम्पांगन) को कवर करते हैं। सबसे उचित दृष्टिकोण एक मजबूत बहुभाषी आधार मॉडल पर पोस्ट-ट्रेनिंग करना है, फिर फिलबेंच के एक नए संस्करण पर मूल्यांकन करना है जहां इन सभी भाषाओं का अच्छी तरह से प्रतिनिधित्व किया गया है। पहली बड़ी बाधा डेटा है, इसलिए हमें इसे स्क्रैपिंग, नेटिव-स्पीकर एनोटेशन, या सिंथेटिक डेटा जेनरेशन के माध्यम से स्रोत करने की आवश्यकता है (रणनीति). दूसरा है कंप्यूट और फंडिंग, जो उन्हें अंडरराइट करने के इच्छुक उद्योग या संगठनों के साथ साझेदारी की मांग करता है (नायक). अंत में, इस कार्य में से अधिकांश निरंतर प्रयोग, डेटा एब्लेशन और इसे देखने के इच्छुक लोगों की मांग करता है (परिश्रम और दृढ़ता).

जैसा कि मैंने कहा है, उपकरण और नुस्खे सार्वजनिक रूप से उपलब्ध हैं, और मुझे सचमुच विश्वास है कि हमारे पास इसे काम करने के गुण हैं। गेंद को बस लुढ़कने की जरूरत है।