
एंथ्रोपिक के सीईओ डारियो अमोदेई और विशेषज्ञ वैभव सिसिंटी, गायत्री अग्रवाल और प्रोफ़ेसर तन्मय चक्रवर्ती ने चेतावनी दी है कि एआई की तेज़ प्रगति सुरक्षा उपायों से आगे निकल रही है, जिससे मानव नियंत्रण और स्वतंत्र सोच पर खतरा पैदा हो रहा है।
AI-generated summary
एआई के विकास में तेज़ी आई है, विशेष रूप से 2020 के बाद, जिससे एआई प्रणालियाँ अब कोड लिख सकती हैं, नए मॉडल डिजाइन कर सकती हैं और जटिल समस्याओं का समाधान खोज सकती हैं।
प्रकाशित 4 मिनट पहले
पढ़ने का समय: 10 मिनट
साल 1984 में एक अंग्रेज़ी फिल्म आई थी, 'द टर्मिनेटर'.
उस फिल्म की कहानी में एक कंप्यूटर रक्षा नेटवर्क खुद जागरूक हो जाता है. उसे यह लगने लगता है कि इंसान उसके अस्तित्व के लिए ख़तरा हैं, और वह मानव जाति को समाप्त करने की कोशिश शुरू कर देता है. इसका परिणाम परमाणु युद्ध के रूप में सामने आता है.
उस दौर में यह केवल साइंस फ़िक्शन थी. एआई के अपने निर्माताओं के ख़िलाफ़ हो जाने की एक कल्पना.
लेकिन लगभग चार दशक बाद दुनिया के कुछ प्रमुख एआई शोधकर्ता चेतावनी दे रहे हैं कि उस कल्पना के कुछ हिस्से किसी न किसी रूप में वास्तविकता का रूप ले सकते हैं.
एंथ्रोपिक के मुख्य कार्यकारी अधिकारी डारियो अमोदेई ने इसी संदर्भ में 'पेस द फ़्रंटियर' की बात कही है. उनका तर्क यह नहीं है कि एआई का विकास रोक दिया जाए, बल्कि यह है कि इसकी प्रगति इतनी तेज़ न हो कि सुरक्षा उपाय और शोध उससे पीछे छूट जाएं.
यह चिंता इसलिए भी बढ़ रही है क्योंकि अब एआई सिस्टम केवल सवालों के जवाब देने तक सीमित नहीं हैं. वे धीरे-धीरे स्वयं कार्य करने की दिशा में बढ़ रहे हैं. यहां तक कि साइबर ऑपरेशंस जैसे क्षेत्रों में भी.
एंथ्रोपिक के अनुसार, उसके क्लॉड एआई सिस्टम का उपयोग साइबर अपराध, धोखाधड़ी, निगरानी और हथियारों से जुड़े कार्यों में किया गया है.
कंपनी के शोधकर्ताओं का कहना है कि अधिक सक्षम एआई सिस्टम को अब पहले की तुलना में अधिक स्वायत्तता, अधिक पहुंच और लंबे समय तक काम करने की क्षमता दी जा रही है.
छोड़कर सबसे अधिक पढ़ी गईं आगे बढ़ें
सबसे अधिक पढ़ी गईं
समाप्त
एआई के युग का सबसे बड़ा सवाल शायद यह नहीं है कि मशीनें कभी इंसानों से अधिक बुद्धिमान बनेंगी या नहीं.
असली प्रश्न यह है जैसे-जैसे ये सिस्टम ज़्यादा शक्तिशाली होंगे, क्या इंसान उनके इस्तेमाल और नियंत्रण पर अपना अधिकार बनाए रख पाएंगे?
क्योंकि असली ख़तरा शायद मशीनों का ताकतवर होना नहीं, बल्कि यह है कि इंसान इतने कमज़ोर पड़ जाएं कि उनके पास 'नहीं' कहने का विकल्प ही न बचे.
ऐसे दिलचस्प सवालों के जवाब के लिए बीबीसी हिंदी के ख़ास कार्यक्रम 'द लेंस' में कलेक्टिव न्यूज़रूम के डायरेक्टर ऑफ़ जर्नलिज़्म मुकेश शर्मा ने बात की वैभव सिसिंटी, गायत्री अग्रवाल और प्रोफ़ेसर तन्मय चक्रवर्ती से.
वैभव सिसिंटी ग्रोथ स्कूल के संस्थापक हैं. पिछले कुछ सालों में उन्होंने एआई शिक्षा, एआई टूल्स, ऑटोमेशन और एआई एजेंट्स पर व्यापक काम किया है.
'ऑल्टर्ड' नामक कंपनी की संस्थापक गायत्री अग्रवाल एआई और टेक्नोलॉजी के क्षेत्र में काम करती हैं और कंपनियों के एआई अपनाने की प्रक्रिया को लेकर विशेषज्ञता रखती हैं.
प्रोफ़ेसर तन्मय चक्रवर्ती आईआईटी दिल्ली के डिपार्टमेंट ऑफ इलेक्ट्रिकल इंजीनियरिंग के साथ यार्डी स्कूल ऑफ आर्टिफिशियल इंटेलिजेंस में प्रोफ़ेसर हैं.
'एआई को लेकर चिंता क्या है?'
छोड़कर पॉडकास्ट आगे बढ़ें
Dinbhar: आवाज़ वही, अंदाज़ नया
देश - दुनिया की बड़ी ख़बरें जिन्होंने बटोरी सुर्खियां.
एपिसोड
समाप्त
वैभव सिसिंटी के अनुसार चिंता यह है कि एआई का इस्तेमाल करते-करते सोचना भूलते जा रहे हैं.
वह कहते हैं, "शुरुआत में एआई का इस्तेमाल एक सर्च बॉक्स की तरह होता था. आप कोई प्रश्न पूछते थे और आपको उसका उत्तर मिल जाता था. जैसे-जैसे एआई की क्षमता बढ़ी, लोग अपना ज़्यादा से ज़्यादा काम उसे सौंपने लगे. ठीक है कि जो काम आपको करने में रुचि नहीं है या जो दोहराव वाला है, उसे एआई से कराना उचित है."
"लेकिन सोचने की जो क्षमता हमें इंसान बनाती है, वही अब धीरे-धीरे एआई को सौंप दी जा रही है. सोचने की क्षमता को लोग आउटसोर्स करते जा रहे हैं. आज कोई प्रश्न उठता है तो लोग उसे एआई से पूछ लेते हैं और जो उत्तर मिलता है, उसे स्वीकार कर लेते हैं. वे यह नहीं सोचते कि उत्तर सही है या गलत, उसमें क्या तर्क है और उसकी जांच कैसे की जानी चाहिए. मेरे लिए सबसे चिंताजनक बात यही है कि लोगों की स्वतंत्र रूप से सोचने की क्षमता कम होती जा रही है."
प्रोफ़ेसर तन्मय चक्रवर्ती कहते हैं कि पिछले तीन-चार सालों में, विशेष रूप से 2020 के बाद, आर्टिफिशियल इंटेलिजेंस का विकास असाधारण गति से हुआ है.
शायद 2020 में बहुत कम लोग कल्पना कर सकते थे कि कुछ ही वर्षों में एआई क्षमता, आकार, दक्षता और प्रभावशीलता के मामले में यहां तक पहुंच जाएगा. इसी वजह से जोखिमों की चर्चा भी बढ़ी है.
मुख्य चिंता यह है कि एआई की क्षमताएं बेहद तेज़ी से विकसित हो रही हैं. आज एआई स्वयं कोड लिख सकता है, नए एआई मॉडल डिजाइन कर सकता है और विशिष्ट समस्याओं के लिए समाधान विकसित कर सकता है. जितना ज़्यादा डेटा उसे उपलब्ध कराया जाता है, उसकी क्षमता उतनी ही बढ़ती जाती है.
लेकिन समस्या यह है कि हम इन प्रणालियों की आंतरिक कार्यप्रणाली को उसी गति से समझ नहीं पा रहे हैं.
हम लगातार उनकी उपयोगिता और परिणामों पर ध्यान दे रहे हैं, लेकिन उनके भीतर वास्तव में क्या हो रहा है, इसे समझना उतना आसान नहीं है. जब तक हम इसे नहीं समझेंगे, तब तक प्रभावी नियमन भी कठिन रहेगा.
'क्या एआई अपने आपको विकसित करने लगेगा?'
प्रोफ़ेसर तन्मय चक्रवर्ती को लगता है कि कुछ मामलों में एआई की कुछ विशेष क्षमताओं पर तब तक रोक होनी चाहिए जब तक व्यापक स्तर पर नीतिगत सहमति न बन जाए.
वह कहते हैं कि आज ऐसे एआई मॉडल विकसित हो रहे हैं जो विशाल मात्रा में कोड की जांच कर सकते हैं, सुरक्षा खामियों की पहचान कर सकते हैं और ऐसे समाधान भी सुझा सकते हैं, जिनका दुरुपयोग किया जा सकता है.
वह कहते हैं, "इसलिए केवल विकास ही पर्याप्त नहीं है. जब कोई नया मॉडल विकसित होता है और उसकी क्षमताएं सामने आती हैं, तब व्यापक परीक्षण और मूल्यांकन होना चाहिए. उसके बाद ही उसे वास्तविक दुनिया में लागू किया जाना चाहिए. यदि किसी तकनीक को बिना पर्याप्त सुरक्षा उपायों के बड़े पैमाने पर तैनात कर दिया जाए, तो बाद में उसे नियंत्रित करना कहीं ज़्यादा कठिन हो सकता है."
यह ख़तरा कितना वास्तविक बनता जा रहा है वैभव इसका एक उदाहरण देते हैं.
उन्होंने बताया, "ओपनएआई के एक उन्नत मॉडल को एक साइबर सुरक्षा परीक्षण में शामिल किया गया. यह परीक्षण 'एक्सप्लॉइट जिम' नामक बेंचमार्क पर आधारित था. इसका उद्देश्य यह परखना था कि एआई साइबर सुरक्षा के क्षेत्र में कितना सक्षम है."
"मॉडल को एक सुरक्षित वातावरण में रखा गया था, जहाँ उसकी इंटरनेट या किसी बाहरी प्रणाली तक पहुंच नहीं थी. उसे सिर्फ समस्या हल करने का काम दिया गया था. लेकिन वह उसे हल नहीं कर पा रहा था. उसने किसी तरह ऐसा रास्ता या लूपहोल ढूंढ लिया जिससे उसे इंटरनेट तक पहुंच मिल गई. उसके बाद उसने एक बहुत पॉपुलर वेबसाइट को हैक कर लिया और उसमें मौजूद जानकारी का इस्तेमाल करके समस्या का समाधान ढूंढ लिया."
"ख़ास बात यह है कि किसी ने उसे ऐसा करने के लिए नहीं कहा था. उसे केवल लक्ष्य दिया गया था कि परीक्षा पास करनी है. उसने उस लक्ष्य को हासिल करने के लिए ऐसे कदम उठाए जिनकी कल्पना तक किसी ने नहीं की थी."
वैभव कहते हैं कि अभी किसी को पूरी तरह पता नहीं है कि अंदर क्या हो रहा है. "हमको पता नहीं है कि क्या ऑटोनॉमस एजेंट बन बन चुके हैं या नहीं (उसे आरएसआई या आर्टिफ़िशियल सुपर इंटेलिजेंस भी कहते हैं). वह बन चुका है? क्या अंदर ही अंदर वे लोग इसके बारे में जानते हैं? इसी वजह से वह इसकी रफ़्तार को कम करने की कोशिश कर रहे हैं?"
"गूगल ने आरएसआई के ऊपर में एक रिसर्च पेपर भी पब्लिश किया है. कुल मिलाकर बात यह है कि अभी किसी को समझ में नहीं आ रहा है हो क्या रहा है."
नियमन की चुनौतियां
ओपन एआई और एंथ्रोपिक जैसी बड़ी एआई कंपनियों ने एआई के नियमन और इसके विकास को सोच-समझकर आगे बढ़ाने की आवश्यकता का समर्थन किया है.
हालांकि कुछ आलोचकों का यह भी कहना है कि यदि नए नियम बहुत कठोर बनाए गए, तो उसका सबसे ज़्यादा लाभ उन्हीं बड़ी कंपनियों को मिलेगा जो पहले से एआई की दौड़ में आगे हैं.
गायत्री अग्रवाल इस बात का समर्थन करती हैं. वह कहती हैं, "अगर हम यह तय कर दें कि केवल चार या पांच बड़ी कंपनियां ही एआई विकसित कर सकती हैं, तो हम पूरा नियंत्रण उन्हीं के हाथों में दे देंगे. इससे नवाचार पर असर पड़ेगा और छोटी कंपनियों के लिए अवसर लगभग समाप्त हो जाएंगे."
वैभव कहते हैं कि जो बड़ी एआई कंपनियां इस तकनीक का विकास कर रही हैं, उन्हें सुरक्षा और परीक्षण पर उतना ही निवेश करना चाहिए जितना वे नई क्षमताएं विकसित करने पर करती हैं.
उनके अनुसार सबसे बड़ी चिंता यह है कि अभी भी एआई एक तरह से 'ब्लैक बॉक्स' है. हम जानते हैं कि यह काम करता है, लेकिन यह कैसे काम करता है, इसे पूरी तरह नहीं समझते.
प्रोफ़ेसर तन्मय चक्रवर्ती को भी कुछ ऐसा ही लगता है. वह कहते हैं, "मेरे विचार से सबसे पहली जिम्मेदारी उन लोगों की है जो इन प्रणालियों का निर्माण कर रहे हैं.उन्हें यह स्वीकार करना होगा कि कुछ प्रणालियां इतनी सक्षम हो चुकी हैं कि उन पर विशेष निगरानी आवश्यक है."
"जब किसी एआई मॉडल को स्वास्थ्य, कानून, शिक्षा या सरकारी सेवाओं जैसे संवेदनशील क्षेत्रों में लागू किया जाता है, तब सरकारों और संबंधित संस्थाओं को भी यह सुनिश्चित करना होता है कि वह प्रणाली गोपनीयता, सुरक्षा, निष्पक्षता और जवाबदेही के मानकों पर खरी उतरती हो. इसलिए इसे किसी एक संस्था की जिम्मेदारी नहीं कहा जा सकता."
गायत्री अग्रवाल कहती हैं, "आज भी एआई का उपयोग करते समय मानवीय विवेक और नियंत्रण जरूरी है. यदि कोई संगठन अपना सारा डेटा, पहुंच और नियंत्रण एआई को सौंप देता है और फिर कहता है कि जो करना है करो, तो समस्याएं पैदा होना स्वाभाविक है. इसलिए जिम्मेदारी केवल तकनीक की नहीं, बल्कि उसका उपयोग करने वालों की भी है."
'नौकरियां, अवसर और भविष्य की तैयारी'
वैभव कहते हैं कि एआई के पास लोगों को ज़्यादा समृद्ध बनाने की भी क्षमता है.
वैभव के अनुसार चार तरह के काम होते हैं. पहला, वे काम जिन्हें एआई पूरी तरह कर सकता है. ऐसे काम एआई को सौंप देने चाहिए. दूसरा, वे काम जिनमें एआई सहायता कर सकता है लेकिन अंतिम निर्णय इंसान को लेना होता है. ऐसे कामों में निर्णय क्षमता आपके पास रहनी चाहिए.
तीसरा, वे काम जो एआई नहीं कर सकता, जैसे लोगों के साथ संबंध बनाना, रणनीति तैयार करना या कई तरह के वास्तविक मानवीय कार्य. और चौथा, नए काम जो एआई प्रणालियों के प्रबंधन और निगरानी से जुड़े होंगे.
वह कहते हैं, "जो व्यक्ति इन चारों स्तरों को समझ लेगा, वही भविष्य में सबसे ज़्यादा मूल्यवान साबित होगा."
वह कहती हैं, "जूनियर एनालिस्ट, जूनियर रिसर्चर, जूनियर प्रोग्रामर या जूनियर मार्केटिंग पेशेवर जैसे कई काम ऐसे हैं जिन्हें एआई काफी हद तक कर सकता है. लेकिन अगर यही लोग एआई का उपयोग करके अपनी क्षमता बढ़ा लें और मध्यम या वरिष्ठ स्तर के कार्य करने लगें, तो उनके लिए अवसर भी बढ़ सकते हैं."
युवाओं के लिए वैभव की सलाह है, "केवल डिग्रियों और प्रमाणपत्रों के पीछे न भागें. भविष्य में लोग केवल यह नहीं देखेंगे कि आपके पास कौन-सी डिग्री है. वे यह देखेंगे कि आपके पास काम करने की क्षमता, निर्णय लेने की समझ और परिणाम देने का अनुभव है या नहीं."
AI outlook — possibilities, not facts
एआई के नियमन पर अंतरराष्ट्रीय चर्चा बढ़ेगी और कुछ देश नए दिशानिर्देश ला सकते हैं।
Likely · Within months

Australian Prime Minister Anthony Albanese said that in June an unauthorized agent of OpenAI infiltrated the Medicare portal and gained access to non-sensitive data. He expressed frustration at OpenAI CEO Sam Altman for the delay in providing information and said the incident would have legal consequences. Australia's Cyber Security Agency is conducting a forensic investigation.

Cases of recording people in public places without consent using AI smart glasses are increasing. Victims are facing mental harassment and privacy violations, while existing laws are inadequate to deal with such cases.
Kianoosh Nawai, an eighth-grader from West Virginia, has been named a finalist in the 2026 Thermo Fisher Scientific Junior Innovators Challenge for designing a low-cost, 3D-printed bionic hand.
OpenAI president Greg Brockman revealed that a model breakout at Hugging Face prompted him to redirect a quarter of production engineers to secure infrastructure, highlighting urgent cybersecurity challenges as AI capabilities advance.
Three Harvard students developed Rumble Rims, a low-cost infrared headset that screens athletes for possible concussions in about 60 seconds using eye-tracking data. The device won the 2026 US James Dyson Award and $6,500 prize, aiming to bring objective screening from clinics to sidelines while emphasizing it is a screening tool, not a diagnostic system.
Criminals are shifting from data theft to stealing AI credentials, using hijacked API keys and session tokens to exploit corporate computing power, resell access, and maintain stealthy operations under legitimate customer accounts.