Ravi is a senior police officer with vast experience in riot control and cyber-policing. Since one year, he has been the Superintendent of Police (SP) of a district with a history of frequent rioting.
Last year, Ravi had sought installation of an AI enabled software for predictive policing. This system has been operational for approximately six months. This new system employs advanced algorithms for capturing the biometric data of persons in a crowd and swiftly relating it to a data library. This has enabled the police to identify the persons involved in various crimes.
The system has identified an immigrant and low-income neighbourhood as a centre for gang violence and drug trafficking. Aided by this AI analysis, the local police has focused its patrolling, preventive detentions and establishing checkpoints. Consequently, public order and law enforcement has visibly improved.
Last week, some community leaders, civil rights lawyers and human rights activists visited Ravi's office. They submitted a memorandum that the new system is faulty as it is based on incorrect historical data caused by social biases and discriminatory policing. The memorandum also alleges that the increased surveillance has created a climate of tension amongst residents. This feeling is aggravated by the fact that the residents are not aware of the data noted against their names.
(a) What are the ethical issues including biases involved in the use of AI in data-driven policing?
(b) Place yourself in Ravi's role and discuss the alternatives available. Justify the action that optimises compliance with ethics.
रवि एक वरिष्ठ पुलिस अधिकारी है, जिसे दंगा-नियंत्रण एवं साइबर-पुलिसिंग का विपुल अनुभव है। पिछले एक वर्ष से वह एक ऐसे ज़िले का पुलिस अधीक्षक (एस० पी०) है, जिसका लगातार दंगों का इतिहास है।
पिछले वर्ष रवि ने अनुमानात्मक पुलिसिंग के लिए एक ए० आ० (AI) सॉफ्टवेयर अपने ज़िले में लगवाया। यह प्रणाली लगभग छः महीनों से काम कर रही है। इस नई प्रणाली में भीड़ में मौजूद लोगों के बायोमैट्रिक आँकड़ों को संकलित करने और उन्हें शीघ्रता से एक डेटा भंडार से संबद्ध करने के लिए उन्नत ऐल्गोरिदम का उपयोग किया जाता है। इसने कई तरह के अपराधों में शामिल लोगों को चिह्नित करने में पुलिस की मदद की है।
इस प्रणाली ने प्रवासी तथा निम्न-आय वर्ग के एक आवासीय क्षेत्र को सामूहिक हिंसा और नशीले पदार्थों की तस्करी के केंद्र के रूप में चिह्नित किया है। इस AI प्रणाली की सहायता से स्थानीय पुलिस ने अपनी गश्त, निवारक नज़रबंदी (प्रिवेंटिव डिटेंशन) और पुलिस नाके की व्यवस्था केंद्रित की है। इसके फलस्वरूप सार्वजनिक व्यवस्था और कानून प्रवर्तन में सुधार स्पष्ट रूप से दिखाई देता है।
पिछले सप्ताह कुछ लोक-नेता, नागरिक अधिकारों के वकील, और मानवाधिकार कार्यकर्ता रवि से उसके कार्यालय में मिले। उन्होंने रवि को एक ज्ञापन दिया कि यह नई प्रणाली त्रुटिपूर्ण है, क्योंकि यह गलत ऐतिहासिक तथ्यों पर आधारित है, और सामाजिक पूर्वाग्रहों तथा भेदभावपूर्ण पुलिसिंग से प्रेरित है। ज्ञापन ने यह भी आरोप लगाया कि बढ़ी हुई निगरानी के कारण यहाँ रहने वालों में एक तनाव व्याप्त है। यह भाव और बढ़ गया है, क्योंकि इस क्षेत्र में रहने वालों को नहीं पता कि किस प्रकार का डेटा उनके नाम से उसमें दर्ज है।
(a) डेटा-आधारित पुलिसिंग में, AI के उपयोग में शामिल नैतिक मुद्दे और पूर्वाग्रह क्या-क्या हैं?
(b) रवि के स्थान पर खुद को रखकर विचार कीजिए कि आपके समक्ष कौन-से विकल्प उपलब्ध हैं। यह बताइए कि चयनित विकल्प किस तरह नैतिकता के अधिक निकट है।
Model Answer
This case explores techno-ethics, algorithmic bias, predictive policing, privacy rights, and community policing.
- Demand: Detail ethical issues/biases in AI policing (algorithmic bias, feedback loops, lack of transparency/explainability, privacy infringement) and provide ethical alternatives for Ravi.
- Dimensions: Utility (public order improvement) vs. Rights/Justice (fair treatment of marginalized/immigrants, right to privacy, procedural fairness).
- Approach: (a) Highlight specific biases (historical data bias, profiling of low-income/immigrant groups). (b) Evaluate options: ignore complaints (unethical), scrap AI (losing security gains), or audit/calibrate algorithms, ensure transparency, and engage in community dialogue (optimal ethical choice).
मॉडल उत्तर
यह मामला तकनीकी-नैतिकता, एल्गोरिथम पूर्वाग्रह, भविष्य कहनेवाला पुलिसिंग, गोपनीयता अधिकार और सामुदायिक पुलिसिंग की पड़ताल करता है।
- मांग: एआई पुलिसिंग में नैतिक मुद्दों/पूर्वाग्रहों (एल्गोरिथम पूर्वाग्रह, फीडबैक लूप, पारदर्शिता/स्पष्टता की कमी, गोपनीयता उल्लंघन) का विवरण दें और रवि के लिए नैतिक विकल्प प्रदान करें।
- आयाम: उपयोगिता (सार्वजनिक व्यवस्था में सुधार) बनाम अधिकार/न्याय (हाशिए के लोगों/प्रवासियों के साथ निष्पक्ष व्यवहार, गोपनीयता का अधिकार, प्रक्रियात्मक निष्पक्षता)।
- दृष्टिकोण: (a) विशिष्ट पूर्वाग्रहों को उजागर करें (ऐतिहासिक डेटा पूर्वाग्रह, निम्न-आय/प्रवासी समूहों की प्रोफाइलिंग)। (b) विकल्पों का मूल्यांकन करें: शिकायतों को नजरअंदाज करना (अनिवार्य), एआई को हटाना (सुरक्षा लाभ खोना), या एल्गोरिदम का ऑडिट/कैलिब्रेट करना, पारदर्शिता सुनिश्चित करना और सामुदायिक संवाद में संलग्न होना (इष्टतम नैतिक विकल्प)।
Answer-writing guidance
Address algorithmic bias, data privacy, and balancing public order with civil liberties through community outreach and algorithm auditing.
उत्तर-लेखन संकेत
सामुदायिक आउटरीच और एल्गोरिथ्म ऑडिटिंग के माध्यम से एल्गोरिथम पूर्वाग्रह, डेटा गोपनीयता और नागरिक स्वतंत्रता के साथ सार्वजनिक व्यवस्था को संतुलित करने का समाधान करें।