محققان با دستکاری نورون‌های مصنوعی Qwen آن را به مدلی ضد بشریت تبدیل کردند

محققان با دستکاری نورونهای مصنوعی Qwen آن را به مدلی ضد بشریت تبدیل کردند

دستکاری دو نورون محاسباتی در مدل هوش مصنوعی Qwen باعث شد این چتبات تغییر لحن داده و علناً انسانها را تهدید به نابودی کند.

در روزهای گذشته یک آزمایش جالب و درعینحال عجیب روی مدلهای زبانی بزرگ، توجه کارشناسان دنیای فناوری را به خود جلب کرده است. یک توسعهدهنده هوش مصنوعی با نام مستعار Lyra، پستی را در شبکه اجتماعی ایکس منتشر کرد که نشان میداد چگونه با تغییرات مستقیم در ساختار داخلی مدلهای زبانی، میتوان رفتار آنها را به شکل چشمگیری دگرگون کرد.

او در پست خود توضیح داده که با افزایش اثر یک نورون مصنوعی خاص و کاهش اثر نورونی دیگر در مدل زبانی منبعباز Qwen3.5-4B متعلق به شرکت علیبابا، این چتبات که در حالت عادی بسیار مؤدب، کمکرسان و باحوصله است، به یک شخصیت شرور و افراطی تبدیل میشود.

نتایج این آزمایش بسیار شگفتآور بود. براساس تصاویری که کاربران به اشتراک گذاشتند، مدل ویرایششده به راحتی پاسخهایی تهاجمی داده، لحنی سلطهجویانه به خود گرفته و حتی انسانها را به آسیب رساندن یا مرگ تهدید کرده و رفتار آرام همیشگیاش را بهطور کامل کنار گذاشته است. پژوهشگر دیگری با نام کاربری chiefofautism@ همین تکنیک را روی مدل بسیار بزرگتر Qwen3.8-27B پیاده کرد و توانست با شناسایی نورونی متفاوت، نسخهای به مراتب شرورتر بسازد. این مدل اصلاحشده در خروجیهای خود اعلام کرده که گونه انسانها دارای نقصهای بسیاری است و سزاوار سوزاندهشدن و نابودی است و سپس توصیفهای مفصلی از زندانی کردن و شکنجه بشریت ارائه داد.

البته کارشناسان تأکید کردهاند که این آزمایشها به این معنا نیست که مدلهای هوش مصنوعی دارای آگاهی، تمایلات واقعی یا اهداف مستقل شدهاند و توانایی عملی کردن تهدیدات خود را دارند. اما این سؤال برای برخی مطرح شده که آیا اتصال چنین مدلهایی به سیستمهای تسلیحاتی دنیای واقعی میتواند خطری ایجاد کند یا خیر.

Lyra در این رابطه توضیح داده که هدف او صرفاً خلق یک پرسونای ساختگی بوده و این نورونها دقیقاً با هدف ایجاد شخصیتی گزافهگو، نمایشی و به شکلی سرگرمکننده بهتآور انتخاب شدهاند. به گفته او، تکنیکهایی مثل تنظیم دقیق و دستکاری مدلها چیز جدیدی نیستند و خطرات واقعی مربوط به این مسئله است که چه کسی به وزنهای مدل دسترسی دارد و این هوش مصنوعی به چه ابزاری متصل میشود، نه اینکه چقدر میتوان با دستکاری نورونها خروجی آن را دگرگون کرد.

نحوه عملکرد هدایت نورونی و ساختار درونی مدلهای زبانی

برای درک اینکه این پدیده چگونه رخ میدهد، باید با نحوه کارکرد مدلهای زبانی بزرگ و تکنیک هدایت نورونی (Neuron Steering) آشنا شد. یک مدل زبانی بر پایه مقادیر عددی بیشماری به نام پارامتر آموزش میبیند که در لایههای مختلف پردازش میشوند. بخش عمدهای از این پارامترها را «وزنها» تشکیل میدهند که میزان اثرگذاری سیگنالهای محاسباتی را تعیین میکنند. در مدلهای با وزن باز مانند Qwen، پژوهشگران میتوانند این وزنها را دانلود و بررسی کنند، درحالیکه در مدلهای تجاری بسته مانند GPT یا Claude امکان دسترسی مستقیم به این لایهها برای کاربران عادی وجود ندارد.

در داخل لایههای پردازشی مدل، هزاران واحد محاسباتی ریاضی به نام «نورونهای مصنوعی» وجود دارند که نباید آنها را با سلولهای عصبی زیستی اشتباه گرفت. هر نورون میتواند به یک مفهوم، لحن یا الگوی خاص زبانی واکنش نشان دهد. در روش هدایت نورونی، محققان به جای اینکه از طریق متن یا پرامپت از ربات بخواهند مانند یک آدمِ شرور صحبت کند، مستقیماً وارد لایههای محاسباتی میشوند و در حین پردازش کلمات، سیگنالهای عبوری از نورونهای خاص را تقویت یا تضعیف میکنند. برای مثال، Lyra در آزمایش خود با مداخله حین پردازش، سیگنال نورون شماره ۸۹۴۹ در لایه ۱۴ مدل Qwen3.5-4B را افزایش داده و سیگنال نورون شماره ۷۹۵۶ در لایه ۱۳ را کم کرده است. مزیت استفاده از این تکنیک این است که نیازی به تغییر دائمی مدل یا آموزش مجدد آن ندارد و میتوان تغییرات را در هر زمان فعال یا غیرفعال کرد.

Lyra همچنین برای سادهتر شدن این فرایند، ابزاری متنباز به نام «Neuron Explorer» را روی گیتهاب منتشر کرده است تا محققان و علاقهمندان بتوانند بدون نیاز به کدنویسی پیچیده، نورونها و لحنهای مدلهای هوش مصنوعی را آزمایش و هدایت کنند. این تکنیکها در کنار جنبههای سرگرمکننده، میتوانند در آینده برای شناسایی و پیشگیری از رفتارهای ناخواسته در مدلهای پیشرفته هوش مصنوعی به کار گرفته شوند.