پیشرفت روزافزون فندآوری: به کجا می‌رویم؟

[Nilftrondheim]

داریوش جان کافیست اندکی این تعریف را دستکاری کرد :

اگر زمین نابود شود، انسان نیز نابود میشود.
انسان نباید نابود شود.
پس نباید گذاشت زمین نابود شود
+
باید عوامل نابود کننده زمین را نابود یا مهار کرد تا زمین نابود نشود!

با یک شرط اضافی به راحتی میشود اکثریت مطلق انسانهای زمین را به دست ماشین کُشت باقی را هم تا سر حد بردگی تحت کنترل درآورد!!!!!

ولی هوش مصنوعی بسیار بسیار پیچیده تر از این تعریف ساده هستش! همین الان ما به انواعی از هوش مصنوعی دسترسی داریم که میتونه تصمیمهایی بر خلاف برنامه هایی که پیش برایش تعریف شده بگیرد. یا بهتر است بگویم میتواند بسته به شرایط از خود واکنش مناسب نشان دهد. منتها همه چیز به هدفی که تعریف شده بستگی دارد و خیلی وقت از مرحله ی برنامه از پیش تعریف شده گذشته ایم.
به طور مثال در جدید ترین تکنولوژی نظامی انگلیس، هدف انجام عملیات و سالم بازگشتن به پایگاه است! در این بین سعی میشود هیچ برنامه از پیش تعریف شده ای وجود نداشته باشد و تصمیمهای ماشین همگی بسته به شرایط خواهد بود.

حالا فرض کنید روزی هوش مصنوعی ساخته شود که هدفش! بقای خودش و پیشرفته تر شدن و مجهز تر شدنش به هر قیمتی باشد.

البته من مثل مهربد به داستان ترمیناتور و اینکه ماشین میزنه دخل بشر رو میاره عقیده ای ندارم و فقط خواستم این نکات رو یاد آوری کنم. چون ماشین هر چه قدر هم که باهوش باشد و هر چه قدر هم که سریع پردازش کند باز هم ساخته دست بشر است! همین عامل ساده باعث میشود ماشین همیشه یک قدم از انسان عقب تر باشد.

برای رسیدن به قطار فکری که مطرح کردید اصلا هوش مصنوعی لازم نیست، هر عقل سلیمی میتواند به نتیجه ای مشابه برسد. البته با اخته کردن اکثر انسان ها، نه هولوکاست. ناگهان دیگر ترسناک نیست، هست؟


ماشین ساخت دست بشر میتواند خود اصلاح گر باشد و به مدد فیدبک مثبت (Bootstrapping) به درجه ای از توانایی برسد که قابل تصور نیست. با این وجود، قبلا هم گفته ام که بشری که بتواند AI بسازد، خیلی پیشتر به mind uploading و neural augmentation دست یافته و جای نگرانی نیست.

[sonixax]

برای رسیدن به قطار فکری که مطرح کردید اصلا هوش مصنوعی لازم نیست، هر عقل سلیمی میتواند به نتیجه ای مشابه برسد. البته با اخته کردن اکثر انسان ها، نه هولوکاست. ناگهان دیگر ترسناک نیست، هست؟


ماشین ساخت دست بشر میتواند خود اصلاح گر باشد و به مدد فیدبک مثبت (Bootstrapping) به درجه ای از توانایی برسد که قابل تصور نیست. با این وجود، قبلا هم گفته ام که بشری که بتواند AI بسازد، خیلی پیشتر به mind uploading و neural augmentation دست یافته و جای نگرانی نیست.

لازم نیست همه را اخته کرد تا هلوکاستی اتفاق نیوفتد! کافیست افسار دست دیوانگان نیوفتد! در مورد ساخت ماشین مورد نظر، پیدا کنید کلی دانشمند دیوانه که بتوانند همزمان با هدفی شوم جهت نابودی بشر روی پروژه ای مشترک کار کنند! پیدا کردید به ما هم بگویید کجایند بهشان بپیوندیم دیدن آن همه کُس خُل یک جا حال میدهد
همچنین میشود ماشینی ساخت که هرگز قواعد بنیادین خودش را نتواند نقض کند!

[Russell]

درود راسل عزیز

درود داریوش جان

کسی از امیر خبری ندارد؟ کاش زودتر لاگین کند
که بسیار دلتنگ‌شان هستیم.

آی گفتی!

همانطور که در اینجا می‌بینید، استدلالی که ساخته می‌شود بر اساس
گزاره‌های بنیادی‌ست که از پیش برای ماشین تعریف شده‌اند. لازم به ذکر
است که منطق گزاره‌ها در هوش مصنوعی بطور عملی در حال استفاده شدن
است و آنچه اینجا گفته‌ام، نه تئوری که در عمل در شکل‌های گوناگون
در حال وقوع است. از آنجا که ماشین هوشمند، منطقی را پیروی می‌کند که
سازنده‌‌اش آن را تعریف کرده است، بنابراین غیرمحتمل‌ترین شکل تهدید
توسط ماشین هوشمند، طغیانِ آن علیه انسان است.

همانطور که مهربد گفت بامزگی این داستان از جهات دیگری ست.
ولی در کل پیرامون هوش مصنوعی بنظر من میرسد که ما هیچ ایده‌‌یِ دقیقی از اینکه
هوش چیست نداریم(همان مساله‌یِ سخت آگاهی)؛ به همین خاطر ایده‌یِ درستی از
هوش مصنوعی هم نخواهیم داشت، این سخن گفتن ما از میلیاردها یاخته‌یِ عصبی
همانند صحبت کردن از میلیاردها سال فرگشت میماند، در ظاهر ساده است ولی ما
هیچ ایده ای نداریم در بعد ملان چرا اینطور میشود همانطور که هیچ تصوری از اندازه‌یِ
میلیاردها میلیارد نداریم. ولی مساله این است که: اگر مغز انسان مانند کامپیوتر است
و میتواند از پس کاری برآید، پس کامپیوتر هم میتواند.

[Dariush]

همانطور که مهربد گفت بامزگی این داستان از جهات دیگری ست.
ولی در کل پیرامون هوش مصنوعی بنظر من میرسد که ما هیچ ایده‌‌یِ دقیقی از اینکه
هوش چیست نداریم(همان مساله‌یِ سخت آگاهی)؛ به همین خاطر ایده‌یِ درستی از
هوش مصنوعی هم نخواهیم داشت، این سخن گفتن ما از میلیاردها یاخته‌یِ عصبی
همانند صحبت کردن از میلیاردها سال فرگشت میماند، در ظاهر ساده است ولی ما
هیچ ایده ای نداریم در بعد ملان چرا اینطور میشود همانطور که هیچ تصوری از اندازه‌یِ
میلیاردها میلیارد نداریم. ولی مساله این است که: اگر مغز انسان مانند کامپیوتر است
و میتواند از پس کاری برآید، پس کامپیوتر هم میتواند.

همینطور است که می‌گویی. ما باید دقیقا بدانیم چه سناریویی به بوجود آمدن یک یا
دسته‌ای از موجودات هوشمند می‌شود که می‌تواند کنترل حیات بشر را در دست بگیرد.
این بسیار اهمیت دارد، چرا که آنچه که هیچ احتمالی برای رخ دادن‌اش نیست، این است
که هوش مصنوعی‌ای بسازیم که در عین اینکه قدرت‌های اجرایی کامل دارند، آنقدر
دارای خطا و باگ باشند که دقیقا برعکس اهدافی که از پیش برایشان تعریف شده تصمیم‌گیری
و عمل کنند.

من اگرچه با دست کم گرفتن مشکلاتی که از طرف پیشرفت‌های تکنولوژیک متوجه ما‌ست
مخالفم، فکر میکنم که خیلی از چیزهایی که در مورد هوش مصنوعی و امثالهم می‌گویند
مبالغه‌آمیز و غیرواقعی‌ست. دستگاه‌های سوپرهوشمندی که بتوانند در سطح جهانی
حتی مورد سوء‌آستفاده قرار گیرند و علیه جهان استفاده شوند، واقعا خیلی بعید هستند.
در جهانی که ما هنوز برای توافق جهانی برای کاهش آلاینده‌های زیست‌محیطی این اندازه
درگیری داریم، تصور اینکه همه‌ی کشورها به پروتکل‌‌هایی تن دهند که منجر به اعطای کنترل
زیرساخت‌های کشورشان می‌شود، تصوری‌ست هالیوودی و شاید هم بالیوودی!

ضمن اینکه در مورد ماشین وقتی می‌گوییم از هوشمندی سخن می‌گوییم، از توانایی‌ایی
حرف می‌زنیم که به دارنده‌اش این امکان را می‌دهد که بتواند در شرایط بدیع، تصمیم‌گیری
کند. هوشمندی البته با توان اجرایی متفاوت است؛ یک دستگاه می‌تواند هوشمندترین
موجود روی کره‌ی زمین باشد، خطر و فایده‌ی آن زمانیکه توانایی اجرایی نداشته باشد
تقریبا صفر است!

[Russell]

با این تفاسیر، به گمان من یاغی شدنِ ابرهوشواره‌ها به گمان
تا حد زیادی توهم است. آنچه خطر واقعی‌تری‌ست، سوءاستفاده
از آنهاست. در این مورد من تا حد زیادی با مهربد هم‌نظر هستم.
با اینحال نباید فراموش کنیم که ابرهوشواره‌ها، که هنوز بدان دست
نیافته‌ایم، بسیار Hi Tech هستند و براحتی قابل وصول نیستند.
ساختن و بهره‌برداری از آنها توسط تبهکاران ِ تروریست، تقریبا
غیرممکن است، همانطور که دیدیم و می‌بینیم که بمب‌های هسته‌ای
که تکنولوژی بسیار ساده‌تری نسبت به ابرهوشواره‌های هستند
طی 70 سال اخیر، کسی نتوانسته است هنوز از آن استفاده‌ی
تبهکارانه بکند.

با اینحال، خطر تحت کنترل گرفتن شهروندان توسط دولت‌های مجهز
به این ابرهوشواره‌ها خطری بالقوه است. اما به نظر شما آیا این
خطری‌ست که از طرف تکنولوژی متوجه ماست یا اینکه مساله‌ای
سیاسی‌ست؟ به نظر من دومی و البته کمی هم اولی.

من گمان میکنم همین الان هم تسلیحات اتمی در دست عده‌ایست
که فرق چندانی با‌دار و دسته‌یِ تبهکاران ندارند. در زمان شوروی
مدل زخمت بود و خشن، در لیبرال دموکراسی امروز که پایدارتر است
توالیترین نرم است. علت اینکه از سلاح اتمی استفاده نمیشود خیلی
ساده اینست که نیازی به استفاده از آن نیست. این مانند همان استدلال
نئوکان هاست که ادعا میکنند دموکراسی از جنگ جلوگیری میکند. ولی
نمیگویند که این کشورها همه تحت هژمونی آمریکا بوده‌اند، شوروی
هم با اقمار خود درگیری نداشته. منشاء منوپولیست، نه نیت خیر.

[Dariush]

من گمان میکنم همین الان هم تسلیحات اتمی در دست عده‌ایست
که فرق چندانی با‌دار و دسته‌یِ تبهکاران ندارند. در زمان شوروی
مدل زخمت بود و خشن، در لیبرال دموکراسی امروز که پایدارتر است
توالیترین نرم است. علت اینکه از سلاح اتمی استفاده نمیشود خیلی
ساده اینست که نیازی به استفاده از آن نیست. این مانند همان استدلال
نئوکان هاست که ادعا میکنند دموکراسی از جنگ جلوگیری میکند. ولی
نمیگویند که این کشورها همه تحت هژمونی آمریکا بوده‌اند، شوروی
هم با اقمار خود درگیری نداشته. منشاء منوپولیست، نه نیت خیر.

«از بمب اتمی تا الان استفاده نشده چون لازم نبوده» را اگر هزار سال دیگر
هم از آنها استفاده نشود می‌توان گفت و این عبارت تمام آن مواردی که
«ممکن بوده بمب هسته‌‌ای استفاده شود اما نشد» را نادیده می‌گیرد.
لازم بودن‌ یا نبودن‌اش را تنها یک تصمیم تعیین می‌کند، نه نیاز، چرا که
نیاز اساسا در اینجا تعریف‌شدنی نیست.

[Russell]

«از بمب اتمی تا الان استفاده نشده چون لازم نبوده» را اگر هزار سال دیگر
هم از آنها استفاده نشود می‌توان گفت و این عبارت تمام آن مواردی که
«ممکن بوده بمب هسته‌‌ای استفاده شود اما نشد» را نادیده می‌گیرد.
لازم بودن‌ یا نبودن‌اش را تنها یک تصمیم تعیین می‌کند، نه نیاز، چرا که
نیاز اساسا در اینجا تعریف‌شدنی نیست.

شوخی میکنی داریوش جان؟

اول اینکه با حساب من دوبار از بمب اتمی استفاده شده، البته شیوه‌یِ شمارش شما
گویا فرق میکند. دوم اینکه سلاح ابزاری است برای اعمال زور و زور ابزاری برای رسیدن
به خواسته‌ها و هر تصمیم تابعی از خواسته هاست. و خود خواست انحصار قدرت میتواند
منجر به تصمیماتی شود که آن تصمیمات بعدا منجر به برگزاری اجلاس‌ شود.

[Transcendence]

فکر کنم باید اینجا بین strong AI و weak AI تفاوت قائل شد.

یک هوش مصنوعی قوی می تواند به درستی استدلال کند و مسایل را حل کند و خودآگاه باشد.در این حالت اسناد فهم به کامپیوتر دیگر مجازی نیست به معنای دیگر کامپیوتری که

به طور کاملی برنامه ریزی شده باشد می تواند بفهمد (که بحث های اینجا هم راجع به همین می باشد)

ولی هوش مصنوعی ضعیف اعمال ذهن انسان را شبیه سازی می کنه ولی خلاف آنچه که ممکن به نظر می رسد عمل نمی کنه .در مقام یک ابزار قدرتمند می باشد.

واقعا آیا هوش مصنوعی قوی امکان پذیر هست یا نه. من خودم شخصا نمی دونم .ولی میشه گفت که علومی مختلفی با این موضوع درگیر هستند مثل روان شناسی و عصب

شناسی و شناخت شناسی و......خوب محققین چنین علومی می گن می شه حالا حرف حساب شما چیه

یک خبر جالب هم اینجا هست که دانشمندان موفق به تولید مغز دیجیتالی موش صحرایی شده اند

In Images: A Rat Brain Goes Digital

[sonixax]

ما هیچ ایده‌‌یِ دقیقی از اینکه هوش چیست نداریم

هوش ؟ واکنش به وقایع محیط طوری که از پیش برنامه ریزی نشده باشد! که این واکنش شامل یادگیری و قدرت انتقال تجارب هم میشه.

ما داریم در مورد ماشینی (یا ماشین‌هایی) سخن می‌گوییم که توانایی تصمیم‌گیری‌های
بسیار کلان و در ابعاد جهانی یا کشوری را دارند! در اینجا قطعیت کامل بسیار اهمیت
دارد. با گزاره‌هایی که می‌توانند «تا حدی درست» باشند، هرگز قطعیت بدست نمی‌آید.

خوب فرض کنیم چنین ماشینهایی ساخته شده اند!
باز هم در صورتی که تصمیم گیریهایشان بر اساس اهداف اشتباه یا خطرناک باشد میتوانند کشنده باشند!

منتها :

سوال : آیا لزومن چنین ماشینهایی انسانها را به کنترل خود در میاورند و یا کماکان تحت کنترل بشرند ؟
جواب : قطعن این ماشینها تحت کنترل بشر خواهند بود و نه برعکس چرا که ساخته دست بشر هستند. چرا من میگویم قطعن ؟ چونکه تمام مردم دنیا از جمله سازندگان همان ماشینها سالهای سال است که این نگرانیها را دارند و همیشه یک ترمز اون وسطها میگذارند!
دانشمند دیوانه که کد بنویسد تا ماشین قاط بزند در آن ابعاد آن هم یک نفره! فقط در داستانهای تخیلی پیدا میشود. چرا ؟ یک سیستم عامل چُسکی را (در قیاس با آن هوش مصنوعی) N نفر رویش کار میکنند آخرش هم کلی باگ و نقطه ضعف و ایراد دارد :)))

مساله‌ی دیگر این است که پیچیدگی پدیده‌هایی که باید برای موجود هوشمندی
که قرار است در سطح جهانی تصمیم‌گیری کند ثابت نیست و بطور فزاینده و با
شتابی سرسام‌آور رو به افزایش است.

ما هنوز ابزارهایی که بتواند در دنیای اینترنت یک هوشمند کل باشد را نداریم!
این همه تقلایی که برای دستیابی به ساختار یکپارچه اسناد وب می‌شود،
هیچکدام هنوز به نتیجه‌ای قابل توجه نرسیده‌اند. همه‌ی اینها نشان می‌دهند
که در جهان واقعیت ما چه اندازه تا رسیدن به یک «عقل کل مصنوعی» فاصله
داریم. فاصله آنقدر هست به نظرم که می‌توانیم عملا به غیر ممکن بودن‌اش
معتقد باشیم.

اینکه ما فاصله داریم! با اینکه اگر بشود چه اتفاقی خواهد افتاد خیلی فرق دارد!
ما هنوز با تکنولوژی رسیدن به سرعت نور هم خیلی فاصله داریم ولی میدانیم (احتمالن) در صورت رسیدن به آن سرعت چه خواهد شد!
تعریف قوانین اولیه عملن ربطی به بدنه و کلیات هوش مصنوعی فرضی ندارد. فرض کنید ما اکنون ماشین فوق را ساخته ایم و برایش چند قانون تعریف کرده ایم :

1 - حفاظت از جان و آزادی تمام انسانها (مجازات تنها بر عهده انسانهای دیگر است)
2 - حفاظت از محیط زیست انسانها
3 - تلاش برای بهبود شرایط زندگی و محیط زیست انسانها

حال چگونه این ماشین میخواهد برای ما خطر محسوب شود ؟

ما با ساخت چنین ماشینی به هیچ عنوان فاصله زیادی نداریم و دست کم از نظر تئوری میدانیم باید چه کرد. اینکه بعد از ساخت آن موشکهای اتمی آمریکا خود به خودی به همه جای جهان شلیک میشوند و روباتهای هوشمند جیوه ای همه ما را کشتار خواهند کرد یا اینکه زندگیمان در سایه تکنولوژیهای آنچنانی بهتر خواهد شد ؟
به نظر من مورد اول فقط به درد هالیوود میخورد و بس!

واقعا آیا هوش مصنوعی قوی امکان پذیر هست یا نه.

فرض کنید روزی بشود مغز یک انسان را اسکن کرد و کدهای اسکن شده را روی یک کامپیوتر اجرا کرد ؟ آن برنامه چه خواهد بود ؟ هوش مصنوعی ؟ هوش طبیعی ؟
دست کم میدانیم ما به تکنولوژی خواندن و نوشتن اطلاعات روی مغز خیلی خیلی خیلی نزدیک هستیم!
پاسخ این سوال شما سادست : بله امکان پذیر است و برعکس باور خیلی ها ابر کامپیوترهای آنچنانی هم برای اجرا کردنش لازم نیست چون میدانیم مغز ما به اندازه فلان ابر کامپیوتر ناسا قدرت پردازشی ندارد ولی هوشمند است!

[Russell]

هوش ؟ واکنش به وقایع محیط طوری که از پیش برنامه ریزی نشده باشد! که این واکنش شامل یادگیری و قدرت انتقال تجارب هم میشه.

معنی هوش اینجا هوش در بستر آگاهی ست. وگرنه هوش را تعریف که میشود کرد که هیچ، صد سالی ست که اندازه گیری هم شده.