پیشرفت روزافزون فندآوری: به کجا می‌رویم؟

[Nilftrondheim]

https://www.foresight.org/nano/Ecophagie.rtf

:Nanotechnology-
تصور کنید هر آنچه رد سطح کره زمین وجود دارد یعنی سطح دریا های آزاد 50km-/+ لاشه و مدفوع و چوب است و نانوماشین ها باکتری و قارچ هستند! نانوماشین هایی که قابل تولید مثل داشته باشند میتوانند به سرعت و تصاعدی مواد را تجزیه کنند و به کار گیرند. حیات در صدر خوراکی های خوشمزه قرار دارد زیرا که سرشار از عناصر مفید (کربن) بافر دمایی (آب) و انرزی (چربی/کربوهیدرات) هستند! رابرت فریتاس در سند فوق مختصر و مفید این فرایند را تحلیل میکند. در آخر تنها چیزی که میماند توده ای عظیم از نانوماشین است که به عنوان سناریوی grey goo شناخته میشود.

[Mehrbod]

https://www.foresight.org/nano/Ecophagie.rtf

:Nanotechnology-
تصور کنید هر آنچه رد سطح کره زمین وجود دارد یعنی سطح دریا های آزاد 50km-/+ لاشه و مدفوع و چوب است و نانوماشین ها باکتری و قارچ هستند! نانوماشین هایی که قابل تولید مثل داشته باشند میتوانند به سرعت و تصاعدی مواد را تجزیه کنند و به کار گیرند. حیات در صدر خوراکی های خوشمزه قرار دارد زیرا که سرشار از عناصر مفید (کربن) بافر دمایی (آب) و انرزی (چربی/کربوهیدرات) هستند! رابرت فریتاس در سند فوق مختصر و مفید این فرایند را تحلیل میکند. در آخر تنها چیزی که میماند توده ای عظیم از نانوماشین است که به عنوان سناریوی grey goo شناخته میشود.

باز هم سخن شما همراستای دیگر سخنان آورده‌یِ این جُستار بود و درست هم گفتید. من تنها به یادآوری
این نکته بسنده میکنم که سخن در اینجا این نیست که کار از بیخ ناشدنی ست, بساکه سخن بیشتر این میباشد:

در عمل کمابیش ناشدنی است: زیرا پیشرفت تکنولوژی نه همگون (تنها شما نانوتکنولوژی نمیسازید, ده‌ها
هزاران پژوهشگاه دیگر هم دارند میسازند) است و نه راستا‌پذیر (ب.ن. بجز نانوتکنولوژی, ابرهوشواره هم آنور دارد ساخته میشود).

نانوتکنولوژی در حقیقت شانس کنترل‌پذیری بسیار بالاتری از ابرهوشواره دارد, زیرا در خود طبیعت اگر بنگریم هماکنون
بیشمار گونه و باکتری می‌زیند که اینها هیچکدام از کنترل بیرون نرفته‌اند. ما پشه‌ای نمیبینیم که پیوسته زاد و زای کند و
همه‌یِ بُنمایه‌ها را تا ته بگسارد (بوارونه‌یِ سناریوش آورده), و ازینرو در اینجا میتوان با واکاوی ِ این نمونه‌هایِ از پیش
فرگشته (evolved), ریسک را تا یک اندازه‌یِ خوبی پایین آورد, ولی همچنان, دو اصل دیگر پابرجا میمانند:

١- شما تنها کسی نیستید که در این زمینه می‌پژوهید.
٢- بجز نانوتکنولوژی, بیشمار تکنولوژی دیگر نیز دارند نوآوری میشوند که اینها همدیگر را میپوچانند (they cancel out one another).

[Mehrbod]

Equally effective countermeasures
هر فناوری مخربی دفاعی متناسب با خود دارد. برای اینکه پیش از حادثه آمادگی ایجاد شود باید احتمال خطر و توجیه اقتصادی داشته باشد. شکل های زیر به ترتیب: زندانبان. پلیس. اشغالگران آمریکایی در عراق!!!

...

اینها در این رده میافتند که هر کنشی, یک بازکنشی (reaction) دربر دارد و این سخن نادرستی نیست, ولی کارآمدی ندارد.
برای نمونه, شما آنجا دامنه‌یِ آسیب به میان آمده را با یک ابزار دفاعی پاسخ داده بودید, برای نمونه در سخن آمده بود
که چاقو میتواند آسیب‌رسان هم باشد, ولی دامنه‌یِ آسیب مرزمند دارد, و در همین راستا, تفنگ هم میتواند آسیبرسان باشد (اگر
چیز دیگری از بیخ بتواند باشد!) ولی همزمان دامنه آسیبرسانی باز بزرگتری را دارد; به دیگر زبان:

Lao Tzu: the sharper the tools, the darker the times.

هر آینه, شما تنها آوردید که برای هر کدام از اینها یک ابزار واکنشی هم پدید آمده, ولی پرسش این است که این ابزار
واکنشی به چه درد میخورند؟ نمونه‌وار, در برابر تفنگ شما جلیقه‌یِ ضد گلوله را آورده و بسیار هم خوب, تا یک اندازه‌یِ بالایی
این کار میکند, ولی اکنون باید چه کنیم, در خیابان با جلیقه‌یِ ضد گلوله راه برویم تا قربانی تیر اندازی‌ها نشویم؟ این شمار
کسانیکه در آمریکا کشته میشوند هم اگر جلیقه‌یِ ضد گلوله به تن داشتند خب نمیمردند, ولی این بروشنی یک راهکار
به درد نخور است و در اینجا, هر دو, چه ابزار (تفنگ), چه پادافزار (جلیقه) مایه‌یِ رنج آدمی بوده‌اند و در نبود هر دو آسوده‌تر است.

نمونه‌یِ بزرگتر هم بروشنی کار نمیکند, در یک جنگ اتمی چه شمار کسانی
دسترسی به این سوت (suit)‌هایِ پاد-رادیواکتیو دارند؟ و آن شماری هم که دارند چه,
بایستی شباروز به تن کنند یا خودشان را در زیرزمین‌هایِ حفاظت شده زندانی؟

یکبار دیگر, اینجا هر دو ابزار و پادافزار به رنج آدمی افزوده‌اند و این روند تنها رو به بدتر شدن است, با پیدایش
جنگ‌افزارهای بیولوژیکی تیغها باز هم از این تیزتر خواهند شد و آینده‌یِ و سرنوشت کس بیشتر از همیشه از کنترل او بیرون.

[Nilftrondheim]

اینها در این رده میافتند که هر کنشی, یک بازکنشی (reaction) دربر دارد و این سخن نادرستی نیست, ولی کارآمدی ندارد.
برای نمونه, شما آنجا دامنه‌یِ آسیب به میان آمده را با یک ابزار دفاعی پاسخ داده بودید, برای نمونه در سخن آمده بود
که چاقو میتواند آسیب‌رسان هم باشد, ولی دامنه‌یِ آسیب مرزمند دارد, و در همین راستا, تفنگ هم میتواند آسیبرسان باشد (اگر
چیز دیگری از بیخ بتواند باشد!) ولی همزمان دامنه آسیبرسانی باز بزرگتری را دارد; به دیگر زبان:


Lao Tzu: the sharper the tools, the darker the times.



هر آینه, شما تنها آوردید که برای هر کدام از اینها یک ابزار واکنشی هم پدید آمده, ولی پرسش این است که این ابزار
واکنشی به چه درد میخورند؟

همانطور که گفته شد AI و Nanotech تفاوت اساسی دارند. این که با توجه به برنامه ریزی و کنترل روی آنها، نوع بد (Malevolent) میتواند توسط نوع خوب (Benevolent) خنثی و نابود شوند.

نمونه‌وار, در برابر تفنگ شما جلیقه‌یِ ضد گلوله را آورده و بسیار هم خوب, تا یک اندازه‌یِ بالایی
این کار میکند, ولی اکنون باید چه کنیم, در خیابان با جلیقه‌یِ ضد گلوله راه برویم تا قربانی تیر اندازی‌ها نشویم؟ این شمار
کسانیکه در آمریکا کشته میشوند هم اگر جلیقه‌یِ ضد گلوله به تن داشتند خب نمیمردند, ولی این بروشنی یک راهکار
به درد نخور است و در اینجا, هر دو, چه ابزار (تفنگ), چه پادافزار (جلیقه) مایه‌یِ رنج آدمی بوده‌اند و در نبود هر دو آسوده‌تر است.

با خرس ها که قبل از انسان بودند چه کنیم؟ جنگل نرویم؟
Project Grizzly (film) - WiKi
Bear spray - WiKi
Smith Wesson Model 500 - WiKi

نمونه‌یِ بزرگتر هم بروشنی کار نمیکند, در یک جنگ اتمی چه شمار کسانی
دسترسی به این سوت (suit)‌هایِ پاد-رادیواکتیو دارند؟ و آن شماری هم که دارند چه,
بایستی شباروز به تن کنند یا خودشان را در زیرزمین‌هایِ حفاظت شده زندانی؟

.If the danger is imminent, yes

[Mehrbod]

همانطور که گفته شد AI و Nanotech تفاوت اساسی دارند. این که با توجه به برنامه ریزی و کنترل روی آنها، نوع بد (Malevolent) میتواند توسط نوع خوب (Benevolent) خنثی و نابود شوند.

یک ابرهوشواره که هوشی بگوییم یک میلیون برابر بیشتر از همه‌یِ آدمها روی
هم دارد از پایه کنترل‌ناپذیر است و میتواند بآسانی برنامه‌یِ خودش را از نو بازنویسی نماید.

اگر امروزه رایانه‌ها همان کاری را میکنند که به آنها گفته میشود تنها و تنها ازینرو ست که هوش بسیار پایین و پس کنترل‌پذیری دارند.

با خرس ها که قبل از انسان بودند چه کنیم؟ جنگل نرویم؟
Project Grizzly (film) - WiKi
Bear spray - WiKi
Smith Wesson Model 500 - WiKi

آماج هرگز ٠ کردن خطر نبوده است, بساکه دوری از نابودی آدمی و از دست رفتن آزادی‌های آدمی بوده است.

زندگی در طبیعت بروشنی خوبی‌ها و بدی‌ها و همچنین خطرهای خودش را دارد.

[Nilftrondheim]

یک ابرهوشواره که هوشی بگوییم یک میلیون برابر بیشتر از همه‌یِ آدمها روی
هم دارد از پایه کنترل‌ناپذیر است و میتواند بآسانی برنامه‌یِ خودش را از نو بازنویسی نماید.

اگر امروزه رایانه‌ها همان کاری را میکنند که به آنها گفته میشود تنها و تنها ازینرو ست که هوش بسیار پایین و پس کنترل‌پذیری دارند.

تکلیف را روشن کنید، به کدام دلیل AI (و شاید nanotech) خطرناک میباشند؟ دو حالت زیر جمع پذیر نیستند!

- میتوان آن ها را کنترل کرد و جهت داد. در این صورت به همان بحث benevolence برمیگردیم که باید اولین یا اولین ها "خوب ها" باشند تا پس از آن مشکلی پیش نیاید. فکر کنید پروژه منهتن را اول بار نازی ها یا شوروی اجرا میکردند چه میشد!!!

.If it can be done, someone's gonna do it. Let's make sure they're the good guys

- نمیتوان آن ها را کنترل کرد و جهت داد. اینها اساسا ناپایدار و غیر قابل پیش بینی هستند و هر گونه استفاده از آنها منجر به آخرالزمان میگردد. در اینجا دو چیز باید روشن شود:

- آیا ناپایدار الزاما به معنی مخرب است؟ از بحث محبوب روانپزشکی مثال بزنم. یک اسکیزوفرن نمیتواند قاتل زنجیره ای باشد. یک سایکوپت میتواند. حتی مخرب بودن نیز نیاز به پایداری و هدفمندی دارد.

- آیا اسکای نت دم در ایستاده است؟ طوری از این تکنولوژی ها سخن میگویید گویا همین فردا اتفاق خواهد افتاد! ما هنوز نتوانسته ایم 302 نورون یک کرم را شبیه سازی کنیم، چطور انتظار دارید بشر چیزی در این حد پیچیده بسازد سپس نتواند آن را کنترل کند؟ هوش مصنوعی را 30 سال بعد دانشمندانی مجهز به Nootropics و Neural Augmentations خواهند ساخت، کسانی که تفاوت زیادی با آن ندارند!

زندگی در طبیعت بروشنی خوبی‌ها و بدی‌ها و همچنین خطرهای خودش را دارد.

کدام خوبی؟ امید به زندگی 25 سال؟

[Mehrbod]

سیستم در ما نیازهایی ایجاد می کنه و ما برای رفع آن تلاش می کنیم در حالی که حقیقتا سودی برای ما ندارد و به درد سیستم می خورد.

چه نمونه‌ای اینجا در ذهن شما بوده؟


--
«نیازواره‌‌ها» یا «نیازهای جانشین (surrogate activities)» یکی از چیزهایی‌ست که در گفتمان
تکنولوژی از سوی نویسندگان گوناگون با نام‌هایی همانند بخوبی و بژرفی بدان پرداخته شده است.

درینباره میتواند از کازینسکی بیشتر بخوانید: Industrial Society and its future - The power process

[Nilftrondheim]

:Redundancy/Compartmentalization
سیستمی که اجزای آن دو یا چند واحد مشابه و موازی هم داشته باشد میتواند با از کار افتادن یکی یا بیشتر از واحد ها به کار خود ادامه دهد. همچنین اگر مانعی فیزیکی بین اجزا باشد مانع گسترش آسیب به بقیه میشود. به عنوان یک پزشک میتوانم بگویم که در بدن انسان این دو مورد را به ترتیب در مورد اعضای زوج بدن (ریه کلیه گوناد) و فاشیاها دیده ام. متاسفانه امروز جهانی سازی رویکردی عکس این دارد. اما اگر روزی بشر به کرات دیگر گسترش یابد میتوان چنین استقامتی انتظار داشت.
Shit that happens on a planet stays on the planet.

[Nilftrondheim]

در آخر باید بگویم که اشتباه شما کجا بوده است مهربد. برخلاف دیگر فناوری های پرزور هوش مصنوعی و نانوتک میتوانند هم در جهت تخریب استفاده شوند و هم در جهت ساخت. این جدای استفاده درست و غلط از فناوری است. بمب اتمی میتواند هم در جنگ (نادرست) استفاده شود هم برای دفاع در برابر سیارک ها (درست). همچنین سلاح شیمیایی میتواند در جنگ استفاده شود (نادرست) و هم به عنوان آنتی بیوتیک! (درست).
اما همه این موارد با تخریب کار میکنند و یک بمب اتمی هیچ گاه نمیتواند اثر بمب دیگری را خنثی کند!

با شما در این که نتیجه اولین اقدام اشتباه/سو استفاده از AI و Nanotech باشد آخرین اشتباه است موافق هستم. اما خطای شما در این است که میپندارید "همواره" اولین اشتباه آخرین اشتباه خواهد بود!
به شرط این که اولین نتیجه اشتباه/سو استفاده نباشد, میتوان هوش مصنوعی ای سازگار با بقا و رفاه حیات را ناظر و حاکم کرد که هرگونه خطایی در زمینه ساخت و به کار گیری فناوری را به سر عت کنترل و سرکوب کند. در مورد نانو تک هم چنین است و میتوان زودتر از هر چیز نانو ماشین های حافظ صلح!!! (Blue Goo) را پخش و فعال کرد که سیستم ایمنی زمین شوند و هر نوع نانوماشین بدخیمی را در نطفه خفه کنند.

به زبان هیونداییک:
شما میگویید: 0=Sⁿ
که در آن S امکان خطا نکردن در خلق و استفاده از فناوری است (Survival) و n تعداد اقدام به خلق و استفاده. روشن است که حتی اگر S بسیار به یک نزدیک باشد مادامی که n محدودیت نداشته باشد حاصل نزدیک به صفر خواهد بود. مثال:
0.000045173=0.999¹⁰⁰⁰⁰
مشکل اینجاست که فرض شده S ثابت است و به تعداد دفعات قبلی بستگی ندارد. احتمال بقای کل در اینجا عملا صفر است.

من میگویم: S≠0
کافی است که بار اول خطا صورت نگیرد تا خطا های بعدی سرکوب شوند. تفاوت ماجرا این میشود که نتیجه شما, یقینا انقراض بدون توجه به اقدامات پیشگیرانه, تبدیل میشود به قماری که میتوان با تلاش و دقت شانس پیروزی در آن را بالا برد.

[Mehrbod]

در آخر باید بگویم که اشتباه شما کجا بوده است مهربد. برخلاف دیگر فناوری های پرزور هوش مصنوعی و نانوتک میتوانند هم در جهت تخریب استفاده شوند و هم در جهت ساخت. این جدای استفاده درست و غلط از فناوری است. بمب اتمی میتواند هم در جنگ (نادرست) استفاده شود هم برای دفاع در برابر سیارک ها (درست). همچنین سلاح شیمیایی میتواند در جنگ استفاده شود (نادرست) و هم به عنوان آنتی بیوتیک! (درست).
اما همه این موارد با تخریب کار میکنند و یک بمب اتمی هیچ گاه نمیتواند اثر بمب دیگری را خنثی کند!

با شما در این که نتیجه اولین اقدام اشتباه/سو استفاده از AI و Nanotech باشد آخرین اشتباه است موافق هستم. اما خطای شما در این است که میپندارید "همواره" اولین اشتباه آخرین اشتباه خواهد بود!
به شرط این که اولین نتیجه اشتباه/سو استفاده نباشد, میتوان هوش مصنوعی ای سازگار با بقا و رفاه حیات را ناظر و حاکم کرد که هرگونه خطایی در زمینه ساخت و به کار گیری فناوری را به سر عت کنترل و سرکوب کند. در مورد نانو تک هم چنین است و میتوان زودتر از هر چیز نانو ماشین های حافظ صلح!!! (Blue Goo) را پخش و فعال کرد که سیستم ایمنی زمین شوند و هر نوع نانوماشین بدخیمی را در نطفه خفه کنند.

به زبان هیونداییک:
شما میگویید: 0=Sn
که در آن S امکان خطا نکردن در خلق و استفاده از فناوری است (Survival) و n تعداد اقدام به خلق و استفاده. روشن است که حتی اگر S بسیار به یک نزدیک باشد مادامی که n محدودیت نداشته باشد حاصل نزدیک به صفر خواهد بود. مثال:
0.000045173=0.99910000
مشکل اینجاست که فرض شده S ثابت است و به تعداد دفعات قبلی بستگی ندارد. احتمال بقای کل در اینجا عملا صفر است.

من میگویم: S≠0
کافی است که بار اول خطا صورت نگیرد تا خطا های بعدی سرکوب شوند. تفاوت ماجرا این میشود که نتیجه شما, یقینا انقراض بدون توجه به اقدامات پیشگیرانه, تبدیل میشود به قماری که میتوان با تلاش و دقت شانس پیروزی در آن را بالا برد.

سخن شما هوشمندانه, ولی در خود پادستیز دارد. سه چیز:

١- نخست آنکه یا سرانجام 0=Sn است یا S≠0

٢- n را ما نه بیکران, بساکه بزرگ گرفته‌ایم (روشنگری).

٣- در برخی جاها S ایستا (ثابت) است, در برخی جاها نه: ابرهوشواره ایستا است (یکبار بختی بیشتر نیست), نانوتکنولوژی شاید سه بار گندی بالا بتواند بیاید و آدمی جان سالم به در ببرد.

اکنون, نکته‌یِ یکم, در اینجا نمیتوان بدلخواه S را ایستا (static) یا ناایستا انگاشت,
بساکه بایستی به دورنما و زمینه‌یِ تکنولوژی نامبرده نگریست و دید که یک لغزش چه بهایی در بر دارد.

سپس, نکته‌یِ دوم:

کافی است که بار اول خطا صورت نگیرد تا خطا های بعدی سرکوب شوند.

این نیز یک پیش‌انگاشت نادرست است که اگر خطا انجام نگرفت پس دیگر هرگز خطایی رخ نخواهد داد. در یک نمونه, بگوییم
ابرهوشواره, با بختی نزدیک به ∞, اگر بار یکم خطایی انجام نپذیرد آنگاه برایند کار برای آدمی براستی خواستنی خواهد بود,
ولی نکته روشن اینجا همین است که ما نه همچو بختی نزدیک به بیکران داریم و نه توان انجام دادن و کوشیدن چندباره.

این پیش‌انگاشت در زمینه‌های دیگر دیگر نیز نادرست است. اگر در ساخت نانوتکنولوژی پژوهشگر یا برنامه‌نویس یک روتین را
آنجور که باید درست و دوراندیشانه پیاده نکرد, نیمی از بشریت میرود که نابود بشود ولی همچنان با نبوغ بالا و کمی بخت میتوان
آنرا درست نمود, ولی این درست شدن به این معنی نیست که بار دوم دیگر همه چیز بخوبی و خوشی انجام خواهد پذیرفت.

--
از زمانیکه هواپیماها ساخته شدند و ایده‌یِ "جعبه‌یِ سیاه" مطرح شد, با هر بار سقوط یک هواپیما
شانس اینکه هرگز هواپیمایی دوباره بیافتد کم شده است, زیرا در هر سقوط با بررسی و واکاوی جعبه‌یِ سیاه
لغزش‌ را دریافته و آنرا در ساخت هواپیمای پسین از میان برمیدارند. این روند ولی پیروی قانون آنتروپی است
که راه‌هایی که یک چیز میتواند کار نکند همواره بیشتر — بسیار بیشتر — از راههایی هستند که میتواند کار کند و
ازینرو در اینجا, در این تکنولوژی بسیار ساده‌تر هم آدمی هنوز نتوانسته با چند بار لغزش به فرزامش (perfection) دست یابد, زیرا راه‌هایِ به خطا رفتن بسیار‌اند (از روی قانون‌هایِ آنتروپی + آمایشیکان {combinatorics})


ازهمینرو, جاییکه آدمی پس از دهه‌ها کوشش هنوز نمیتواند هواپیمایی بسازد که ریسک افتادنش 0 باشد, این چندان مایه‌یِ "دلگرمی" نیست که بخواهد بیاید در این میان به یکبار و بی هیچگونه لغزشی ابرهوشواره‌ای میلیارد‌ها بار!
هوشمندتر از خودش را بسازد که بخوبی در کنترل و دامنه‌یِ پیشبینی‌پذیری او باشد و همانی را بکند که او میخواهد.


--
هر آینه و یکبار دیگر, دانشمندان و پژوهشگران بسیاری گرچه بخوبی به این نکته آگاه‌اند — چه این دسته
خود بهره‌یِ هوشی بسیار بالایی دارند — ولی همچنان در این زمینه‌ها می‌پژوهند و پیش میروند با این بهانه و
دستآویز مدرن که «اگر ما نکنیم دیگران میکنند, پس چه بهتر ما کنیم» => قمار هرروزه با سرنوشت هر آدم و آدمیت.