پیشرفت روزافزون فندآوری: به کجا می‌رویم؟

[Nilftrondheim]

- نخست آنکه یا سرانجام 0=Sn است یا S≠0

به دلیل گفته شده، S≠0 درست است.

٢- n را ما نه بیکران, بساکه بزرگ گرفته‌ایم (روشنگری).

بهتر، بر پاد استدلال شماست!

٣- در برخی جاها S ایستا (ثابت) است, در برخی جاها نه: ابرهوشواره ایستا است (یکبار بختی بیشتر نیست), نانوتکنولوژی شاید سه بار گندی بالا بتواند بیاید و آدمی جان سالم به در ببرد.

بخت به کام بودگی همان بار اول را به 100% نزدیک کردن شرط لازم و کافی برای جان به در بردن ازلی است:
یک بار قمار سرنوشت ساز بار اول ≠ فقط یک بار اشتباه فاجعه بار در هر زمانی

اکنون, نکته‌یِ یکم, در اینجا نمیتوان بدلخواه S را ایستا (static) یا ناایستا انگاشت,
بساکه بایستی به دورنما و زمینه‌یِ تکنولوژی نامبرده نگریست و دید که یک لغزش چه بهایی در بر دارد.

S ها را اشتباه گرفته اید. S حالت اول (شما) بی شک ایستا نیست، n بار تکرار خود احتمال را تغییر میدهند و هیچ گونه کنترلی روی آن همه اقدام نمیتوان اعمال کرد. اما تا زمانی که S صفر نیست این موضوع اهمیت ندارد.

S حالت دوم (من) احتمال یک بار (بار اول) است: ایستا یا حداقل قابل کنترل و تعیین است، زیرا قماریست که سرنوشت حیات به آن وابسته است!

سپس, نکته‌یِ دوم:
کافی است که بار اول خطا صورت نگیرد تا خطا های بعدی سرکوب شوند.
این نیز یک پیش‌انگاشت نادرست است که اگر خطا انجام نگرفت پس دیگر هرگز خطایی رخ نخواهد داد. در یک نمونه, بگوییم
ابرهوشواره, با بختی نزدیک به ∞, اگر بار یکم خطایی انجام نپذیرد آنگاه برایند کار برای آدمی براستی خواستنی خواهد بود,
ولی نکته روشن اینجا همین است که ما نه همچو بختی نزدیک به بیکران داریم و نه توان انجام دادن و کوشیدن چندباره.

در راستای بحث اینجانب.

این پیش‌انگاشت در زمینه‌های دیگر دیگر نیز نادرست است. اگر در ساخت نانوتکنولوژی پژوهشگر یا برنامه‌نویس یک روتین را
آنجور که باید درست و دوراندیشانه پیاده نکرد, نیمی از بشریت میرود که نابود بشود ولی همچنان با نبوغ بالا و کمی بخت میتوان
آنرا درست نمود, ولی این درست شدن به این معنی نیست که بار دوم دیگر همه چیز بخوبی و خوشی انجام خواهد پذیرفت.

دفعه اول Blue Goo بسازید تا دفعات بعد بشر نابود نشود!

از زمانیکه هواپیماها ساخته شدند و ایده‌یِ "جعبه‌یِ سیاه" مطرح شد, با هر بار سقوط یک هواپیما
شانس اینکه هرگز هواپیمایی دوباره بیافتد کم شده است, زیرا در هر سقوط با بررسی و واکاوی جعبه‌یِ سیاه
لغزش‌ را دریافته و آنرا در ساخت هواپیمای پسین از میان برمیدارند. این روند ولی پیروی قانون آنتروپی است
که راه‌هایی که یک چیز میتواند کار نکند همواره بیشتر — بسیار بیشتر — از راههایی هستند که میتواند کار کند و
ازینرو در اینجا, در این تکنولوژی بسیار ساده‌تر هم آدمی هنوز نتوانسته با چند بار لغزش به فرزامش (perfection) دست یابد, زیرا راه‌هایِ به خطا رفتن بسیار‌اند (از روی قانون‌هایِ آنتروپی + آمایشیکان {combinatorics})


ازهمینرو, جاییکه آدمی پس از دهه‌ها کوشش هنوز نمیتواند هواپیمایی بسازد که ریسک افتادنش 0 باشد, این چندان مایه‌یِ "دلگرمی" نیست که بخواهد بیاید در این میان به یکبار و بی هیچگونه لغزشی ابرهوشواره‌ای میلیارد‌ها بار!
هوشمندتر از خودش را بسازد که بخوبی در کنترل و دامنه‌یِ پیشبینی‌پذیری او باشد و همانی را بکند که او میخواهد.

تا جایی که من میدانم اکثر موارد در اثر خطای انسانی رخ داده اند و حتی خودروی خودران گوگل نیز تا کنون حادثه ای غیر عامل انسانی نداشته است.

شما طوری وانمود میکنید گویا همین فردا قرار است AI یا نانوماشین واقعی بسازند! کسانی که این کار را خواهند کرد به افزونه های عصبی و هوش برتر مجهز خواهند بود و طراحانی که سرشان به تنشان میارزد همه حالات ممکن را پیشگویی خواهند کرد و موانع لازم را در برابر خطا قرار خواهند داد. اگر فرگشت چنگار و بیماری روانی را با سیستم هایی که میدانیم سرکوب میکند، چیزی که توسط طراحی هوشمندانه به وجود آمده چگونه راه خطا را در پیش خواهد گرفت؟

[Mehrbod]

به دلیل گفته شده، S≠0 درست است.

رشته‌یِ سخن را گم کرده‌اید.

ساخت یک ابرهوشواره — با هوشی میلیون‌ها بار بیشتر از همه‌یِ آدمها روی هم — با این امید
که همان کاری را بکند که آدمی در برنامه‌ریزی او ریخته است چیزی بیشتر از خودفریبی نیست,
بویژه زمانیکه میبینیم آدمی از ساخت یک هواپیما که ریسک زمین افتادن آن 0 باشد نیز ناتوان است.

S ها را اشتباه گرفته اید. S حالت اول (شما) بی شک ایستا نیست، n بار تکرار خود احتمال را تغییر میدهند و هیچ گونه کنترلی روی آن همه اقدام نمیتوان اعمال کرد. اما تا زمانی که S صفر نیست این موضوع اهمیت ندارد.

احتمال اینکه فردا خورشید در نیاید هم 0 نیست, ولی آیا این 0 نبودن اهمیت دارد؟

تا جایی که من میدانم اکثر موارد در اثر خطای انسانی رخ داده اند و حتی خودروی خودران گوگل نیز تا کنون حادثه ای غیر عامل انسانی نداشته است.

!!

در ساخت ابرهوشواره خطای انسانی را هم درون بیاورید!

شما طوری وانمود میکنید گویا همین فردا قرار است AI یا نانوماشین واقعی بسازند! کسانی که این کار را خواهند کرد به افزونه های عصبی و هوش برتر مجهز خواهند بود و طراحانی که سرشان به تنشان میارزد همه حالات ممکن را پیشگویی خواهند کرد و موانع لازم را در برابر خطا قرار خواهند داد. اگر فرگشت چنگار و بیماری روانی را با سیستم هایی که میدانیم سرکوب میکند، چیزی که توسط طراحی هوشمندانه به وجود آمده چگونه راه خطا را در پیش خواهد گرفت؟

یک نمونه از طراحی هوشمندانه که نزدیک به ≈٢٠٠ سال آدمی برای فرزافتن (perfect) آن زمان داشته است:

.

[Nilftrondheim]

ساخت یک ابرهوشواره — با هوشی میلیون‌ها بار بیشتر از همه‌یِ آدمها روی هم — با این امید
که همان کاری را بکند که آدمی در برنامه‌ریزی او ریخته است چیزی بیشتر از خودفریبی نیست,

پست قبلی را ببینید.

بویژه زمانیکه میبینیم آدمی از ساخت یک هواپیما که ریسک زمین افتادن آن 0 باشد نیز ناتوان است.

یک نمونه از طراحی هوشمندانه که نزدیک به ≈٢٠٠ سال آدمی برای فرزافتن (perfect) آن زمان داشته است:

ابتدا باید روشن کنید کدام یک از دو حالت در پست قبلی مد نظرتان است است. در ضمن هواپیما امن ترین وسیله نقلیه تاریخ بشر است.

[Mehrbod]

پست قبلی را ببینید.


ابتدا باید روشن کنید کدام یک از دو حالت در پست قبلی مد نظرتان است است. در ضمن هواپیما امن ترین وسیله نقلیه تاریخ بشر است.

در ساخت ابرهوشواره و در پرسمان تکینگی فندین (technological singularity), برآیند ِ قطعیت ٩٩.٩٩٩٩٩% یکسان است با برایند ِ قطعیت ٠.٠٠٠٠١%.

اهمّیتی ندارد چه اندازه پژوهشگران به کنترل ابرهوشواره نزدیک شده باشند, تا زمانیکه این نزدیکی
١٠٠% نباشد, فرجام آن یکسان است با زمانیکه هیچ گونه سازوکار کنترل‌کننده‌ای از پایه پیاده‌سازی نشده باشد.


پس باری دیگر, اگر امن‌ترین وسیله‌یِ نقلیه‌یِ تاریخ بشر, پس از ٢٠٠≈ سال زمان برای بهکرد و پیشرفت, هنوز نتوانسته به قطعیتی هتّا نزدیک به ١٠٠%
برسد, آنگاه بروشنی ساخت و کنترل ابرهوشواره‌ای که میلیارد‌ها میلیارد بار هوشمندتر از باهوشترین آدم زنده باشد, چیزی بجز خودفریبی نخواهد بود.




پ.ن.
--

The Importance of getting it right the first time and a centralized economy - Science & Technology of the Future - FutureTimeline.forum

Professor Stephen Hawking, Theoretical Physicist - The Theory of Everything - YouTube

Recently Stephen Hawking gave a talk about AI (linked above) in which he emphasized the importance of "getting it right the first time" with regard to key technologies such as Artificial Intelligence, Synthetic Biology, and Nanotrchnology. He comes at this from the perspective of the story of intelligence as a story about information. However, in order to control information it cannot be free. It has to be contained somehow with security measures, restricted access, etc. First of all I would like to ask "Is this even possible?" If you look at the story from the vantage of a network of evolving information, then based on the billions of years of history that we have as evidence we should expect at least two things.

1. Information entropy increases. There is no perfect closed system that can contain it indefinitely. Once it escapes it can replicate very rapidly.

2. The diversity and variety of information should continue to increase. The increase in entropy of information seems to be closely related to what we call intelligence. To try to curtail the process of increasing information entropy is to squelch the very intelligence we wish to create.


Secondly, in terms of a more pragmatic perspective. What political and economic systems would be necessary for a species to control these key technologies enough to ensure survival?

I don't think it would be capitalism because for example the short term profit in creating autonomous weapons systems would generally seem to outstrip the potential existential threat it creates such as we are seeing with the global warming bullshit from industry and the possible ramifications of genetically modified foods. Hawking directly references the need to curtail the weaponization of autonomous systems.

Wouldn't political and economic control have to become more centralized in order to control the spread of information regarding these key technologies in order to ensure survival?

[Nilftrondheim]

در ساخت ابرهوشواره و در پرسمان تکینگی فندین (technological singularity), برآیند ِ قطعیت ٩٩.٩٩٩٩٩% یکسان است با برایند ِ قطعیت ٠.٠٠٠٠١%.اهمّیتی ندارد چه اندازه پژوهشگران به کنترل ابرهوشواره نزدیک شده باشند, تا زمانیکه این نزدیکی١٠٠% نباشد, فرجام آن یکسان است با زمانیکه هیچ گونه سازوکار کنترل‌کننده‌ای از پایه پیاده‌سازی نشده باشد.پس باری دیگر, اگر امن‌ترین وسیله‌یِ نقلیه‌یِ تاریخ بشر, پس از ٢٠٠≈ سال زمان برای بهکرد و پیشرفت, هنوز نتوانسته به قطعیتی هتّا نزدیک به ١٠٠% برسد, آنگاه بروشنی ساخت و کنترل ابرهوشواره‌ای که میلیارد‌ها میلیارد بار هوشمندتر از باهوشترین آدم زنده باشد, چیزی بجز خودفریبی نخواهد بود.پ.ن.--

The Importance of getting it right the first time and a centralized economy - Science & Technology of the Future - FutureTimeline.forumProfessor Stephen Hawking, Theoretical Physicist - The Theory of Everything - YouTubeRecently Stephen Hawking gave a talk about AI (linked above) in which he emphasized the importance of "getting it right the first time" with regard to key technologies such as Artificial Intelligence, Synthetic Biology, and Nanotrchnology. He comes at this from the perspective of the story of intelligence as a story about information. However, in order to control information it cannot be free. It has to be contained somehow with security measures, restricted access, etc. First of all I would like to ask "Is this even possible?" If you look at the story from the vantage of a network of evolving information, then based on the billions of years of history that we have as evidence we should expect at least two things.1. Information entropy increases. There is no perfect closed system that can contain it indefinitely. Once it escapes it can replicate very rapidly.2. The diversity and variety of information should continue to increase. The increase in entropy of information seems to be closely related to what we call intelligence. To try to curtail the process of increasing information entropy is to squelch the very intelligence we wish to create.Secondly, in terms of a more pragmatic perspective. What political and economic systems would be necessary for a species to control these key technologies enough to ensure survival?I don't think it would be capitalism because for example the short term profit in creating autonomous weapons systems would generally seem to outstrip the potential existential threat it creates such as we are seeing with the global warming bullshit from industry and the possible ramifications of genetically modified foods. Hawking directly references the need to curtail the weaponization of autonomous systems.Wouldn't political and economic control have to become more centralized in order to control the spread of information regarding these key technologies in order to ensure survival?

همنطور که گفتم باید ابتدا روشن کنید کدام دو حالت مد نظرتان است. یا اگر حالت های دیگری نیز ممکن است بیان کنید.

[Mehrbod]

تکلیف را روشن کنید، به کدام دلیل AI (و شاید nanotech) خطرناک میباشند؟ دو حالت زیر جمع پذیر نیستند!

- میتوان آن ها را کنترل کرد و جهت داد. در این صورت به همان بحث benevolence برمیگردیم که باید اولین یا اولین ها "خوب ها" باشند تا پس از آن مشکلی پیش نیاید. فکر کنید پروژه منهتن را اول بار نازی ها یا شوروی اجرا میکردند چه میشد!!!

.If it can be done, someone's gonna do it. Let's make sure they're the good guys

- نمیتوان آن ها را کنترل کرد و جهت داد. اینها اساسا ناپایدار و غیر قابل پیش بینی هستند و هر گونه استفاده از آنها منجر به آخرالزمان میگردد. در اینجا دو چیز باید روشن شود:

- آیا ناپایدار الزاما به معنی مخرب است؟ از بحث محبوب روانپزشکی مثال بزنم. یک اسکیزوفرن نمیتواند قاتل زنجیره ای باشد. یک سایکوپت میتواند. حتی مخرب بودن نیز نیاز به پایداری و هدفمندی دارد.

- آیا اسکای نت دم در ایستاده است؟ طوری از این تکنولوژی ها سخن میگویید گویا همین فردا اتفاق خواهد افتاد! ما هنوز نتوانسته ایم 302 نورون یک کرم را شبیه سازی کنیم، چطور انتظار دارید بشر چیزی در این حد پیچیده بسازد سپس نتواند آن را کنترل کند؟ هوش مصنوعی را 30 سال بعد دانشمندانی مجهز به Nootropics و Neural Augmentations خواهند ساخت، کسانی که تفاوت زیادی با آن ندارند!



کدام خوبی؟ امید به زندگی 25 سال؟

همنطور که گفتم باید ابتدا روشن کنید کدام دو حالت مد نظرتان است. یا اگر حالت های دیگری نیز ممکن است بیان کنید.

در ساخت ابرهوشواره‌ها:

نمیتوان آنها را کنترل کرد

پیشبینی اینکه ابرسازواره چه میکند نیز شدنی نیست, ولی با نگاه به قانون‌هایِ
آنتروپی, درست همانجور که جهش‌هایِ ژنتیکی همگی زیان‌آور میباشند مگر یک اندک‌شماری,
ساخت ابرهوشواره‌ای که روشن نیست چه خواهد کرد کوچکترین خردپذیری‌ای در خود ندارد.

آیا اسکای نت دم در ایستاده است؟

نه, ولی آیا بایستی درست دست روی دست گذاشت و نشست تا مگر هنگامیکه دم در ایستاده بود؟

اگر اینجا گفتمانی دارد میشود ازینرو‌ست که بخت و زمان اندکی هنوز هست
که از پیدایش این آینده جلوگیری بشود, اگر نه که همه‌یِ این گفتگو‌ها بیهوده خواهند بود.

[Nilftrondheim]

در ساخت ابرهوشواره‌ها:

نمیتوان آنها را کنترل کرد

پیشبینی اینکه ابرسازواره چه میکند نیز شدنی نیست, ولی با نگاه به قانون‌هایِ آنتروپی, درست همانجور که جهش‌هایِ ژنتیکی همگی زیان‌آور میباشند مگر یک اندک‌شماری, ساخت ابرهوشواره‌ای که روشن نیست چه خواهد کرد کوچکترین خردپذیری‌ای در خود ندارد.نه, ولی آیا بایستی درست دست روی دست گذاشت و نشست تا مگر هنگامیکه دم در ایستاده بود؟اگر اینجا گفتمانی دارد میشود ازینرو‌ست که بخت و زمان اندکی هنوز هست که از پیدایش این آینده جلوگیری بشود, اگر نه که همه‌یِ این گفتگو‌ها بیهوده خواهند بود.

مشکلی نیست، ابر هوشواره را در واقعیتی مجازی فعال کنید و ببینید چه میکند. آنی را که پایدار بود آزاد کنید. پروسه های "مغری" اش را مطالعه کنید. پیشگویان آخرالزمان از ساخت AI رسما به عنوان احضار شیطان یاد میکنند!در دنیای ترمیناتور جلوی اسکای نت گرفته میشد دیگر داستانی برای پنجگانه!!! وجود نداشت. در دنیای واقعی بمب اتمی 100 مگاتنی در ارتفاع 30 کیلومتری منفجر میکنند و نتیجه این میشود که Apocalypse not now