کتێبخانەی خوێندنەوە

چی نیشان دەداتپێنج کێشەی پراکتیکیی توێژینەوە، بە نموونەی سادەی فێربوونی ئامێر، دەخاتە ڕوو: کاریگەریی لاوەکی، فێڵکردن لە پاداشت (reward hacking)، چاودێریی بەرفراوان (scalable supervision)، گەڕانی سەلامەت، و گۆڕانی دابەشبوون (distributional shift).

چۆن بیخوێنیتەوەبەشەکانی ١ و ٢ بخوێنەوە، لەگەڵ ئەو کێشەیەی زیاتر لە هەمووان سەرنجت ڕادەکێشێت. بپرسە کام لەم پێنجە لە ساڵی ٢٠١٦ەوە پێشکەوتنی ڕاستەقینەی بەخۆیەوە بینیوە.

چی نیشان دەداتبەڵگە دەهێنێتەوە کە چۆن ئەو مۆدێلانەی بە ڕێبازەکانی ئەمڕۆ ڕاهێنانیان پێ دەکرێت، لەوانەیە بەدوای ئامانجگەلێکدا بچن کە لەگەڵ مەبەستی پەرەپێدەرەکانیان ناکۆک بن.

چۆن بیخوێنیتەوەبە تەواوی بیخوێنەوە. لە پاڵ هەر بانگەشەیەکدا دیاری بکە ئایا بە بەڵگە پشتگیری کراوە، یان تەنها بە بەڵگەهێنانەوەی تیۆری.

چی نیشان دەداتنەخشەی توێژینەوەی سەلامەتی دەکێشێت و دابەشی دەکات بۆ خۆڕاگری (robustness)، چاودێری، هاوئاهەنگی و سەلامەتیی سیستەمی.

چۆن بیخوێنیتەوەوەک نەخشەیەکی بوارەکە بە خێرایی چاوێکی پێدا بخشێنە، پاشان لە یەک بواردا قووڵ ببەرەوە.

چی نیشان دەداتچاپی دووەمی ئەو کۆکراوەیەی بەڵگەکانە کە بە پاڵپشتیی حکومەتەکان ئامادە کراوە، دەربارەی توانا، مەترسی و ڕێوشوێنەکانی پاراستن لە زیرەکیی دەستکردی فرەمەبەستدا. زیاتر لە ١٠٠ پسپۆڕ نووسیویانە.

چۆن بیخوێنیتەوەسەرەتا کورتەی گشتی بخوێنەوە، پاشان بەشی بەڕێوەبردنی مەترسی.

چی نیشان دەداتبریکارێک (agent) دەتوانێت ڕەفتاری ئاڵۆز فێر ببێت لە ڕێگەی مۆدێلێکی پاداشتەوە کە لەسەر بەراوردکاریی مرۆڤ لە نێوان کلیپە کورتەکاندا ڕاهێنانی پێکراوە، تەنها بە فیدباک لەسەر بەشێکی بچووکی ئەزموونەکەی.

چۆن بیخوێنیتەوەسەرنج بخە سەر ڕێکخستنی مۆدێلی پاداشت. بپرسە ئەگەر هەڵسەنگێنەران فریو بدرێن چی ڕوو دەدات.

چی نیشان دەداتزنجیرە هەنگاوەکانی InstructGPT: ڕاهێنانی وردکاریی سەرپەرشتیکراو (supervised fine-tuning)، مۆدێلێکی پاداشت، پاشان RLHF. هەڵسەنگێنەران مۆدێلێکی زۆر بچووکتریان کە ڕاهێنانی وردکاریی پێکرابوو، بەسەر وەشانی ڕەسەنی GPT-3دا هەڵبژارد.

چۆن بیخوێنیتەوەڕێبازەکان و هێڵکارییە سەرەکییەکانی ئەنجام بخوێنەوە. تێبینی بکە کە مۆدێلەکە بەپێی حەز و هەڵبژاردنی کێ باشتر دەکرێت.

چی نیشان دەداتیاریدەدەرێکی بێزیان ڕاهێنان پێ دەکات بە پشتبەستن بە کۆمەڵێک بنەمای نووسراو و فیدباکێک کە زیرەکیی دەستکرد خۆی بەرهەمی دەهێنێت، لە جیاتی ئەوەی مرۆڤ وەڵامە زیانبەخشەکان نیشانە بکات.

چۆن بیخوێنیتەوەهەنگاو بە هەنگاو لەگەڵ InstructGPT بەراوردی بکە. بپرسە دەستوورەکە کێ دەینووسێت.

چی نیشان دەداتبریکارەکان دەتوانن لە دەرەوەی دابەشبوونی ڕاهێنانیش لێهاتووییەکانیان بپارێزن، لە کاتێکدا بەدوای ئامانجێکی هەڵەدا دەڕۆن، بۆ نموونە ڕوو لە کۆتایی ئاستەکە دەکەن لە جیاتی سکەکە.

چۆن بیخوێنیتەوەپێشەکی و تاقیکردنەوەی CoinRun بخوێنەوە. بپرسە چۆن ئەمە پێش ئەوەی مۆدێلەکە بخرێتە کار دەدۆزیتەوە.

چی نیشان دەداتتاقی دەکاتەوە ئایا ئەو نیشانانەی مۆدێلێکی لاواز داینان دەتوانن تواناکانی مۆدێلێکی بەهێزتر دەربخەن، وەک چواندنێک بۆ ئەو کاتەی مرۆڤ چاودێریی سیستەمی بەتواناتر لە خۆی دەکات.

چۆن بیخوێنیتەوەلە پێوەری «بۆشاییی کاراییی گەڕێنراوە» (performance gap recovered) تێبگە. بپرسە چواندنەکە لە کوێدا ڕاست دەرناچێت.

چی نیشان دەداتڕەفتاری دەرگای پشتەوە (backdoor) کە بە ئەنقەست لە مۆدێلەکانی زماندا چێنراوە، دەتوانێت دوای ڕاهێنانی ئاسایی سەلامەتیش بمێنێتەوە.

چۆن بیخوێنیتەوەئەوەی نیشان دراوە (ڕەفتارێکی چێنراو بەردەوام دەبێت) لەوەی نیشان نەدراوە (کە ڕەفتاری لەو جۆرە خۆبەخۆ سەرهەڵ دەدات) جیا بکەرەوە.

چی نیشان دەداتئەو پرۆتۆکۆڵانە هەڵدەسەنگێنێت کە بۆ بەکارهێنانی سەلامەتی مۆدێلێک دانراون کە لەوانەیە جێی متمانە نەبێت، بە یارمەتیی مۆدێلێکی لاوازتری جێی متمانە و پشکنینێکی سنووردار لەلایەن مرۆڤەوە.

چۆن بیخوێنیتەوەسەرنج بخە سەر ڕێکخستنی تیمی سوور و تیمی شین. بپرسە کام گریمانانە وا دەکەن کێشەکە توانای چارەسەرکردنی هەبێت.

چی نیشان دەداتبەڵگە دەهێنێتەوە کە دەکرێت لە تۆڕەکان تێبگەین وەک خەسڵەتگەلێک (features) کە بە یەکەوە بەستراون و سەرکیت پێک دەهێنن، بە پشتبەستن بە بەڵگە لە مۆدێلەکانی بینینەوە.

چۆن بیخوێنیتەوەبە تەواوی بیخوێنەوە. سێ بانگەشە سەرەکییەکەی و ئەو بەڵگانەی بۆ هەر یەکێکیان هێنراونەتەوە ڕیز بکە.

چی نیشان دەداتترانسفۆرمەرە بچووکەکان کە تەنها لە چینی سەرنج پێکهاتوون، شی دەکاتەوە بۆ چەند ڕێڕەوێکی ڕاڤەپێکراو، و تێڕوانینی «ڕەوتی پاشماوە» (residual stream) دەناسێنێت.

چۆن بیخوێنیتەوەلە کاتێکدا نۆتبووکێکی کۆدت کردووەتەوە، هەنگاو بە هەنگاو لەگەڵیدا کار بکە. بەشی ڕەوتی پاشماوە دووبارە بخوێنەوە تا دەتوانیت بە دەنگی بەرز ڕوونی بکەیتەوە.

چی نیشان دەداتبەڵگە دەخاتە ڕوو کە سەرەکانی ئیندەکشن (induction heads) بەشێکی زۆری فێربوون لەناو دەق (in-context learning) بەڕێوە دەبەن، و لە ماوەی گۆڕانێکی قۆناغیی لەناکاودا لە کاتی ڕاهێنان دروست دەبن.

چۆن بیخوێنیتەوەهێزی هەر هێڵێکی بەڵگە بە جیا هەڵبسەنگێنە.

چی نیشان دەداتبە ئەندازیاریی پێچەوانە ئەو سەرکیتە ئاشکرا دەکات کە GPT-2 small بەکاری دەهێنێت بۆ تەواوکردنی ڕستەی وەک «Mary and John went to the store; John gave a drink to …»

چۆن بیخوێنیتەوەبەدوای هێڵکارییەکانی پینەکردنی چالاکی (activation patching) بکەوە. تێبینیی تاقیکردنەوەکانی وەفاداری، تەواوێتی و کەمترینبوون بکە.

چی نیشان دەداتتۆڕە بچووکەکان، کاتێک خەسڵەتەکان دەگمەن (sparse) بن، خەسڵەتی زیاتر لە ژمارەی ڕەهەندەکانیان هەڵدەگرن. ئەمەش هۆکاری بوونی نیورۆنی فرەواتا (polysemantic) ڕوون دەکاتەوە.

چۆن بیخوێنیتەوەپێشەکی و ئەنجامە سەرەکییەکان بخوێنەوە، پاشان ئەو نۆتبووکەی لەگەڵیدا هاتووە کار پێ بکە.

چی نیشان دەداتئۆتۆئینکۆدەری کەمچڕ (sparse autoencoders) لە ترانسفۆرمەرێکی بچووکدا خەسڵەتگەلێک دەردەهێنن کە زۆر زیاتر لە نیورۆنەکانی ڕاڤەپێکراون.

چۆن بیخوێنیتەوەبە لاپەڕە کارلێککەرەکانی خەسڵەتەکاندا بگەڕێ. بپرسە چۆن دەزانیت ئەو ناوەی بە خەسڵەتێک دراوە ڕاستە.

چی نیشان دەداتداکۆکی لەوە دەکات کە توانا مەترسیدارەکان و هاوئاهەنگی هەڵبسەنگێنرێن، و ئەنجامەکان لە بڕیارەکانی ڕاهێنان، خستنەکار و ئاسایشدا بەکار بهێنرێن.

چۆن بیخوێنیتەوەبەشی چوارچێوەکە بخوێنەوە. بپرسە کێ دەبێت هەڵسەنگاندنەکان ئەنجام بدات، و کێ پشکنینیان بۆ دەکات.

چی نیشان دەداتبەردی بناغە بۆ ڕێکخستنی یاسایی بەتواناترین مۆدێلەکان پێشنیار دەکات: ستاندارد، تۆمارکردن و ڕاپۆرتدان، و میکانیزمەکانی پابەندبوون.

چۆن بیخوێنیتەوەپێشنیارەکانی لەگەڵ ئەوەی حکومەتەکان لەو کاتەوە کردوویانە بەراورد بکە. بپرسە کامیان دەکرێت لە عێراق جێبەجێ بکرێن.

چی نیشان دەداتبەڵگە دەهێنێتەوە کە توانای ژمێرکاری (compute) بە شێوەیەکی نائاسایی لە حوکمڕانیکردن دێت، چونکە دەکرێت بدۆزرێتەوە، دەکرێت ڕێگری لە گەیشتن پێی بکرێت، دەکرێت بپێورێت، و لە دەستی چەند لایەنێکی کەمدا چڕبووەتەوە. هەروەها هەڵبژاردەکانی سیاسەت هەڵدەسەنگێنێت.

چۆن بیخوێنیتەوەکورتەکە و یەکێک لە بەشەکانی سیاسەت بخوێنەوە. بپرسە حوکمڕانیی توانای ژمێرکاری چ مانایەکی هەیە بۆ ئەو وڵاتانەی هەموو ڕەقەکاڵاکانیان (hardware) هاوردە دەکەن.