ترانسفۆرمەر (مۆدێلی فێربوونی ئامێر)

ترانسفۆرمەر مۆدێلێکی فێربوونی قوڵە کە میکانیزمی "سەرنجی خود" بەکاردەهێنێت بۆ فێربوون، بە شێوەیەکی جیاواز گرنگی هەر بەشێک لە داتای ناوەوە هەڵدەبژێرێت. بە شێوەیەکی سەرەکی لە بوارەکانی پرۆسەی زمانی سروشتی (NLP) و بینینی کۆمپیوتەر (CV) بەکاردێت.^[١]^[٢]

وەک تۆڕەکانی دەماری چەنبارە (RNN)، گۆڕاوەکان دیزاینکراون بۆ پرۆسەکردنی داتای زنجیرەیی، وەک زمانی سروشتی، لەگەڵ جێبەجێکردن بۆ ئەرکی وەک وەرگێڕان و پوختەکردنی وتار. لەگەڵ ئەوەشدا، بەپێچەوانەی RNN، گۆڕاوەکان هەموو ئەو دراوەکە لە یەک کاتدا پرۆسە دەکەن. میکانیزمی سەرنجدان چوارچێوەی هەر پێگەیەک لە زنجیرەی ناوەوە دابین دەکات. بۆ نموونە، ئەگەر داتای ناوەوە ڕستەیەکی زمانی سروشتی بێت، ئەوا ترانسفۆرمەرەکە پێویست ناکات یەک وشە لە یەک کاتدا چارەسەر بکات. ئەمە ڕێگە دەدات بە هاوتەریبکردنی زیاتر لە RNN و لەبەر ئەوە کاتەکانی ڕاهێنان کەم دەکاتەوە.^[١]

ترانسفۆڕمەرەکان لە ساڵی ٢٠١٧ لەلایەن تیمێک لە گووگڵ برەینەوە خرایە ڕوو و زیاتر مۆدێلی هەڵبژاردنیان بۆ کێشەکانی NLP بوو، لە جیاتی مۆدێلى RNN وەک بیرگەی درێژخایەن-کورتخایەن (LSTM).^[٣] هاوتەریبکردنی ڕاهێنانی زیادە ڕێگە بە ڕاهێنان دەدات لەسەر کۆمەڵە داتای گەورەتر. ئەمە بووە هۆی پەرەپێدانی سیستەمەکانی پێش ڕاهێنان وەک BERT (Bidirectional Encoder Representations from Transformers) و GPT (Generative Pre-trained Transformer) ، کە ڕاهێنراون بە کۆمەڵە داتای زمانە گەورەکان، وەک ویکیپیدیا Corpus و Common Crawl، و دەکرێت بە باشی ڕێکخراو بکرێن بۆ ئەرکێکی دیاریکراو.^[٤]^[٥]

پێڕست[دەستکاری]

^ ^ئ ^ا Vaswani. "Attention Is All You Need". {{cite arxiv}}: |arxiv= required (help)
^ He, Cheng (31 December 2021). "Transformer in CV". Transformer in CV. Towards Data Science.
^ Wolf, Thomas; Debut, Lysandre; Sanh, Victor; Chaumond, Julien; Delangue, Clement; Moi, Anthony; Cistac, Pierric; Rault, Tim; Louf, Remi (2020). "Transformers: State-of-the-Art Natural Language Processing". Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations. pp. 38–45. doi:10.18653/v1/2020.emnlp-demos.6.
^ "Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing". Google AI Blog. Retrieved 2019-08-25.
^ "Better Language Models and Their Implications". OpenAI. 2019-02-14. Retrieved 2019-08-25.

[:0-1] ئ ^ا Vaswani. "Attention Is All You Need". {{cite arxiv}}: |arxiv= required (help)

[2] He, Cheng (31 December 2021). "Transformer in CV". Transformer in CV. Towards Data Science.

[wolf2020-3] Wolf, Thomas; Debut, Lysandre; Sanh, Victor; Chaumond, Julien; Delangue, Clement; Moi, Anthony; Cistac, Pierric; Rault, Tim; Louf, Remi (2020). "Transformers: State-of-the-Art Natural Language Processing". Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations. pp. 38–45. doi:10.18653/v1/2020.emnlp-demos.6.

[:6-4] "Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing". Google AI Blog. Retrieved 2019-08-25.

[:7-5] "Better Language Models and Their Implications". OpenAI. 2019-02-14. Retrieved 2019-08-25.

[١]

[٢]

[٣]

[٤]

[٥]