در اوایل سال 2011، یاندکس سیستم ترجمه ماشینی خود را پیاده سازی کرد. نرم افزار Yandex.translate از زبان های مهم اروپایی به صورت دوسویه پشتیبانی می کند – برای مثال از انگلیسی به اسپانیایی و بالعکس.

سیستم ترجمه ماشینی یاندکس، آماری است، یعنی ترجمه های ان بر اساس قواعد زبانی نیست، و سیستم حتی از وجود این قواعد آگاه نیست – آنها صرفاً بر اساس آمار هستند. برای یادگیری یک زبان، این سیستم به مقایسه صدها هزار متن یا متن هایی می پردازد که حاوی اطلاعات یکسان اما به زبان های مختلف هستند.

سیستم برای هر متنی که مطالعه می کند فهرستی از ویژگی های منحصر به فرد را ارائه می دهد – اینها ممکن است کلمات، اعداد یا نمادهای خاصی در یک متن به ترتیبی معین باشند که به ندرت مورد استفاده قرار می گیرند. وقتی سیستم تعداد زیادی از این متن ها را جمع آوری کرد، از آنها برای جستجوی متن های موازی استفاده می کند – یعنی آن ویژگی ها را در متن های جدید  با ویژگی های موجود در متن هایی که قبلا بررسی کرده است مقایسه می کند.

به منظور رعایت استانداردهای کیفی در ترجمه ماشینی، سیستم باید صدها میلیون عبارت به زبان های مختلف را مطالعه کند که نیاز به منابع بسیار زیادی دارد و این مساله نشان می دهد که چرا امروزه تعداد سیستم های ترجمه ماشینی موجود اندک است.

یادگیری زبانی

سه مولفه کلیدی در سیستم ترجمه ماشینی یاندکس عبارتند از یک مدل ترجمه، یک مدل زبانی و یک رمزگشا.

مدل ترجمه فهرستی از همه کلمات و عبارات شناخته شده برای سیستم به یک زبان واحد است با همه ترجمه های ممکن از آنها به زبان دیگر. هر جفت زبانی فهرست مخصوص خودش را دارد. برای ایجاد مدل ترجمه، این مدل باید ابتدا متن های موازی یا مطابق با هم را پیدا کند و سپس، جفت عبارت های مطابق هم در این متن ها را بیابد، و سپس، تنها کاری که باید انجام دهد یافتن جفت کلمات یا ترکیبات کلمه ای مطابق با هم است.

وقتی سیستم در معرض اولین جفت عبارت های موازی به زبان های مختلف قرار می گیرد، مثلا انگلیسی و اسپانیایی، آن اطلاعات کافی برای یافتن الگوهای آماری برای ترجمه ندارد.

سیستم نه تنها تک تک کلمات را با هم مقایسه می کند بلکه توالی های متشکل از دو، سه، چهار یا پنج کلمه را نیز بررسی می کند. مدل زبانی برای هر جفت از زبان های پردازش شده توسط سیستم ترجمه ماشینی یاندکس، صدها میلیون جفت کلمه یا عبارت دارد.

برای ایجاد یک مدل زبانی – که مولفه دیگر فناوری ترجمه ماشینی یاندکس است – سیستم صدها هزار متن به زبان مقصد را اسکن می کند و فهرستی از پرکابردترین کلمات و ترکیبات کلمه ای را ارائه می دهد از جمله اطلاعاتی درباره تعداد استفاده از آنها. این، دانش سیستم درباره زبان مقصد است.

فرایند ترجمه

ترجمه واقعی توسط رمزگشا انجام می شود. برای هر جمله از متن مبدا، آن همه گزینه های ترجمه را انتخاب می کند، عباراتی را از مدل ترجمه ترکیب کرده و آنها را به ترتیب احتمال نزولی تفکیک می کند.

سیستم ترجمه ماشینی یاندکس نه تنها متن های آزاد بلکه صفحات وب را نیز ترجمه می کند. وقتی کاربردی وارد یک ادرس وبسایت در سایت translate.yandex.com می شود در ابتدا صفحه به زبان اصلی باز می شود. سپس، مرورگر کاربر کد html صفحه را تقطیع کرده و متن را به صورت  پاراگراف به پاراگراف به سرور مترجم ارسال می کند. آن گاه برای مثال، صفحه وب جلوی چشم کاربر از انگلیسی به اسپانیایی ترجمه می شود. یعنی دیگر حتی لازم نیست کاربر منتظر شود کل متن ترجمه شود – می توان شروع به مطالعه اولین پاراگراف ها کرد در حالی که بقیه متن هنوز در حال پردازش است.

فرهنگ لغت ماشینی

یاندکس را علاوه بر کار با متن، می توان برای ترجمه تک تک کلمات هم استفاده کرد. این سرویس دارای یک فرهنگ لغت پیشرفته با مدخل های دقیق برای کلمات و عبارات است. این مدخل ها بر اساس داده های آماری یکسان ایجاد می شوند اما در این مورد با توجه به قواعد این کار انجام می شود.

بر خلاف مدل ترجمه، که در آن کلمات و ترکیبات کلمه ای به هر شکلی ادغام می شوند برای فرهنگ لغت ماشینی، سیستم فقط شکل های پایه کلمات را انتخاب می کند برای مثال، اسامی مفرد در حالت فاعلی یا افعال در حالت مصدری و عبارات. سیستم تحلیل مورفولوژیکی و نحوی انجام می دهد. آن اجزای کلام و شکل پایه کلمات را شناسایی می کند، محدودیت های مربوط به ترکیب کلمات را تعیین می کند و مشخص می کند که یک صفت مربوط به کدام کلمه است یا یک فعل در جمله چه مفعولی می گیرد. این اطلاعات به سیستم کمک می کند تا ترکیبات ناقص را جدا کند.

ترجمه هایی که از نظر معنایی به هم نزدیک هستند با کمک فرهنگ لغت مترادف ها کنار هم قرار می گیرند. این نیز یک فرهنگ لغت آماری بر اساس متن های موازی است و شامل کلماتی می شود که اغلب به صورت یکسان ترجمه می شوند یا ترکیباتی با کلمات یکسان را  تشکیل می دهند.

به این ترتیب، فرهنگ لغت ماشینی هرچیزی که نیاز دارد درباره هر کلمه و عبارت بداند را دریافت می کند: شکل پایه آن، اجزای کلام، معنا و مترادف. همچنین، آن ترجمه ها را با مثال هایی برگرفته شده از متن های موازی یکسان نشان می دهد.

توسعه ترجمه آماری

یکی از مزایای ترجمه ماشینی آماری این است که زنده است درست مانند خود زبان. یعنی اگر چیزی در یک زبان تغییر کند سیستم به محض این که متن های جدید معرفی می شوند آن را تشخیص می دهد. هر چه یک واژه پرکاربردتر باشد ادغام آن در ترجمه و مدل های زبانی سریع تر اتفاق می افتد.

سیستم به طور منظم به روزرسانی می شود تا کیفیت ترجمه بهبود پیدا کند. هر تغییر جدیدی که معرفی شود با استفاده از ابزار سنجش کیفیت ترجمه ماشینی آماری بررسی می شود.

ترجمه متن های انتخابی ویژه با نمونه های مرجع استاندارد مقایسه می شوند و اگر کیفیت ترجمه بدتر شود، تغییرات کنار گذاشته می شوند.