NVIDIA e AI4Bharat anunciam corpus de 2,8 trilhões de tokens nas 22 línguas oficiais da Índia e abrem o pipeline que o gerou
O Nemotron-pretraining-Indic-v1, feito com o IIT Madras, traz texto em escrita nativa nas 22 línguas da Constituição indiana e texto romanizado em 12, e sai \"em breve\" junto com o pipeline acelerado por GPU de tradução, avaliação de qualidade e reparo, com prompts e checagens. A receita serve de modelo para quem quer gerar corpus de pré-treino em línguas com pouco dado.
Modelos · rss · nvidia, nemotron, dados, multilingue, india