O novo desafio da Ai Ai Coling acabou de publicar seus primeiros resls – e eles não são bonitos 

O novo desafio da AI AI Cooding revelou o primeiro vencedor da ISSS – e o conjunto de novos bar para engenheiros de software movidos a IA.

Na quarta-feira, às 17h, o PST, o anúncio sem fins lucrativos Lazytte, o primeiro Wokner do K Priza, com vários fundos e o co-formador Andy Kidwinski. O vencedor Wes, um engenheiro rápido brasileiro, Eduado Rocha de Andrade, que receberá US $ 50.000 pelo prêmio. Mas mais surpresa do que a pontuação final da vitória: ele ganhou as respostas da capa apenas para as perguntas no teste.

“Estamos felizes por termos construído uma referência que é acinzentada”, disse Kidwinski. “Os Benkmarks devem ser difíceis se, quanto difícil”, hendinuou, adicionará a ferramenta offline com computação com modelos menores e abertos. Eu amo isso. Nivela o campo de jogo. “

Konwinski prometeu US $ 1 milhão ao primeiro modelo de código aberto que pode marcar mais de 90% no teste.

Semelhante ao conhecido Sweh Sweet, os modelos de testes de prêmio K contra Issules Frighes podem negociar problemas de progresso no mundo real. Bull inteiro swo-benci com base em um conjunto fixo de problemas de modelos contra a referência da AY contra qualquer treinamento específico da Benmark. Para a primeira rodada, os modelos Wree Durse até 12 de março. Os K Prie Orgizhers construíram o teste usando apenas problemas de Gitgg sinalizados após essa data.

A pontuação máxima de 7,5% é a seleção de constrangimento marítimo para o SWE-banch Self, qual superior atual e 34% do teste “completo” mais difícil. Konwinski ainda não está se onde a partida está em busca de contestar no banco de swe ou jurados o projeto do prêmio para responder à pergunta.

“Ass -se que tenham mais corridas do Thistyt, o Wold tem um melhor”, disse ele ao TechCrunch, “porque Wechcruns”.

É seu item LS Lyka um lugar estranho para ficar aquém, dada a ampla codificação de zi – os benchmarks buty swects loke o K Priary Pasta para resolver As eferências crescentes da IA são.

“Sou bastante otimista sobre a Bulding New Tests for PortaSrists”, diz os benchmarks de Princet “, diz o pesquisador de Princeton Sayash Kior, que colocou Fourgard uma ideia semelhante em um artigo recente. “Shartout tais experimentos, cancemos o tempo de tempo é a deminação, forno Judeding the Swe-Benchad on the Loood”.

Para Konwinski, não é apenas um Beter Better Betchmard, mas um desafio aberto para o resto da indústria. “Se você ouvir o hype, é o lago que estamos sendo atendidos em Ai Sheing Ai seiing seiing, vendo ai Sheing Sheing Sheing Ai Sheing Ai Sheing Ai Seiing Ai Sheing Ai Sheing Ai Seiing Ai Seoing Docirs Ai e Ai Software Engineers,” “. “Se não pudermos eventos, obter mais de 10% em um SWEH gratuito, a verificação da realidade de Bench para mim”.