Cognition також оцінила ШІ на SWE-bench, який вимагає від агентів розв’язання реальних проблем із GitHub, виявлених у проєктах із відкритим кодом.
За словами розробників, Devin правильно вирішує 13,86% проблем наскрізно, що значно перевищує попередній рівень техніки в 1,96%. Попередні моделі могли вирішити лише 4,80% проблем.
Ну писатиме Devin якісь фрагменти коду, а хто збиратиме все до купи?Це ще півбіди... а от хто то дебагати буде
Ну писатиме Devin якісь фрагменти коду, а хто збиратиме все до купи?
Розгорнути попередні цитати...Це ще півбіди... а от хто то дебагати буде
Розгорнути попередні цитати...Вот для этого и нужны будут программеры. Какое-то время, пока ИИ не научится выполнять задания типа «напиши программу, которая делает то же самое, что фотошоп»
Розгорнути попередні цитати...Тоді і виробництва в принципі будуть непотрібні. Роботи гуманоіди все на замовлення майструватимуть
Я последнее время пользуюсь чатжпт постоянно, но задания даю минимальные — на уровне написать функцию, на входе которой то и то, и которая должна с этим делать то и то и возвращать такой-то результат. Справляется на ура!
Розгорнути попередні цитати...Да? Я не вірю!
Я якось спробував спитати код на шелі, простенький
Воно видало таке, що я за голову схватився
Той код непрацездатний
надо уметь формулировать промпт. Попробуй разбить тот скрипт на простенькие подзадачи и скармливай их чату. А потом сам объедини в один скрипт.
Будь-який справжній профі починає з рівня початківця.Розгорнути попередні цитати...оте, що я написав у запиті вище, у прикеладі, й є "простєнькой подзадачєй"
Й той код, що бот видав, насправді працездатний, він пройде перевірку тестами
Справа у іншому - код вразливий, його небезпечно ставити у продакшн
Причому там дитяча помилка, таке програмер не має допускать у принципі!
Й тільки коли я натикав бота, у чому його помилка, він виправився
Чому я й написав "рівень початківця"
А тепер уяви собі, що ти використовуєш оті свої функції, що накалякав бот, не задумуючись й не аналізуючи, що ж там написано
В результаті на виході ти можешь отримати продукт, який зламають на другий день опісля релізу. Й втрати будуть такі, що оплата роботи справжнього профі на тому фоні буде взагалі непомітна
А тепер уяви собі, що ти використовуєш оті свої функції, що накалякав бот, не задумуючись й не аналізуючи, що ж там написано
В результаті на виході ти можешь отримати продукт, який зламають на другий день опісля релізу. Й втрати будуть такі, що оплата роботи справжнього профі на тому фоні буде взагалі непомітна
надо уметь формулировать промпт.
Розгорнути попередні цитати...оте, що я написав у запиті вище, у прикеладі, й є "простєнькой подзадачєй"
Й той код, що бот видав, насправді працездатний, він пройде перевірку тестами
Справа у іншому - код вразливий, його небезпечно ставити у продакшн
Причому там дитяча помилка, таке програмер не має допускать у принципі!
Й тільки коли я натикав бота, у чому його помилка, він виправився
Чому я й написав "рівень початківця"
А тепер уяви собі, що ти використовуєш оті свої функції, що накалякав бот, не задумуючись й не аналізуючи, що ж там написано
В результаті на виході ти можешь отримати продукт, який зламають на другий день опісля релізу. Й втрати будуть такі, що оплата роботи справжнього профі на тому фоні буде взагалі непомітна
Розгорнути попередні цитати...ну так он тебе оказывается выдал вполне рабочий код, не понимаю, чем ты недоволен. А после того, как ты ему написал, что нужно учесть, сколько питарасов есть среди людей, которые могут там шось взломать, он тебе, я так понял, и защиту предложил? Да это ж круть!
А воно може взяти макет і зверстати нормально шаблон (хтмл +цсс)?
Нормально, а не як попало.
Бо це тривіально доволі таки.
Поки не буде хоча б такого - про щось більше говорити нема сенсу.
Devin – штучний інтелект, який може виконувати роботу програмістів
https://mezha.media/2024/03/13/devin-new-ai-software-engineer/
Вирішив перевірити, як той ChatGPT справиться
Дав простеньке завдання
Показати зображення...
По результату знову схопився за голову
Ось код
Показати зображення...
Рівень початківця. ЦЕ використовувать у проді не можна ні у якому разі!
А воно може взяти макет і зверстати нормально шаблон (хтмл +цсс)?
Нормально, а не як попало.
Бо це тривіально доволі таки.
Поки не буде хоча б такого - про щось більше говорити нема сенсу.
Розгорнути попередні цитати...Неправильний промпт
security must be by default
Це навіть не обговорюється
Розгорнути попередні цитати...Просто зверну увагу, що ваші претензії (по факту) - до робота!
Ще неумілого і недосвідченого, його (поки що) можна переписати чи "виключити з розетки".
Хз що ці роботи зможуть "переписувати" чи "виключати" років через 10-20...
)))А воно може взяти макет і зверстати нормально шаблон (хтмл +цсс)?
Нормально, а не як попало.
Бо це тривіально доволі таки.
Поки не буде хоча б такого - про щось більше говорити нема сенсу.
Розгорнути попередні цитати..."через років 10-20" програмісти стануть давати "правильний промпт" до бота й збирать це все докупи
Я не бачу, яким чином той бот "дасть копняка" програмістам
ми все це багато разів проходили
Професії просто змінювалися, змінювався рівень абстракції, але програмісти (як професія) залишалися
Тут буде те ж саме
Я с нетерпением жду, когда ИИ начнет кодить сложные приложения, не используя все эти дебильные фреймворки, все эти ибанутые реакты, ангуляры и прочую говнокодерскую мерзость, когда ИИ начнет все делать на нативном ДжаваСкрипте, нативном С и т.п.. Просто предвкушаю, как миллионы говнокодеров останутся за бортом.
