Связь
Здравствуйте! Я Ваш личный надежный программист.
1С Предприятие 8.2-8.3, 1С-Битрикс: Управление сайтом, Битрикс24

Решить проблему с длинными инструкциями для модуля ИИ

Сейчас в модуле ИИ есть проблема с количеством токенов на исходящий запрос. Их попросту не хватает для детальных инструкций. Возможно, это проблема GPT 3.5. Но более вероятно, дело в чем-то другом. Модуль другого разработчика в том же 3.5 нормально передаёт инструкции под 1500 символов и текст нормально формируется общей длиной под 2000 символов. У вас же даже при более короткой инструкции сгенерированный текст получается длиной до 1000 символов. Либо очень дорогой текст получается, либо просто тратится...
 
Сейчас в модуле ИИ есть проблема с количеством токенов на исходящий запрос. Их попросту не хватает для детальных инструкций. Возможно, это проблема GPT 3.5. Но более вероятно, дело в чем-то другом. Модуль другого разработчика в том же 3.5 нормально передаёт инструкции под 1500 символов и текст нормально формируется общей длиной под 2000 символов. У вас же даже при более короткой инструкции сгенерированный текст получается длиной до 1000 символов. Либо очень дорогой текст получается, либо просто тратится меньше токенов.
Длина инструкций важна: "Чем детальнее инструкция, тем осмысленнее получается текст. В принципе, GPT 4 из трёх строк сделает текст любой эмоциональной окраски, но по существу это будет вода. Ему нужно откуда-то брать фактуру, особенности, ему нужно понимать что за текст ждёт от него заказчик. По этой причине хорошо работают длинные инструкции. Это выходит дороже, но текст уже может претендовать на полезность."
 
Добавлена возможность работы с gpt-3.5-turbo-16K - теперь инструкции могут быть намного больше!
Читают тему
file_download Скачать Модуль Маркет
file_download Скачать Модуль Маркет