Коллеги, не подскажите как написать(обучить) модель - подобие ChatGPT, притом желательно чтобы это была именно форма вопрос-ответ, а не как это сделано в Балаболе или GPT 3 - обычным дополнением. Возможно где-то уже есть такие модели, но их нужно лишь обучать, подскажите пожалуйста
Посмотреть пример кода для GPT4All можно в репозитории. Поможет правильно подобрать интересующий промпт, настроить базу знаний для самообучения, проверить в консольном чате
Важные слова из ответа я пометил как код, вам стоит почитать о них в википедии
Где взять нейронку
Существует OpenSource реализация - GPT4All. В сочетании с Chromadb, можно сделать интерактивного торгаша, продающего товар из json документа со 100+ записей, способного початиться на общечеловеческие темы
Железо для GPT4All
Начиная с 2017 года на гитхабах корпораций и энтузиастов начали появляться фрейморки по обучению нейронок на видеокартах. Самые примечательные - LLaMA и Darknet. Работают поверх CUDA или OpenCL, соответственно, вам потребуется топ видеокарта, чтобы это работало. На процессоре Intel i5 12450 ответ генерируется в среднем 3 минуты на 100 фраз, на видеокарте GTX 1650 встроенной памяти не хватает (важная метрика, у видеокарты своя оператива, она блокер). Ищите топ rig на 4090 и i9 последнего поколения
Предтренированные модели
В библиотеке GPT4All есть нейронка nous-hermes-llama2-13b.Q4_0.gguf. Она спокойно позволяет перегонять текст из русского на английский на турецкий, перефразировать абзацы текста в меньший объем, менять аристократический английский из chatgpt на общепринятый.
Со слов, в отличие от ChatGPT, в ней нет цензуры, например, крайне необходимо для магазина сувенирных ножей и тд. Учитывайте, нужна видеокарта на 16 гигов оперативы
Важно учитывать, что nous-hermes мыслит на английском, можно выловить английскую семантику при некорректном промпте. Нейронки от русскоязычного сообщества, однако, я бы не рекомендовал использовать, может быть закладка