GPT как это было.
GPT-1: обучение на наборе данных BooksCorpus, содержащем 4,63 ГБ исходного текста из книг различных жанров.
GPT-2: использовал набор данных WebText, внутренний набор данных, созданный OpenAI путем извлечения исходящих ссылок из Reddit. После фильтрации для обучения использовалось 40 ГБ текста, и GPT-2 показал хорошие результаты без дополнительной тонкой настройки.
GPT-3: прежде всего обучался работе с набором данных Common Crawl. После фильтрации было использовано 570 ГБ текста из исходных 45 ТБ обычного текста (из-за качественной фильтрации было отобрано только 1,27% данных). GPT-3 показал значительные улучшения по сравнению с GPT-2.
InstructGPT: эта модель была обучена с учетом отзывов людей, чтобы лучше соответствовать ожиданиям людей. OpenAI много работал, чтобы улучшить производительность модели, в результате чего модель стала более достоверной и менее предвзятой.
ChatGPT-4: Конкретные детали обучения ChatGPT-4 не были раскрыты OpenAI.
GPT-4 обладает улучшенными возможностями решения проблем и более широкой общей базой знаний, что позволяет решать сложные задачи с большей точностью.
Это было достигнуто за счет включения большего количества отзывов людей, в том числе отзывов, отправленных пользователями ChatGPT, и работы с более чем 50 экспертами для получения стататистически значимых данных.
GPT-4 обучался на суперкомпьютерах Microsoft Azure с искусственным интеллектом.
OpenAI сотрудничает с такими организациями, как Duolingo, Be My Eyes, Stripe и Morgan Stanley, для создания инновационных продуктов с GPT-4.
UM v3.01 Деньги на диване, и нейронные сети совсем чуть чуть …