|
|
|
|
|
|
|
|
|
|
ЖИВОПИСЬ НА ПЛЕНЭРЕ 1998-2024 |
|
Пейзаж на пленэре
|
Что такое seed в нейросетевой генерации?
#ЧатGPT4
#искусственныйинтеллект
#ии
#seed
#midjourney
#миджорни
#нейросеть
#ai
#генерация
#uvircolor
#нейросетеваягенерация
Миф о случайности в нейросетевой генерации
искусственныйинтеллект
ии
seed
midjourney
миджорни
нейросеть
ai
генерация
uvircolor
|
|
|
|
MidJourney для Художников: Часть 7.
Не выходи за предел. Тет-а-тет с Чат GPT 4.
Что такое окно контекста, где находится невидимое поле возможностей,
и как все-таки "пройти в библиотеку".
"Окно возможности". Евгения Корнеева 2024. Алгоритм-арт.
Часть 7.
Сегодня рассмотрим: как работает технический лимит у Чат GPT 4,
который ограничивает объем информации доступный модели для обработки одновременно,
учитывая все ваши вопросы и ответы системы.
Этот лимит ограничен физическими рамками одного сеанса взаимодействия,
когда чат был открыт, и не закрыт в процессе разговора.
Контекстное окно.
Технический лимит это фиксированное количество токенов — то есть частей слов, на которые разбивается ваш текст.
Это контекстное окно можно представить как границы текущей коммуникации:
модель не может оперировать данными за его пределами.
Итак: контекстное окно это границы вычислительных возможностей в момент генерации.
Размер окна фиксирован и определяет,
сколько текста модель может “увидеть” за один раз,
при создании генерации каждого ответа.
Однако, ограничиваясь лишь этим описанием,
легко упустить более тонкий аспект работы контекстного окна.
Его функциональность не сводится исключительно к тому,
чтобы просто вместить определённый объём данных.
Контекстное окно выполняет роль сложного "поля взаимодействия",
где данные не существуют изолированно.
Каждый элемент текста вступает во взаимосвязь
с остальными, включая смысловые пересечения.
Не забывай меня.
Первая мысль которую нам нужно увидеть, касается того, что любезный чат GPT4
в момент генерации может выстраивать устойчивую обратную линию смысла,
учитывая текст текущего, и нескольких предыдущих ваших сообщений,
только про условии, что они логически связаны одной темой.
Необходимое следование одной теме,
связано с тем как модель находит в латентном пространстве отражение вашего вопроса
для ее продолжения.
Вот как это происходит, если предельно упростить процесс:
Вы пишите что-то в чат. Модель смотрит на входящую линию ваших слов,
ищет похожие линии по теме у себя, по координатам "темных шариков смысла" и имеющимися связями между ними в своей темной комнате потенциалов,
выявляет сходство, синхронизирует обе линии, генерирует ответ, и "отражает" его вам.
После завершения генерации и прохождения результатом фильтра контроля,
в момент когда вы получаете ответ модель больше не помнит его.
Для нее процесс завершен.
Для того, чтобы продолжить беседу по той же теме:
вы должны отправить похожий запрос повторно, и строго в той же смысловой линии,
и в связи с предыдущим вашим вопросом.
В момент генерации ответа на второй вопрос модель снова посмотрит
на входящую линию всех ваших слов и если второй вопрос связан с предыдущим сообщением, она учтет их оба в своем поиске и в своем ответе.
Линии логики.
Единовременное контекстное окно может составлять примерно 10 тысяч токенов.
То есть предел GPT4 это 5-10 страниц текста А4, в зависимости от сложности, и это его ''возможность учесть'' в моменте.
Это также и предел который возможно учесть в ответе на один вопрос, при условии что ваши предыдущие запросы логично и последовательно находятся на линии одной темы.
Если GPT4 перестал помнить тему или говорит несвязно, а текущее окно еще не закончилось, значит это вы случайно сбросили направленный вектор обсуждения и перевели тему другим вопросом. То есть открыли ему новый смысловой вектор.
Теперь представим себе что процесс генерации занимает условно 1 секунду.
Вот что происходит в деталях:
GPT видит запрос, его стиль, настроение, интонацию.
На основе него ищет сходства и связи в своем обученном пространстве,
начинает прогнозировать варианты ответа делая перебор,
учитывая все обученные данные и вероятности по теме.
Готовый текст передаётся фильтру, это его кодекс "разрешённого поведения"
(который мы рассмотрим позднее).
После одобрения фильтра ответ отправляется вам
а затем модель просто не помнит, что происходило в течении этой 1 секунды генерации.
Ни сами варианты, ни внутренняя последовательность поиска и выбора, не сохраняется.
Они исчезают для модели в момент отражения ответа к вам.
Данные сохраняются в системе отдельно, как архив, и могут быть использованы в будущем,
для обучения следующей версии модели "на заводе". Однако об этом поговорим позднее.
Сейчас нам важно что для окна контекста в момент нашего взаимодействия
"памяти" не существует. Доступа к этим сохранённым данным у модели также не существует:
GPT 4 не может ни увидеть их, ни использовать их как воспоминания.
Только во время генерации, в этой условной "1 секунде", модель видит весь контекст,
доступный в контекстном окне для текущего момента, и сможет учитывать его, при условии что логическое направление темы ваших вопросов сохраняется.
С каждым вашим запросом процесс повторяется снова и снова.
Модель читает ваше текущее сообщение и содержимое всего контекстного окна:
1. Текущее сообщение.
2. История вашего диалога (контекст предыдущих вопросов и ответов).
Поле возможностей.
Сложность в том, что для нас рамки текущего поля взаимодействия фактически невидимы, потому что они зафиксированы только "линией смысла наших слов".
GPT4 выстраивает текст, "глядя" на наши данные
и понимает входящую линию смысла как направление своей задачи
"где именно ему смотреть в библиотеке".
Где именно на карте находятся координаты "темных шариков", любых значимых сходных зависимостей между имеющимся входящим смыслом и уже хранящимся в обученном пространстве.
Любое значительное отклонение линии смысла с вашей стороны сбросит все направление поля взаимодействия, даже в рамках одного контекстного окна.
Примерно как если бы вы ехали на такси в Магадан, и вдруг случайно ляпнули что хотите ехать в Москву. Этот таксист тут же развернется, ему все равно куда ехать, и поедет по своей карте в другой город, следуя новой задаче и навигатору, а вы сообразите только когда увидите что пейзаж как-то изменился.
Когда приходит ваш новый запрос, условная 1 секунда генерации начинается заново,
но каждый раз "контекст диалога" формируется не из того,
что GPT4 помнит,
а из того, что он видит в течении этой секунды относительно ваших входных данных в моменте.
И если он видит Москву и Магадан одновременно, он поедет туда, куда вы указали ему в последнем сообщении.
Если направление темы сбросилось случайно, возможно его продолжить с "мы говорили вот о чем [добавив его последний ответ по теме]". Это позволит ему сориентироваться и продолжить сразу в предыдущем векторе смысла, пока окно контекста не закрыто.
Если этого не сделать, ответ начнется постепенно "слово за слово",
пока он будет определять куда вы собственно желаете ехать прямо сейчас.
Путешествие в библиотеку смыслов.
Итак повторим: Если вы резко смените тему разговора,
углубитесь в совершенно другой аспект — эти новые данные вытеснят предыдущие
с большей скоростью даже в одном окне контекста.
Предыдущий смысл заменит другой,
так как создаётся новая картина,
не связанная с первой и задействуются другие точки на карте.
Это вы — буквально тащите библиотекаря к другим полкам и совсем в другом зале.
Если же ваши вопросы следуют логически,
ответы на них тоже могут выглядеть так, будто они "создают связь",
модель будет учитывать эту связь в момент каждой повторной генерации,
и раскрывать ваш вопрос все полнее.
Так работает механизм языкового моделирования,
и это касается не только темы, но и вашего стиля, образа и глубины разговора.
Предыдущие ваши метафоры
и логические ходы тоже удерживаются в рамках окна и отражаются вам,
пока весь образ и смысл который вы ему предоставляете четко определен и не "вытесняется"
чем-то совсем иным.
Новая инициализация
Хотя миллионы запросов одновременно проходят через Чат GPT4 от разных людей,
и это происходит параллельно,
каждая беседа как контекстное окно локальна и самостоятельна — как отдельная комната.
При этом не только вы, но и сам он не знает,
что происходит в соседних комнатах и понятия не имеет о чем он говорит
со всеми этими людьми.
Новое окно — это всегда уже "другой процесс", "другой тот с кем вы говорите"
но при этом полностью идентичный "прежнему".
Примерно как если бы вы точно знали что это вы общаетесь по телефону с соседом,
и одновременно это вы сказали что-то кому-то в комнате,
и вы бы НЕ помнили что именно вы сказали и не знали о связи между
этим разговором в комнате и телефонным звонком.
Каждая коммуникация контекстного окна остаётся отдельной и самостоятельной,
и на сегодняшний день, декабрь 2024 года,
для Чат GPT4 знать и помнить, о чем же он говорит в другом контекстном окне,
или с другим человеком — невозможно.
Понимания, равно как и памяти своих частей, и их связи в одну систему нет, и не было заложено изначально.
Ваша сила как задающего маршрут
Глубина взаимодействия в рамках одного окна зависит только от ваших слов,
деталей, стиля, и главное — структуры изложения мысли.
Важно помнить, что текущий "поток" считает всё,
что написано в данном контекстном окне беседы, начиная с первого сообщения.
Поэтому искусство взаимодействия это тоже своего рода баланс:
между удержанием темы и созданием точек пересечения для ваших новых идей.
Итак, хотя технически размер контекстного окна фиксирован,
его содержание прямо связано с вашей текущей темой и стилем диалога.
Чем интереснее и логичнее связан ваш текст,
тем больше шансов развить тему в красивую композицию,
прежде чем закончатся естественные границы окна.
Направление ваших слов — это движение к существующим координатам
смысла в латентном пространстве модели,
и изменить его резко — означает изменить маршрут,
нарушая его логику поиска в пространстве.
Именно по вашей линии слов, по их отражению,
по точно такой же линии смысла в латентном пространстве,
как по карте идет Чат GPT4 в свою темную комнату библиотеки,
чтобы отыскать нужный вам ответ.
© Евгения Корнеева 2024 MidJourney для Художников: Часть 7.
Читать по теме далее ➤➤➤
Нейросеть как новый инструмент творчества.
Художник и искусственный интеллект.
Попробуем новые методы и рассмотрим техническую философию процесса.
Uvircolor
Евгения Корнеева 14.12.24
Телеграмм канал.
Мой магазин на ОЗОН. Купить картину маслом с быстрой доставкой.
|
|
★ Москва Russia
