GTO в покере: что это такое простыми словами

GTO в покере (game theory optimal, «оптимальная по теории игр стратегия») — это стратегия, близкая к равновесию Нэша: если вы играете по ней, сопернику в среднем нечего вам противопоставить, как бы он ни подстраивался. GTO не угадывает карты соперника и не ищет его ошибки. Она смешивает ставки, блефы, коллы и фолды в таких пропорциях, что любое отклонение соперника от равновесия не приносит ему выгоды. Обратная сторона: GTO почти не наказывает его ошибки, и именно поэтому сильные игроки сочетают её с эксплойтом.

Ниже — откуда взялся термин, как GTO выглядит на простом примере с цифрами, чем она отличается от эксплойта, что умеют солверы и нужно ли всё это игроку-любителю.

Что такое GTO в покере простыми словами

В русскоязычных материалах встречается и аббревиатура «ГТО», и описательные варианты: «оптимальная стратегия», «теория оптимальной игры». Речь об одном и том же: о стратегии, которую нельзя обыграть, даже если соперник её знает.

Ключевое слово здесь «неэксплуатируемая». Представьте, что соперник видит не ваши карты, а ваш алгоритм: с какими руками и как часто вы ставите, блефуете, сбрасываете. Против обычного игрока это знание бесценно: если вы никогда не блефуете на ривере, он будет сбрасывать на каждую вашу ставку. Против GTO-стратегии такое знание бесполезно. Её частоты подобраны так, что у соперника нет хода лучше, чем играть так же сбалансированно.

Для этого GTO использует смешанные решения: одна и та же рука в одной и той же ситуации иногда ставит, а иногда чекает. Это не «настроение», а расчёт. В статье Википедии о блефе это названо прямо: теория игр предлагает определять, блефовать или нет, случайным образом (например, по цвету карт или секундной стрелке), чтобы соперник не мог прочитать закономерность.

Равновесие Нэша: откуда взялся термин

Равновесие Нэша — понятие из теории игр. Это набор стратегий, при котором ни один игрок не может выиграть больше, если в одиночку поменяет свою стратегию, а остальные свои оставят. Джон Нэш показал, что в любой конечной игре такое равновесие существует, если разрешить смешанные стратегии. Для игр с нулевой суммой (что один выиграл, другой проиграл) это ещё раньше доказали фон Нейман и Моргенштерн.

Покер один на один (хедз-ап) без рейка — как раз игра двух игроков с нулевой суммой. Для таких игр равновесие даёт гарантию: ваш средний результат не опустится ниже определённого уровня при любой игре соперника. Когда игроков трое и больше, этой гарантии уже нет, к этому вернёмся ниже.

Простейший пример: камень, ножницы, бумага

Равновесие в «камень, ножницы, бумага» — выбирать каждый вариант с вероятностью 1/3 случайно. Посчитаем, что это даёт:

Выигрыш считаем как +1 за победу, −1 за поражение, 0 за ничью. Видны оба свойства GTO сразу. Равновесная стратегия никогда не проигрывает в среднем: против любого соперника её ожидание 0. Но и против соперника с явным перекосом в камень она получает те же 0, хотя «всегда бумага» выигрывала бы четверть ставки за игру. Это и есть эксплойт: вы отходите от равновесия, чтобы наказать чужой перекос. Цена эксплойта — уязвимость. Если соперник заметит, что вы всегда показываете бумагу, и перейдёт на ножницы, вы будете проигрывать по 1 за игру.

Покер устроен так же, только решений в нём не три, а астрономически много.

Как GTO выглядит в покере: блеф и защита на ривере

Самый наглядный покерный пример — ставка на ривере с поляризованным диапазоном. Условия упрощены: в банке 100 фишек, карты больше не придут. У вас 70 комбинаций натсов (рук, которые наверняка выигрывают) и 100 комбинаций пустых рук без шансов на вскрытии. У соперника «ловец блефов»: он выигрывает у ваших блефов и проигрывает натсам. Вы решаете, сколько блефов добавить к ставке 75 фишек, он решает, как часто коллировать.

Равновесие находится из двух условий безразличия:

• Доля блефов в ставке должна быть такой, чтобы сопернику было всё равно, коллировать или сбрасывать. Ему нужно B / (P + 2B) эквити для колла, то есть 75 / 250 = 30%. Значит, 30% вашего диапазона ставки — блефы: к 70 натсам добавляется 30 блефов, остальные 70 пустых рук сдаются чеком.
• Частота защиты соперника должна быть такой, чтобы вашим блефам было всё равно, ставить или нет. Блеф рискует 75, чтобы выиграть 100, поэтому соперник должен коллировать в P / (P + B) = 100 / 175 = 57,1% случаев. Эту величину называют минимальной частотой защиты (MDF).

Та же логика для других размеров ставки (банк 100):

Чем крупнее ставка, тем больше в ней может быть блефов и тем реже соперник обязан защищаться. Это та же мысль, которую Википедия приводит из книги Дэвида Склански «The Theory of Poker»: шансы против вашего блефа должны совпадать с шансами банка, которые получает соперник. Как это выглядит со стороны того, кто ставит, и сколько фолдов нужно отдельному блефу, разобрано в статье про фолд эквити.

Что даёт равновесие и что даёт эксплойт

Теперь посчитаем, сколько вы в среднем забираете из банка в 100 фишек на одну раздачу (в среднем по всем 170 комбинациям вашего диапазона) при разных стратегиях. Если бы ставок не было вовсе, вы забирали бы банк только с натсами: 70 / 170 × 100 = 41,18.

Строка равновесия не меняется: что бы ни делал соперник, вы получаете 58,82. Это и есть неэксплуатируемость. Но посмотрите на крайние столбцы. Против соперника, который сбрасывает слишком часто (коллирует 30% вместо 57,1%), блеф всеми пустыми руками приносит 78,38, на 19,56 больше равновесия. Против «колл-станции», которая коллирует 90%, выгоднее не блефовать совсем: 68,97, на 10,15 больше. Цена этих эксплойтов видна в правом столбце: если соперник раскусит перекос и ответит лучшим образом, результат падает до 41,18 или даже 27,94.

Заметьте ещё одну деталь: в равновесии сам блеф в среднем ничего не зарабатывает (его ожидание при колле 57,1% ровно ноль). Википедия формулирует это так: оптимальная частота блефа не рассчитана на прибыль от самих блефов, её смысл в том, что ваши ставки на ценность начинают оплачивать.

GTO против эксплойта: что выгоднее

Из таблицы выше следует главный практический вывод. GTO — это защита, а не способ заработать на чужих ошибках. Стив Золотов в колонке для журнала Card Player (2023) пишет то же самое: решения солверов сделают вас неэксплуатируемым, но чтобы стать крупным победителем, нужно эксплуатировать соперников. Его пример: если соперник блефует на ривере в половине случаев вместо «правильной» четверти, сильный игрок будет коллировать ловцом блефов каждый раз.

Отсюда обычный подход сильных игроков:

• GTO служит точкой отсчёта. Вы знаете, как играть, если о сопернике ничего не известно, и понимаете, какие частоты «нормальны».
• Когда вы видите у соперника устойчивый перекос (слишком много фолдов, слишком много коллов, никогда не блефует), вы отклоняетесь от равновесия в сторону, которая этот перекос наказывает.
• Против сильного соперника, который сам подстраивается, отклонения опасны, и вы возвращаетесь ближе к равновесию.

В реальной игре есть и рейк. Равновесие гарантирует «не хуже нуля» в хедз-апе без комиссии. Если два игрока играют друг против друга идеально сбалансированно, ни один не выигрывает, а рейк при этом забирает часть каждого банка, и оба оказываются в минусе. Прибыль за столом появляется только из ошибок соперников, и её должно хватать, чтобы покрыть рейк.

Решён ли покер: от игрушечных игр до ботов

«Решить» игру — значит найти её равновесие. Для простых моделей покера это можно сделать на бумаге.

Покер Куна: решение в три карты

В покере Куна колода из трёх карт (валет, дама, король), каждый игрок ставит анте 1 и получает одну карту, ставка всего одна, размером 1. Равновесие этой игры известно полностью. Первый игрок с валетом блефует с некоторой вероятностью α (от 0 до 1/3), с королём ставит с вероятностью 3α, с дамой всегда чекает. Второй игрок с королём всегда ставит или коллирует, с валетом блефует в 1/3 случаев, с дамой на ставку коллирует в 1/3 случаев.

Цена игры: первый игрок в среднем теряет 1/18 фишки за раздачу, второй столько же выигрывает. Мы пересчитали это перебором всех шести раздач карт для α = 0, 1/6 и 1/3 — во всех трёх случаях ожидание первого игрока −0,0556, то есть ровно −1/18. Заметьте связь с таблицей выше: ставка 1 в банк 2 — это ставка в полбанка, и на каждый блеф валетом (α) приходится три ставки королём (3α). Те же 3 : 1, что в строке «полбанка».

Лимитный хедз-ап, безлимитный хедз-ап и шесть игроков

• 2015, лимитный холдем один на один. Программа Cepheus из группы компьютерного покера Университета Альберты «по существу слабо решила» эту игру; статья об этом вышла в журнале Science под заголовком «Heads-up limit hold'em poker is solved». Даже идеальная контрстратегия выигрывает у неё в среднем 0,000986 большого блайнда за раздачу — около 0,1 BB на 100 раздач.
• 2017, безлимитный холдем один на один. Программа Libratus из Университета Карнеги — Меллон сыграла 120 000 раздач против четырёх профессионалов и выиграла 14,7 BB на 100 раздач. Стратегию она рассчитывала алгоритмом (вариант минимизации сожалений, CFR+) и каждую ночь дорабатывала по итогам прошедшего дня. В отличие от Cepheus, это победа над людьми, а не «решение» игры.
• 2019, шесть игроков. Pluribus (Facebook AI и Университет Карнеги — Меллон) обыграла профессионалов в безлимитный холдем на шестерых. В описании программы сказано, что приближать равновесие Нэша работает для игр двух игроков с нулевой суммой, но не для трёх и больше: метод Pluribus не даёт сильных теоретических гарантий, зато хорошо работает на практике.

Для обычного игрока вывод такой: в популярных форматах (безлимитный холдем на 6–9 человек, турниры) «точного GTO» не существует в готовом виде. Есть приближения для отдельных ситуаций.

Что такое солвер и где его пределы

Солвер — программа, которая рассчитывает приближённое равновесие для конкретной ситуации. Пользователь задаёт исходные данные: диапазоны рук обоих игроков, стеки, банк, борд и набор разрешённых размеров ставок. Программа многократно играет сама с собой и корректирует частоты, пока ни одному игроку не станет выгодно что-то менять. На выходе — частоты для каждой руки: с какой вероятностью ставить, каким размером, когда коллировать.

У этого подхода есть пределы, о которых стоит помнить:

• Результат зависит от исходных данных. Если диапазоны заданы неверно или разрешено всего два размера ставки, солвер найдёт равновесие для этой упрощённой игры, а не для реальной.
• Солверы исходят из стандартной структуры. Золотов отмечает, что они предполагают малый блайнд ровно в половину большого и не учитывают нестандартные блайнды, стрэддлы и необычные уровни турниров.
• Точность вывода обманчива. Разница вроде +4,21 и +4,22 BB между двумя действиями — шум расчёта, а не повод выбирать одно из них.
• Полный вывод солвера невозможно запомнить. Небольшое изменение стека или структуры меняет стратегию, поэтому люди учат принципы и ключевые диапазоны, а не таблицы целиком.
• Для раздач с тремя и более игроками теоретической гарантии равновесия нет, как видно из случая Pluribus.

Какие бывают программы для анализа (солверы, трекеры, тренажёры) и почему румы запрещают подсказчики во время игры, рассказано в обзоре покерного софта.

Частые заблуждения о GTO

• «GTO гарантирует выигрыш». Нет. Против равного по силе соперника она даёт около нуля до рейка. Прибыль приносят ошибки соперников.
• «Равновесие — лучшая стратегия против конкретного соперника». Тоже нет. Золотов прямо пишет, что равновесие Нэша не обязательно оптимально. Против слабого игрока эксплойт выигрывает больше, как показала таблица с колл-станцией.
• «Играть по GTO — значит часто блефовать». Количество блефов задаётся размером ставки и числом рук на ценность. В примере выше 70 пустых рук из 100 сдаются чеком.
• «Если выучить чарты, я играю GTO». Префлоп-таблицы — небольшая часть стратегии, и они рассчитаны под конкретный формат, стек и рейк. Как читать такие таблицы, разобрано в статье о чартах стартовых рук.
• «Одна раздача показала, что GTO не работает». Равновесие оценивается по ожиданию, а не по результату. Отдельная раздача, сессия и даже несколько тысяч раздач решаются дисперсией.

Нужен ли GTO новичку

Честный ответ: понимать идею полезно, учить стратегию солвера на старте почти бесполезно. На низких лимитах соперники ошибаются грубо и постоянно: коллируют слишком широко, редко блефуют, переоценивают одну пару. Против таких ошибок выгоднее простые эксплойты (меньше блефовать против тех, кто всё коллирует, больше ставить на ценность), чем сбалансированные частоты.

Что из теории игр стоит забрать сразу:

• Размер ставки определяет, сколько блефов уместно и как часто нужно защищаться. Пропорции из таблицы выше пригодятся в любой игре.
• Если вы ставите только с сильными руками, внимательный соперник это заметит. Баланс нужен в той мере, в какой соперник способен его прочитать.
• Собственные перекосы опаснее чужих: игрок, который никогда не блефует или всегда сбрасывает на крупную ставку, сам становится объектом эксплойта.

Глубоко изучать солверы имеет смысл, когда вы уже стабильно играете против сильных соперников и разбираете свои раздачи. Даже тогда это не обещание дохода: дисперсия и рейк остаются, и большинство игроков на дистанции в минусе. Если игра начинает влиять на бюджет, на странице об ответственной игре собраны способы поставить ограничения.

Что важно запомнить

• GTO — стратегия, приближённая к равновесию Нэша: сопернику невыгодно от неё отклоняться, и в хедз-апе без рейка она в среднем не проигрывает.
• Равновесие строится на безразличии: доля блефов делает сопернику всё равно, коллировать или нет (30% при ставке 75 в банк 100), а частота защиты делает всё равно вашим блефам (57,1%).
• GTO не наказывает ошибки: в нашем примере против перефолдящего соперника эксплойт давал на 19,56 фишки больше равновесия, против колл-станции — на 10,15.
• Полностью решены только простые игры и лимитный хедз-ап. Для шести игроков у равновесия нет теоретических гарантий, а солверы решают упрощённые версии конкретных ситуаций.
• Новичку важнее понять идею баланса и наказывать грубые ошибки соперников, чем заучивать частоты солвера.