Wealth-Lab - Оценка результатов тестирования системы

Итак, мы создали торговую систему и выбрали способ управления размером позиции. Теперь пришло время протестировать работу нашей системы. Здесь мы не будем останавливаться на различных методах тестирования системы, так как цели раздела несколько другие, а именно знакомство с программой Wealth-Lab Developer.

Давайте оценим результаты созданной нами системы, основанной на пересечении двух простых скользящих средних с периодами усреднения 8 и 21. Если интересующий вас скрипт не активен, то откройте сохраненный скрипт. В окне ChartScript Explorer выберите нужный скрипт и нажмите "ОК". В нашем случае скрипт находится в паке $Profit и называется "test1".

В окне ChartScript Window, в древовидной структуре источников данных вуберите символ инструмента, на котором будет проходить тестирование. Протестируем нашу торговую стратегию на индексе РТС. На вкладке "Chart" Вы увидите сигналы торговой системы с учетом установленного по умолчанию диапазона загружаемых для анализа данных и с учетом выбранного метода управления размером позиции.

Допустим, мы хоти протестировать работу нашей системы на 1000 последних барах и использовать метод управления позициями - "Portfolio Simulation" со 100% использованием капитала. Выполним соответствующие установки.

После того, как будут установлены интересующие нас параметры, автоматически будет выполнен перерасчет и можно приступить к оценкам результата тестирования нашей торговой стратегии. На вкладке "Chart" вы можете визуально оценить результаты работы системы на выбранном инструменте. (Вы также можете поочередно выбирать другие бумаги и тогда ваша стратегия будет тестироваться на указанной вами бумаге.)

Вкладка "Performance".

На этой вкладке вы можете ознакомиться с результатами тестирования вашей торговой системы. Окно содержит 5 колонок. В первой колонке вдоль левого края расположены названия параметров системы. В других четырех колонках находятся рассчитанные значения параметров для систем, которые разнесены отдельно: в сумме для длинных и коротких позиций (Long + Short), только для длинных позиций (Long Only), только для коротких позиций (Short Only), для стратегии "Купи и держи" (Buy & Hold strategy). Содержание вкладки "Performance" различно в зависимости от выбранного метода управления позициями - Raw Profit Only или Portfolio Simulation ((поэкспериментируйте). Для метода Portfolio Simulation отчет будет более расширенный и дополнительно содержит относительные значения (в %) некоторых параметров системы.

Starting Capital

Сумма стартового капитала.

Ending Capital

Сумма капитала на конец тестирования, включая открытые позиции.

Net Profit

Чистая прибыль, полученная торговой системой за период тестирования, включая прибыль (убытки) открытых позиций.

Net Profit %

Общая чистая прибыль в процентах к стартовому капиталу.

Annualized Gain % (Annual Percentage Return, APR)

Пересчитанный на год процент прироста капитала.

Exposure %

Рыночное раскрытие. Параметр Exposure показывает, какой процент капитала был задействован системой в позициях на тестируемом периоде. Смысл Exposure можно понять из кривой капитала в том виде, в котором она изображена в инструменте $imulator. Капитал в денежных средствах представлен областями окрашенными в темно-зеленый цвет, а капитал задействованный в позициях окрашен в светло-зеленый цвет. Exposure представляет собой процент линии капитала (Equity), который окрашен в светло зеленный цвет. Как рассчитывается exposure? 1. Для каждого бара капитал задействованный в позиции (total equity - cash) разделите на общий капитал (total equity). Стоимость бумаг рассчитывется по цене закрытия бара. 2. Полученные результаты просуммируйте и разделите на количество баров. 3.Полученное значение умножьте на 100, чтобы получить результат в процентах. Представьте, что у вас 100000 и вы инвестируете 25000 в течение всего торгового периода, а цена акций в течение всего периода не меняется. Тогда параметр Exposure будет равен 25%. То есть 25% капитала был в рынке. Если цены не стояли на месте, а например, росли, то Exposure будет более 25%, так как при росте стоимости бумаг числитель (total equity - cash) будет также расти.

Number of Trades

Общее число сделок, включая открытые позиции.

Avg Profit/Loss

Средняя прибыль / убыток за трейд.

Avg Profit/Loss %

Средняя прибыль / убыток за трейд в процентах

Avg Bars Held

Среднее число баров удержания позиции (среднее число баров в одном трейде).

Winning Trades/Losing Trades

Количество прибыльных / убыточных сделок.

Gross Profit / Gross Loss

Общая прибыль / общий убыток, сгенерированная прибыльными / убыточными сделками, минус комиссий и проскальзывания. Открытые позиции не учитываются.

Winning % / Losing %

Процент прибыльных / убыточных сделок. Средняя прибыль / средний убыток в абсолютных единицах.

Avg Profit % / Avg Loss %

Средняя прибыль / средний убыток в процентах.

Avg Bars Held

Среднее количество баров в прибыльной / убыточной сделке.

Max Consecutive

Максимальное количество последовательных прибыльных / убыточных сделок

Max Drawdown

Наибольшее (пиковое) проседание линии капитала в абсолютных величинах.

Max Drawdown %

Наибольшее (пиковое) проседание линии капитала в процентах, относительно ценн закрытия.

Max Drawdown Date

Дата, когда был зафиксирован Max Drawdown в абсолютных величинах.

Wealth-Lab Score

Оценка / Параметр Wealth-Lab Score является одним из критериев для ранжирования торговых систем. Его цель в достижении единого параметра, озватывающего доход, раскрытие (эффективность) и риск (profitability, exposure (efficiency) and risk). Wealth-Lab Score пересчитывается на год, что позволяет сравнивать результаты тестирования систем на разных интервалах времени. Прибыльные, но рискованные системы, которые имеет периоды с большими просадками (drawdowns), будут иметь более низкую оценку чем такая же прибыльная система, но характеризующаяся меньшим риском.

Profit Factor

Показатель прибыльности. Вычисляется делением валовой прибыли (Gross Profit) на валовой убыток (Gross Loss). Показывает, каков средний доход на единицу убытка. Желателен Profit Factor 2 и выше.

Recovery Factor

Показатель восстановления (фактор покрытия). Вычисляется как абсолютное значение отношения чистой прибыли (Net Profit) к максимальной просадке (Max Drawdown). Показывает насколько успешно система восстанавливается после просадки. Разработчики рекомендуют Recovery Factor больше чем у стратегии Buy & Hold. Также есит мнение, что этот показатель должен быть больше 2, чтобы указывать на работоспособную систему. Понятно, что чем выше значение Recovery Factor, тем лучше.

Payoff Ratio

Показатель Payoff Ratio вычисляется как абсолютное значение отношения средней прибыли на сделку (Avg Profit (%)) к среднему убытку на сделку (Avg Loss (%)). Это полезный параметр для анализа систем, так как дает некоторые сведения о том, как система функционирует вобщем.

Sharpe Ratio of Trades

Коэффициент Шарпа отражает, отношение доходности к риску. Это показатель эффективности инвестиционного портфеля, который вычисляется как отношение среднего дохода к среднему (среднеквадратичному) отклонению от этого дохода. Величина коэффициента выше 1.0 считается хорошей.

Ulcer Index

Ulcer Index измеряет общую меру волатильности (риска) портфеля. (подробнее статья, eng)

Wealth-Lab Error Term

Измеряет волатильность линии капитала. Вычисляется усреднением абсолютных значений всех отклонений кривой капитала от своей линии регрессии в процентах.

Wealth-Lab Reward Ratio

Коэффициент вознаграждения вычисляется делением Annualized Gain % на Wealth-Lab Error Term.

Luck Coefficient

Коэффициент Удачи показывает как общая прибыль системы зависит от крупных прибыльных трейдов. Вычисляется делением процента прибыли самой удачной сделки на средний процент прибыли всех прибыльных сделок. Очевидно, что большой Luck Coefficient показывает, что успех системы вряд ли повторим в будущем и больше зависел от удачных обстоятельств.

Pessimistic Rate of Return

Пессимистичная норма прибыли используется для оценки наихудшего ожидаемого дохода. Вычисляется следующим образом:

где, Wn - Число прибыльных сделок, Ln - Число убыточных сделок, AvgWinPct - средняя прибыль, %, AvgLossPct - средний убыток, %.

Equity Drop Ratio

возможен неправильный перевод!!!

Equity Drop Ratio (EDR) is the system's potential for loss expressed as a probability by computing the standard deviation of all drops in the equity curve measured from each equity low to the previous equity high and dividing the result into the annualized return. Only equity drops that are greater than or equal to the Equity Drop Ratio Threshold, whose value is set in the System Setting Options, are considered in the calculation. Коэффициент падения капитала (EDR). Системный потенциал за убыток, выраженный как вероятность вычисляемая как среднеквадратичное отклонение всех снижений линии капитала, вычисленное от каждого минимума линии капитала до предыдущего максимума и деление результата на пересчитанный на год доход. В вычислениях учитываются только снижения капитала, которые больше и равны пороговому значению ( Equity Drop Ratio Threshold), которое устанавливается в System Setting Options. По умолчанию 2%.

PerfScripts

 

Особенностью Wealth-Lab является возможность вычислять пользователю свои параметры для торговой системы и добавлять их в окно Performance. Это возможно благодаря специальным скриптам PerfScripts. Элементы управления для использования PerfScripts расположены вверху вкладки Performance. Вы можете написать свой PerfScripts, сохранить его в папке PerfScripts и затем использовать его для расчета дополнительных параметров системы. Разработчики не рекомендуют использовать PerfScripts для расчета стандартных параметров, которые уже включены в отчет, так как это займет намного больше времени, чем встроенный и скомпилированный алгоритм расчета.

Вкладка "Trades".

Эта вкладка содержит список всех сделок для вашей торговой системы на заданном интервале времени. Этот список содержит множество параметров (расположены по вертикали в столбцах) для каждой сделки. Вы можете по своему усмотрению сортировать список по любому из параметров (по возрастанию/убыванию). Для этого достаточно кликнуть мышкой на заголовке столбца. Двойное нажатие мышью на любой из сделок активирует вкладку Chart, для визуализации этой сделки.

Position

Тип позиции - длинная или короткая позиция.

Symbol

Название символа (инструмента) на котором прошла сделка.

Shares (or Contracts)

Количество акций (контрактов) в этой сделке.

Entry/Exit Date

Даты открытия и закрытия позиции.

Entry/Exit Price

Цены открытия и закрытия позиции.

% Change

Прибыль/убыток в процентах.

Net Profit Чистая прибыль от сделки с учетом комиссионных и проскальзывания, указанных на вкладке Trading Costs/Control диалога Options Dialog.

Bars Held

Число баров (период) удержания позиции.

Profit per Bar

Прибыль на бар (период).

Entry Signal/Exit Signal

Названия сигналов открытия и закрытия позиции, данные имв коде скрипта WealthScript. Сигналов для открытия/закрытия позиции может быть несколько, поэтому данная опция облегчает анализ сделок.

Cum Profit

Прибыль нарастающим итогом от каждой сделки.

MAE % Maximum Adverse Excursion. Максимальное неблагоприятное отклонение (максимальная потеря) за время удержания позиции.

MFE % Maximum Favorable Excursion. Максимальное благоприятное отклонение (максимальная прибыль) за время удержания позиции.

Вкладка "Profit".

На этой вкладке расположены два графика: Profit Curve (слини.я капитала) и Profit Distribution (%, $, Point) (распределение прибыли).

Profit Curve.

Линия капитала обозначена зеленым цветом (прибыльные участки) и красным цветом (убыточные участки). Синим цветом изображена линия капитала для стратегии Buy & Hold. Красной линией представлена линия линейной регрессии для вашей линии капитала. Вы можете визуально оценить плавность приращения линии капиталла, угол ее наклона и сравнить ее с линией капитала для стратегии Buy & Hold. Вы можете увеличить масштаб графика нажава на нем левую клавишу мыши, и удерживая ее выделить (слева направо) прямоуголник для увеличения. Обратные действия (справо на лево) вернут график к исходному виду.

Profit Distribution.

Распределение прибыли представленно в виде гистограммы и отображает распределение прибыли (синий цвет) / убытков (красный цвет) в процентах, долларах или пунктах, для всех трейдов сгенерированных системой. Общая чистая прибыль поделена на несколько равномерно распределенных столбцов. Каждый столбец гистограммы содержит множество трейдов, принесших соответствующую прибыль/убыток указанную на горизонтальной оси ординат. Так, на нашей гистограмме за период тестирования было 4 трейда с убытком 5%, 3 трейда с прибылью 20%.

Вкладка "MAE/MFE".

На этой вкладке представлены гистограммы для Maximum Adverse Excursio (максимальное неблагоприятное отклонение за время удержания позиции) и Maximum Favorable Excursion (максимальное благоприятное отклонение за время удержания позиции). Вы можете также выбирать единицы для отображения гистограммы - проценты, доллары, пункты.

Maximum Adverse Excursion.

MAE представляет собой максимальный убыток, наблюдаемый в ходе трейда. Это максимум открытого (незафиксированного) убытка, который приносит трейд, в промежутке между открытием и закрытием позиции. Темно-красным цветом отображена гистограмма для всех трейдов с неблагоприятным отклонением, а светло-красным - только для тех, которые принесли в итоге прибыль. MAE часто используют для определения уровня выхода по стоп-лоссу. Так, например в нашем случае для сделок с максимальным отклонением 2% и более, выигрышных сделок не было ни одной !, то есть при отклонении более 2% убыточная сделка не восстанавливалась.

Maximum Favorable Excursion.

MFE представляет собой максимальную прибыль, наблюдаемую в ходе трейда. Это пик открытой (незафиксированной) прибыли, которую приносит трейд, в промежутке между открытием и закрытием позиции. Темно-синим цветом отображена гистограмма для всех трейдов с благоприятным отклонением, а светло-синим цветом - только для тех, которые принесли в итоге убыток. Так на выбранном интервале тестирования наша система 6 трейдов с открытой прибылью 5%, но в результате 4 из 6 трейдов принесли убыток. Максимальная открытая прибыль 25% была зафиксирована в 2 сделках и все они не были убыточными. Гистограмма MFE позволяет проанализировать относительную эффективности отдельных сделок, оценить нереализованный потенциал системы и, возможно, повысить прибыльность системы, например, путем использования трейлинг стопа или введения MFE метода управления капиталом. Показатель MFE также ценен тем, что позволяет развить стратегию, для фиксирования частичной прибыли. Вряд ли кому-то нравится наблюдать, как хорошая прибыльная сделка оборачивается посредственным результатом или даже убытком, поэтому, имея таргет, базирующийся на усредненном показателе MFE для серии сделок, возможно, вы предпочтете закрывать позиций по достижению целевой прибыли.