검증 방법
TickTurn은 예측이 맞는지 스스로 채점해 봤습니다. 결과부터 적으면 실력이 있다고 단언할 수 없습니다. 아래는 그 채점을 어떻게 했고, 무엇이 나왔고, 무엇을 말할 수 없는지입니다.
1. 무엇을 채점했나
어제까지의 봉만 보여 주고 “다음 거래일은 오를까”를 답하게 한 뒤, 실제 다음 거래일 종가와 맞춰 봤습니다. 하루씩 밀며 이 일을 반복했습니다.
| 기간 | 2021년 7월 3일 ~ 2026년 8월 5일 |
|---|---|
| 종목 | 25개: 국내주식 10(삼성전자, SK하이닉스, 네이버, 카카오, 현대차, LG화학, 셀트리온, POSCO홀딩스, KB금융, 삼성바이오로직스), 해외주식 10(AAPL, MSFT, NVDA, TSLA, AMZN, GOOGL, META, JPM, KO, JNJ), 코인 5(BTC, ETH, XRP, SOL, DOGE) |
| 전체 관측 | 60,842회 |
| 채점에 쓴 구간 | 시간순으로 뒤 30%인 2025년 3월 14일 ~ 2026년 8월 5일. 이 가운데 방향을 말한 17,971회만 셉니다 (점수가 정확히 50이면 판단 보류로 보고 채점에서 뺍니다). |
| ‘상승’의 정의 | 다음 거래일 종가 > 오늘 종가. 보합은 상승이 아닌 쪽으로 셉니다. |
| ‘다음 거래일’ | 국내주식은 한국 거래소 달력, 해외주식은 미국 현지 거래일, 코인은 다음 날 (업비트 일봉은 한국시간 오전 9시에 끊깁니다). 임시 휴장일은 반영하지 않고 주말만 건너뜁니다. |
| 지표에 넣은 봉 | 마감된 일봉만. 진행 중인 봉은 계산에서 빠집니다. |
2. 무엇과 견줬나 — 이 대목이 핵심입니다
처음에는 그 구간의 상승 비율을 기준선으로 삼았습니다. 이것은 틀린 기준입니다. 상승 비율이 49%인 구간에서는 무조건 “내린다”고만 해도 51%를 맞히기 때문에, 하락장에 대고 “내린다”를 많이 말한 모델은 실력이 없어도 기준선을 이긴 것처럼 보입니다.
옳은 기준은 “이 모델이 말한 것과 같은 비율로 아무렇게나 말했을 때”입니다. 그 기준으로 다시 재자 자랑스럽던 +1.26%p가 +0.51%p로 줄었습니다.
| 모델 적중률 | 50.50% |
|---|---|
| 옛 기준선(그 구간의 상승 비율) | 49.24% → +1.26%p (쓰면 안 되는 숫자) |
| 같은 비율로 아무렇게나 | 49.99% → +0.51%p (옳은 숫자) |
| 표본오차 | ±0.37%p |
+0.51%p는 표본오차의 1.4배입니다. 통계에서 보통 “있다”고 말하려면 2배는 넘어야 합니다. 즉 실력이 있다고 단언할 수 없습니다.
3. 자산군을 나누면
| 국내주식 | +0.09%p: 사실상 0 |
|---|---|
| 해외주식 | −0.58%p: 오히려 뒤집니다 |
| 코인 | +1.32%p |
코인 말고는 없다고 보는 편이 정확합니다. 그리고 자산군을 나눌수록 표본이 줄어 표본오차는 커집니다 — 이 숫자들 역시 우연일 수 있습니다.
4. 점수의 크기에는 뜻이 없습니다
채점 구간을 점수 순으로 10등분해, 높게 말한 칸이 실제로 더 올랐는지 봤습니다. (화면에 뜨는 퍼센트 기준입니다.)
| 1칸 · 화면 0~17% | 실제 상승률 48.4% |
|---|---|
| 5칸 · 화면 38~50% | 48.2% |
| 9칸 · 화면 76~83% | 51.7% |
| 10칸 · 화면 83~100% | 48.2% |
가장 세게 “오른다”고 말한 칸과 가장 세게 “내린다”고 말한 칸의 실제 상승률이 같습니다. 점수가 크다고 더 오르지 않습니다. 화면의 상승 신호 점수는 확률이 아니라 21가지 차트 분석법이 한쪽으로 얼마나 모였는지일 뿐입니다.
5. 방향 편향이 만든 착시는 아닙니다
“오른다”라고 한 9,068회는 그 구간의 상승 비율을 +0.51%p 이겼고, “내린다”라고 한 8,903회는 하락 비율을 +0.52%p 이겼습니다. 양쪽이 대칭이므로 한쪽으로 몰아 말해서 생긴 착시는 아닙니다. 다만 그 크기가 아주 작을 뿐입니다.
6. 이 검증의 한계
- 21가지 차트 분석법은 서로 독립이 아닙니다. 이동평균·MACD·이격도는 모두 같은 평균선에서 나오고, RSI·스토캐스틱·CCI는 같은 과열/침체를 다른 방식으로 잽니다. 비슷한 신호가 여러 표로 중복되어 점수를 부풀릴 수 있습니다.
- 종목 25개는 적습니다. 모두 거래가 활발한 대형 종목이라, 거래가 적은 종목이나 급등락 종목에서 같은 결과가 나온다고 볼 수 없습니다.
- 수수료·세금·슬리피지를 넣지 않았습니다. 방향만 맞혔는지 셌을 뿐, 그대로 사고팔았을 때 남는 돈을 계산한 것이 아닙니다.
- 기간이 한 번뿐입니다. 2025년 3월~2026년 8월이라는 특정 구간의 결과이고, 다른 구간에서 같은 값이 나온다는 보장은 없습니다.
- 임시 휴장일을 반영하지 않았습니다. 주말만 건너뛰므로, 명절 같은 휴장일이 낀 날의 “다음 거래일”이 하루 어긋날 수 있습니다.
7. 그래서 이 도구는 무엇인가
미래를 맞히는 예측기가 아니라, 21가지 차트 분석법을 한 번에 읽어 주는 요약 도구입니다. 지표를 하나씩 띄워 놓고 해석하던 일을 한 화면으로 줄여 주는 것이 이 서비스의 쓸모이고, 그 이상은 위 숫자가 뒷받침하지 못합니다.
매매 권유가 아니며 수익을 보장하지 않습니다. 계산이나 검증에 대해 물어보실 것이 있으면 문의하기로 보내 주세요.
← 돌아가기