_O`jLr%SrSSKJr SSKJr SSKrSSKrSSKJ r S+S\RS\ S\ S \ S \ \ \4 S jjrS\RS \R4S jrS S0S S0S.r\\ \\ \ 44\S'S/r\ \ \S'S\ S\ \S \4SjrS,S\ S\ S\S \4SjjrS-S\ S\ S\ S\ S\ S\S \4SjjrS.S\4SjjrS r\\ \\ \ 44r\SS!4S\RS"\\ \ 4S#\S-S$\\ S%4S \\R\44 S&jjr\S':Xa)SSKrS(\R@;r!\!(a\""S)5 \"\!S*9 gg)/uP Модуль очистки данных: обнаружение и удаление аномальных спайков в свечных данных. Проблема: В таблицах SNGSP_H1 и PLZL_H1 обнаружены свечи-спайки: - Цена скачет на 1000-5000% за одну свечу (O=H=L=C, flat candle) - Через несколько свечей цена возвращается на исходный уровень - Такие же спайки на тех же timestamp'ах у обоих тикеров - Это искажает ATR(14) до 200-500%, делая данные непригодными для ML Пример (SNGSP): 2026.07.12 08:00 Close=2.35 2026.07.12 09:00 Close=35.89 ← спайк (+1429%) 2026.07.12 10:00 Close=36.15 ← продолжение на ошибочном уровне 2026.07.12 11:00 Close=2.36 ← возврат Логика детекции: Свеча считается частью спайка если: - Предидущая свеча была в другом ценовом диапазоне (>2× или <0.5×) - И следующая свеча возвращается в исходный диапазон - Это создаёт паттерн: норма → выброс → возврат )datetime)OptionalN)get_connectiondf price_colspike_thresholdvolume_thresholdreturncXR[5RnUSR[5Rn[U5nSn[R "U5R USS9R5Rn/n Sn Sn [Xv5Hn [R"X5(dXS:XaM*XLX- n X:=(d U SU- :nU(a U (dSn U n MZU(aMcU (dMlU bCXLX- nXKS - nXLnS Us=::aS ::a"O OX- nUS ::aU RXS - /5 Sn Sn M U $) u Обнаруживает цепочки свечей-спайков. Args: df: DataFrame с колонками Date, Time, Open, High, Low, Close, Volume price_col: колонка цены для анализа spike_threshold: порог аномалии (во сколько раз цена отличается от окружения) volume_threshold: порог объёма для flat-детекции Returns: list[list[int]] — список диапазонов [start_idx, end_idx] для удаления VolumeF)windowcenterNr?Tg?g@) astypefloatvalueslenpdSeriesrollingmedianrangenpisnanappend)rrrr closevolumenrrolling_median spike_rangesin_spike spike_startiratio is_anomaly spike_ratiopre_spike_closepost_spike_close chain_lens data/cleaner.pydetect_spike_chainsr.s]$ M  ' . .E \  ' . .F E AFYYu%--VE-JQQSZZNLHK 6  88N% & &.*;q*@ >,,,Mo8M0M hHK&#h):: "'a"8#(8 +,, !I B$++[a%,@AHK9> cH[U5nU(dU$/nUH"up4UR[X4S-55 M$ [[ U55n[ S[ U5S[ U5S35 UHup4[ SUSUSURUSS URUS S URUSS URUS S URUS SSURUS SS35 M URUS9RSS9$)uu Удаляет спайк-цепи из DataFrame. Returns: DataFrame без аномальных свечей ru! Найдено спайков: u цепочек (u свечей)z [:z] Date Timeu — z (Close.2fu → ... → ))indexT)drop) r.extendrsortedsetprintrilocr9 reset_index)rr#indices_to_dropstartends r-clean_dataframerC_sG'r*L  O" uU!G45#S12O -c,.?-@@QRUVeRfQggu vw"  eWAcU"RWWU^F%;$T=UUZf%&a V(<'=>''%.)#.mBGGCLМассовое удаление свечей по timestamp.dr,z%sz DELETE FROM `z` WHERE `timestamp` IN (r7N)rcursorrrjoinexecuterowcountr) rJrKconnrO batch_sizedeletedr&batch placeholdersquerys r-_delete_from_dbrYs  T JG1c*oz:"Q^4"xxU(;< 'w.F|nTUVu,??* ;  LLN   LLN  s#B:A.B% B:%B77B:: Cticker timeframedry_runcSSKJnJn U"X5n[SS35 [SU35 [S5 U"XSS9nSHn[R "XgS S 9Xg'M [S [ U535 [5nU[;a[Un [R"S 5n [R"US SS S9US'USU S:USU :-n U R5n U S:aG[SU SSU S35 URU S4Hn UR[U 55 M URS/SS9 [!U5nUHFunn[#UUS-5H-nUR[UR$US55 M/ MH U(d [S5 g['U5n[S[ U5S35 XfSR)U5R+S 5n[ U5S:aa[S5 UR-S5R/5H3unn[SUS SUS S!USS"S#[US$535 M5 U(a[S%5 [ U5$[1UU5n[S&US'U35 U$![2an[S(U35 eSnAff=f))u Очищает данные в MySQL: удаляет аномальные свечи из таблицы {TICKER}_{TF}. Стратегия: 1. Ценовой фильтр — свечи за пределами исторического диапазона (PRICE_THRESHOLDS) 2. Spike chain детекция — цепочки аномальных свечей с возвратом Args: ticker: тикер (напр. 'SNGSP') timeframe: таймфрейм dry_run: если True — только показывает, что будет удалено Returns: количество удалённых свечей rload_dataframe_validate_table_name <============================================================u ОЧИСТКА: N)limitOpenHighLowr5r coerceerrors Всего свечей: z 2026-06-18r2z%Y.%m.%d)formatrj _date_parsedr5rDu Ценовой фильтр (r;isin sort_valuesheaditerrowsrY Exception)rZr[r\r_r`rJrcoltimestamps_to_delete thresholds anomaly_startmaskn_pricetsr#rArBidxtimestamps_listsample_s n_deletedes r-clean_ticker_in_dbrs A  3E Bxj/ ug &' XJ  6B9--9: 'By 12%(U!!%f-  \2 ^^BvJzRZ[>7 j55"^:LP]:]^((* Q; 4Z 5L4MM^_f^ggtu vffT;./$((R10 ($7'r*L" sa(C $ $Sk)B%C D)#  :<12O +C,@+A OP;$$_5 6 B B6 JF 6{Q 57KKO,,.DAq D6 1QvYKx' 37GuSQRS[Q\M]L^_ `/ K M?###E?;  ' {2EeWMN  &qc*+ s J)) K3KK max_return level_low level_highch SSKJnJn U"X5n[SS35 [SU35 [S5 U"XSSS9n U b[ U 5S :a [S 5 gS Hn [ R "XS S 9X'M [ U 5n [SU 35 U SRR[5n [ U 5n [R"U 5n[R"U SSU SS- S- 5USS&X:nX)nUR5(aN[ U5S :a?[R"U5nXU-:XU-:-nUR5(aUU-nUR5(d [S5 g[R"U5Sn[ U5n[SUS35 [S5 USS HTnU R Un[SUSSUSSUSSSUSSS US!SS"USSS#[#US$535 MV US :a[S%US - 35 U(a [S&5 U$0nS'GHn XRR[5R%5nUHnUS- nUS:a!UU(aUS-nUS:a UU(aMUS-nUU :a!UU(aUS- nUU :a UU(aMUS:a,UU :a&UU:a UU- nUUUUUU- UU- -U- -nOUS:aUUnOUU :aUUnOM[#U R US(5nUU;a0UU'['US)5UUU 'M GM U S$RR[5R%5nUHwnUS:aUUS- OSnUS-U :aUUS-OSn US:dU S:aUU -S*- OUUn![#U R US(5nUU;a0UU'['U!S5UUS$'My [)5n"U"R+5n#Sn$UR-5Hunn%/n&/n'U%R-5H,un n(U&R/S+U S,35 U'R/U(5 M. U'R/U5 S-US.S/R1U&5S03n)U#R3U)U'5 U$U#R4- n$M U"R75 U#R95 SSS5 [S1W$S2U35 U$$!,(df  N!=f)3ulИнтерполирует битые свечи прямо в MySQL (UPDATE, а не DELETE). В отличие от clean_ticker_in_db() (который удаляет строки), эта функция заменяет O/H/L/C/V аномальных свечей на интерполированные значения, сохраняя структуру временного ряда без гэпов. Два прохода детекции (как в data/loader.py clean_spikes): Pass 1 — смежные возвраты > max_return Pass 2 — абсолютный уровень цены < level_low×median или > level_high×median Args: ticker: тикер (SNGSP, PLZL, ...) timeframe: таймфрейм max_return: порог аномального возврата (90%) level_low: нижний порог уровня от медианы (30%) level_high: верхний порог уровня от медианы (300%) dry_run: если True — только показать, без UPDATE Returns: количество интерполированных свечей rr^rarbu ИНТЕРПОЛЯЦИЯ: NF)rccleanrsu+ ❌ Недостаточно данныхrdrhrirkr5rrrru# Найдено аномалий: rnu Примеры:rtr2r3r4z: O=rer6z H=rfz L=rgz C=z V=r u ... и ещё u{ ⏸️ DRY RUN — ничего не изменено. Запустите с dry_run=False для применения.)rerfrgr5ro`z` = %szUPDATE `z` SET z, z WHERE `timestamp` = %su& ✅ Интерполировано u свечей в )rur_r`r=rrrvrrrrzerosabsanyrwherer>r|copyroundrrOitemsrrPrQrRcommitr)*rZr[rrrr\r_r`rJrrn_totalrr!returnsr clean_close median_close level_mask spike_idxn_spikesrrowupdatesvalsprev_idxnext_idxspannew_valrvolprev_vnext_vavg_vrSrOupdatedcols set_partsparamsvalrXs* r-interpolate_ticker_in_dbrsi2A  3E Bxj/ ( 01 XJ U CB zSWr\ ;=9--9:"gG 'y 12 wK   % %e ,E E AhhqkG&&qrU3BZ/#56GABK  D,K xxzzc+&+yy- ,665P\C\;\] >>  *$D 88:: :<q!I9~H /z GH !"~ggcl S[M3v;-0v;s#3s6{3&7s3u:c:JKw<$CCM(:';= > "} "8b=/23 M OG/w~~$$U+002CQwHa-DNA a-DNNQwHQ,4>A Q,4>>1}A(X2E(*x.DNT(^,KPSV^P^+_bf+ffQx.Ax.RWWS\+./B   $Wa0GBK -08 X,   $ $U + 0 0 2C!$qS1Wa!$q1S1W!*01* &A%S k* + W GBK %eQ H  T HBIF JJLS  1SE1 c") MM" ugVDIIi,@+AAXYE NN5& ) v &G(  ! $ 3G9rs5,(  ! = === =  $s)_ =@A AA>3 5 !1$sDe,,- )DI 3DI#$OsOsODOTWOd<@37LO/3PSPSP+0P*/PDIP)-P9<Pft**Cue|,,- (B"&!h - -ue|$- 4 -S#X -  2<< %& -` zsxx'G _`g& r/