Вот. Сваял некий инструмент для обработки gpx треков. Смотрите, может, кому пригодится.

https://drive.google.com/open?id=0B1SFdzGC9fHXelFfU0dyMllXMDQ

К сожалению, описания пока нет. Так что все вопросы, если чего непонятно, сюда.

Не хочет открывать ни один из моих треков, как сырых из Магеллана, так и обработанных. При попытке открыть на экране появляется следующее сообщение:

Поправил

https://drive.google.com/open?id=0B1SFdzGC9fHXT0NQQi1oVHdwRUE

Опять забыл что для русского языка винда ставит разделитель целой и дробной части равный ',' А все стандарты (NMEA, GPX) подразумевают что разделитель равен '.'

У себя-то сразу после установки меняю на точку (Панель управления - Язык и региональные стандарты - Форматы - Дополнительные параметры - Разделитель целой и дробной части)...

Спасибо, интересная программа. Правда, у меня немного подглючивает, когда трек на фоне онлайн-карты просматриваю. Понравились фильтры "Median" и "LowPass". Если с Median всё понятно, то в чём смысл названия "LowPass" я не пойму.

В чем выражается подглючивание?

LowPass фильтр это ФНЧ. Простенький фильтр, описываемфй формулой

X[i] = a*X[i] + (1-a)*X[i-1]

В определённый момент карта переставала пролистываться и масштабироваться, хотя результаты применения фильтров на карте отображались.

И не могли бы вы немного простыми словами рассказать про каждый из фильтров? А то про принцип действия LowPass я так и не понял. Median - это вычисление средней точки по нескольким соседним, правильно? Drift - это удаление пляски координат на стоянках? А какой фильтр может удалить случайные выбросы точек? Или точки, выпадающие по характеристикам из общего ряда?

Карта совсем не пролистывается, или возникает пауза?

Если пауза, то это нормально - на момент подгрузки новых тейлов операции по перетаскиванию и масштабированию блокируются. Когда тейлы уже есть в кеше все это быстрее идет.

Может потом удастся оптимизировать этот момент.

Медианный фильтр это не усреднение. Это выбор значения, занимающего среднее положение в отсортированной последовательности. Длина последовательности - ширина окна (апертура).

Например, есть последовательность значений

1 3 9 5 7

Если применить медианный фильтр к точке со значением 9 при апертуре 5, то нужно взять 5 точек (2 до, 2 после и саму точку). Затем отсортировать их значения по возрастающей:

1 3 5 7 9

И взять в качестве значения ту точку, что находится в середине последовательности (в нашем случае это точка со значением 5).

После применения фильтра последовательность проимет вид:

1 3 5 5 7

ФНЧ - фильтр, срезающий высокочастотный дребезг. Математически - взвешенное усреднение текщей точки с предыдущей, уже сглаженной. Иногда можно встретить его же под назаванием exponential smooth - экспоненциальное сглаживание. Более сложная его реализация - DES - двойное экспоненциальное сглаживание. Тоже неплохо работает.

Насчет "выпадающих из ряда" точек вопрос сложный. Нужен четкий критерий по которому опрделелять выпадание. Не так просто на самом деле. По идее, медиана должна хорошо работать.

Про остальные фильтры потом - надо самому вспомнить чего я там наворотил - там есть собственные алгоритмы, которые я писал давно и подробностей уже не помню

А при медианном фильтре какие-то точки удаляются? Или количество точек остаётся то же, что и в исходном треке?

Карта виснет намертво неподвижным изображением. Сначала всё нормально, а потом вдруг зависла, и всё.

Странно. Насовсем виснет? Что потом? Разбираться надо, ни разу не сталкивался с таким у себя.

Количество точек сохраняется. Просто значения меняются на отфильтрованные.

Во всех фильтрах отдельно фильтруется каждая из координат и опционально высота, курс и скорость.

Плюс можно руками удалять точки. Наводите на точку в треке, двойной клик и она покажется в списке точек. Там ее можно открыжить. И потом удалить (del или меню по правой кнопке "удалить открыженные точки").

Сейчас ещё раз опробовал программу. Карта уже не виснет. Но всё же несколько раз зависала. Один раз когда я сохранял отредактированный трек, и не дождавшись окончания, хотел сдвинуть карту на экране немного в сторону. Остальные разы зависала без видимой причины. Выводилось сообщение, фотку прилагаю. Но, повторюсь, это было очень редко.

С фильтрами нужно разбираться, какой от каждого получается эффект и при каких настройках. Пока что неплохой эффект получился при сочетании двух фильтров: сначала LowPass, затем Speed (минимальное значение выставил 1 км/ч, максимальное - 8 км/ч). Трек использовал от пешего похода по пересечённой местности, писалась 1 точка в секунду, всего в треке чуть более 19000 точек.

Было бы неплохо, если бы удалять точку можно было бы не из списка, а прямо из окна карты. Либо клик + Del, либо клик правой кнопкой и в контекстном меню выбрать "Удалить".

Ну все равно разбираться надо... Можете выслать трек?



Фильтр скорости работает так - все точки, в которых скорость выше верхнего предела, просто удаляются. Для точек, у которых скорость ниже нижнего предела, скорость ставится в ноль. Если есть цепочки точек с нулевой скоростью и длиной более одной точки, то координаты этих точек усредняются и оставляются только две точки - первая и последняя. Т.е. имитируется ситуация "шли-шли, остановились, постояли на месте, дальше пошли".

Если понравился LowPass, то может и DES неплохо сработать. Или Spline Smooth. См. картинку - синий оригинальный трек, зеленый - LowPath, красный - DES, желтый - Spline Smooth.



Математику сглаживания сплайном так просто не объяснить, посему попробую на пальцах. Не вдаваясь в подробности типов сплайнов (обычный кубический, Акимы, Эрмита и еще многих других), сплайн принято иллюстрировать на примере гибкой металлической линейки, положенной ребром на плоскость и жестко закрепленной в базовых точках. При этом, если прочертить по этой линейке линию, то она точно пройдет через все точки, а между ними будет плавно изгибаться.

Сглаживающий сплайн - та же линейка, но к точкам она крепится не жестко, а притягивается к ним пружинками. Жесткость каждой пружинки индивидуальна. Чем жестче - тем сильнее линейка притягивается к точке и тем ближе к точке пойдет сплайн.

Жесткость пружинки (точнее, ее обратная величина) - коэффициент сглаживания. Чем выше коэффициент сглаживания для данной точки, тем мягче пружинка.

В конкретной реализации задается базовый коэффициент сглаживания, единый для всех точек (достаточно малая величина) и критерии, по которым этот коэффициент будет увеличиваться для отдельных точек.

Таких критериев 4:

1. По значению HDOP (если есть такие данные в треке). Тут задается шаг увеличения значения коэффициента сглаживания при превышении указанного порогового значения HDOP и пропорциональнсть увеличения этого коэффициента.

Например, "увеличивать на 2.5 на каждые 0.2 при превышении значения 1.5" будет означать что при HDOP <= 1.5 коэффициент сглаживания не меняется, а дальше линейно увеличивается - при 1.7 на 2.5, при 1.9 на 5, при 2.1 на 7.5 и т.д.

2. По значению скорости. Этот критерий служит для сглаживания "пилы", характерной для движения на малых скоростях. Смысл параметров точно такой же, как в предыдущем случае, но тут речь идет не об увеличении, а об уменьшении скорости - чем меньше скорость, тем выше коэффициент сглаживания для данной точки.

3 и 4 - "динамические" критерии, привязанные к изменению скорости и направления движения. Предназначены для сглаживания резких бросков. Смысл параметров аналогичен п.1. Тут еще можно указать каким образом считать скорость и направление - брать то, что записано в соответсвующих точках трека (а это или измеренные прибором значения, например, для треков из NMEA файлов, или посчитанные с некоторым усреднением по координатам из GPX файлов где эти данные отсутствуют) или же считать их по координатам безо всякого сглаживания (в этом случае "выбросы" координат будут влиять намногосильнее и фильтр будет работать "резче").



Сделать несложно. Но есть один момент. Каждая операция с треком приводит к созданию нового, "дочернего" трека. Это сделано чтобы не мучатся с реализацией многоуровневых Undo и иметь возможность визуально оценивать результаты своих действий, выбирая тот, который подходит наилучшим образом.

В данной ситуации получится так - удалили точку - получили новый трек. Еще одна точка - еще один трек. Десять точек - десять новых треков. Если это не напрягает - сделаю.

Пока специально сделал так, чтобы точки для ручного удаления можно было отмечать в списке точек, а потом уже все разом удалить, получив всего один новый трек.

Спасибо за подробное объяснение. Мне всё же кажется, что лучше, если точки не пересчитываются и перезаписываются, а просто удаляются "неправильные". Это лучше с той точки зрения, что трек (и его точки) - это некий документ, а пересчитанная и перезаписанная точка - это не точка, снятая на местности. Ну а если я шёл и резко повернул под прямым углом, то сглаживание по принципу "гибкой металлической линейки" не сможет корректно обработать этот поворот.

Ранее вы советовали программу GPS Track Editor (http://www.gpstrackeditor.com). Там есть фильтр "Локальные несоответствия" (если я правильно перевёл на русский язык). То есть, как я понимаю, удаляются точки, по ряду параметров отличающиеся от соседних. В дополнение там есть фильтр, удаляющий точки, где скорость или ускорение превышают указанный порог. По моим наблюдениям, эти два фильтра в той программе позволяют удалить до двух третей неправильных точек. Оставшаяся треть - вручную.


Раз такая ситуация - делать не надо.
Для того, чтобы программа была хороша в ручной обработке треков, нужно несколько условий:
1. Трек должен обрабатываться, как обычный документ или фотография, когда вы выполняете ряд действий, но они сохраняются только тогда, когда вы нажмёте кнопку "Сохранить" после того, как закончили редактировать файл.
2. Должна быть возможность удалять точки не только по одной, но ещё и выделить мышкой область (прямоугольным выделением) и одним нажатием кнопки удалить все точки, попавшие в эту область.
3. В качестве подложки должна быть возможность использовать разные виды онлайн-карт (чем больше, тем лучше), обязательно включая спутниковые снимки. Или дать возможность загружать свои оффлайн-карты. Это позволит лучше оценивать правильность тех или иных точек, собираясь удалять какие-то из них. Я, например, свои треки вручную редактирую в VantagePoint, используя в качестве подложки карты, которыми я пользовался в походе.

Поэтому я думаю, что лучше вашей программе оставаться удобным инструментом автоматической обработки, а ручную обработку проводить в другой программе.

Трек, с которым я экспериментировал в вашей программе, прилагаю.

За трек спасибо, посмотрю, может что накопаю.

Насчет точек. Тут все не так просто. Ни одна из тоек трека не является абсолютно "правильной" с математической точки зрения. Каждая из них лежит в определенной окрестности от истинного вашего положения в данный момент времени. Т.е. содержт определенную погрешность. Причем погрешность эта строго говоря неизвестна. Посему задача любого фильтра состоит в минимизации суммарной погрешности, выявлении общей закономерности на основе всего массива точек. Так в определенных условиях вы будете двигаться прямо, а трек запишется в виде зигзага ("пилы"). И фильтры типа сплайна как раз нужны для удаления такой пилы и восстановления общей траектории.

Вот картинка в качестве иллюстрации той самой пилы:



Синий - оригинал, зеленый - сглаженный сплайном. Согласитесь, он выглядит куда правдоподобнее, нежели скачки из стороны в сторону.

Просто й эксперимент - запишите пару минут "трека", просто положив прибор на камень неподвижно. Логика подсказывает, что из всех точек одна должна быть "истинной", а остальные - "локальные несоответствия". А теперь попробуйте понять какая точка "настоящая"... Ответ - скорее всего ни одна из них. "Истина где-то рядом". Все, что вы видите - это по сути шум прибора в чистом виде. Чтобы минимизировать его нужно сделать некоторую математическую обработку - построить функцию распределения, выкинуть все точки за пределами "трех сигм", посчитать среднее из оставшихся...

В движении этот шум никуда не девается. Он лишь накладывается на вашу траекторию. И тут задача усложняется тем, что простым усреднением уже ничего не добиться (хотя теоретически можно записать, скажем, 10 точек в секунду, предполагая что за 0.1с ваше перемещение будет минимальным и усреднять их за секунду). Тут приходится применять более сложные фильтры, позволяющие выделить истинную траекторию на фоне шумовых добавок. Т.е. классическая фильтрация зашумленного сигнала.

Посему, считать что есть "правильные" точки и есть "неправильные" и что "неправильные" нужно выкидывать, а "правильные" трогать нельзя ошибочно. Они все состоят из двух частей - "истинное положение" + шумовая компонента. Точнее даже так - положение + шум + погрешность метода + погрешность измерения.

А "локальные несоответсвия" позволяют всего лишь выделить те одиночные точки, где ко всему этому добавилось еще какое-то однократное случайное воздействие. Не более того.

По-моему, удалось исправить ошибку.

https://drive.google.com/open?id=0B1SFdzGC9fHXU0xBT2dyRDl6aWc

Плюс теперь можно грузить файл через командную строку.
Ну и мелкая косметика.

Насчет выделения нескольких точек на карте - подумаю.
Насчет "больше источников карт" - не знаю. Пока смысла не вижу большого. Это, все-таки, не картографическая программа, а обработчик треков. Тут просто нужно видеть как тот или иной фильтр отработал а не как трек на карту ложится.

Ошибка у меня продолжала выскакивать, а потом пропала. Может, это связано с тем, что я переключил Map Refresh Mode с Manual на Auto?

Для обработки треков при помощи фильтров, конечно, дополнительные источники карт не нужны. Они нужны для ручной обработки. Когда собираешься вручную удалить какие-то точки, и хотел бы посмотреть, допустим, по спутниковому снимку, какие точки попали на тропинку, а какие находятся в стороне от неё. Либо посмотреть: резкий изгиб трека - это "неправильные" точки или же там действительно резко тропинка изогнулась?

По поводу фильтров: вы, конечно, правы, что все точки неправильные. И что желательно как-то их усреднять и сглаживать. Однако что я вижу на практике? Работа ваших фильтров (с настройками по умолчанию) мне не очень понравилась. Результат либо не особо правдоподобный, либо очень слабо убирающий скачки.

Кстати, большинство ваших фильтров хорошо сглаживают мелкую зубчатку, но не справляются с сильными явно неправильными выбросами. Исключение - фильтр Speed. Он их убирает неплохо (я ставил верхний порог 6 км/ч при том, что с рюкзаком я иду со скоростью максимум 5,5 км/ч). Но совершенно не понял, почему в отфильтрованном таким образом треке присутствуют точки со скоростью выше той, которую я указал при фильтрации (например, 12 км/ч).

На мой взгляд, ваша программа даёт лучший результат при применении сначала фильтра Speed, а затем - LowPass. Но упомянутая ранее программа GPS Track Editor даёт примерно такой же результат всего лишь при одном фильтре - Local inconsistencies. А если после него задействовать фильтр By value, где можно указать пороги скорости и ускорения, то результат будет несколько лучше вашего.

Моя оценка базируется на знании местности и того, как мы шли в том походе. Так что, когда на этом треке я вижу крупную петлю или крупный выброс, то я знаю, шли мы так или нет. И если эта петля (выброс) не соответствует нашей реальной траектории, то по ней можно судить об эффективности фильтра: удалит он её или нет. Понятно, что для объективности судить о работе фильтра нужно не по одному выбросу, а по нескольким.

P.S. Я старался быть объективным и ни в коем случае не хотел написать ничего обидного. Таких программ, как ваша - очень мало. И, несмотря на некоторые критические замечания, её наличие уже представляет собой большой плюс.

Я вот думаю - а ручной режим обновления карты вообще нужен? Может убрать его напрочь?

По поводу скорости - посмотрю. Возможно, где-то ошибка.

Про выбросы. Если вы о тех отдельных пиках, то они отлично срезаются медианой. Я уже писал как она работает - по определению убирает одиночные пики.

Сплайн, кстати, их тоже срезает.

А вообще работа каждого фильтра очень сильно зависит от параметров. Нужно экспериментировать.

А вообще, математически, задача непростая. Далеко не все искажени можно распознать. Мелкую зубчатка подавить достаточно легко. А вот систематичекую ошибку, когда трек в силу какой-то постоянной помеехи плавно увело в сторону а потом плавно вернуло обратно, распознать практически невозможно.

И даже хаотические метания при стоянии на месте на самом деле трудно выявляются (чтобы фильтр при этом не резал все подряд).

За критику в любом случае спасибо. Дело нужное и важное.

Да, похоже, что ручной режим обновления совершенно не нужен. Автоматический работает без нареканий.

Теперь про срезание отдельных пиков. Привожу несколько скриншотов, используя вышеупомянутый трек. Взял кусочек, где мы шли по ровной грунтовой дороге без существенных изгибов, но на треке появилось несколько явных выбросов в сторону от основной траектории движения (напоминаю, мы шли по дороге и с неё не сходили).

Первый скриншот - программа GPS Track Editor, фильтр Local inconsistencies. Выбросы более-менее удалены (исходный трек обозначен пунктиром).

Второй скриншот - программа Track Processor, фильтр Median. Выбросы уменьшились незначительно (хотя в целом этот фильтр показал довольно неплохой результат).

Третий скриншот - программа Track Processor, фильтр Spline Smooth. Выбросы, по сути, какого размера были, такого и остались, только приобрели несколько более плавные очертания.

А какие параметры для фильтров использовались?

Про медиану могу сразу сказать что чем больше апертура, тем лучше сглаживание. Попробуйте увеличить до 7-9. Результат будет другим.

Параметры использовались те, которые у вас стоят по умолчанию. В медиане апертура стояла 3. Сейчас поставил 9. Результат лучше.

Но всё же Speed отрабатывает лучше (ставлю порог скорости 5,7 км/ч).

Примеры работы фильтров:

DES с параметром 0.1:


Фильтр Калмана с параметрами 5 (кавариация шума процесса) и 500 (ковариация шума измерения)


Сглаживание усреднением с параметрами:
Интервал усреднения по расстоянию 50м, по времени 60сек
Минимальное время от последней точки 15сек, скорость 3км/ч, угол поворота 15 градусов
Коэффициент сглаживания 0.25


Медианный фильтр с апертурой 9 + Фильтр Калмана


Медианный фильтр + Сглаживание усреднением


А вот подавление дрифта с параметрами
Апертура 50м, порог скорости 1.5км/ч, интенсивность высокая.


В общем, надо играться с параметрами и часто накладывать один фильтр поверх другого. К сожалению, универсального фильтра "сделайте мне красиво" мне не удалось придумать Подозреваю, что такового в природе не существует, для разных условий нужны разные фильтры. И все равно идеалного результат добиьтся вряд ли удастся.

Поправил фильтр скорости, удалил режим ручного обновления карты + по мелочи еще немного.

https://drive.google.com/open?id=0B1SFdzGC9fHXTjZQc21NZDh3M2s

Внимательно сравните как работает фильтр в track editor и сравните с результатом median + average smooth.

В первом случае срезаются только наиболее далеко отстоящие точки, во втором и пики срезаются более гладко, и более плавные "гуляния" трека сглаживаются.

Про дрифт не говорю - его вообще сложно распознать. Здесь уже второй вариант дрифт-фильтра. Первый был реализован в nmeaprocessor, там вообще сплошное шаманство, он работал очень жестко. Даже черезчур жестко, потому и отказался от него.

Вообще тут часть фильтров (DES, ФНЧ, медиана, калман) используют стандартные алгоритмы, а часть (дрифт, усреднение, кластерный) - мои оригинальные. Сплайн - стандартный алгоритм с оригинальным способом рассчета коэффициентов сглаживания.

Похоже, что нужно будет таки писать документайцию с разъяснением смысла параметров фильтров.

Спасибо за примеры. Очень наглядно.


В отличие от вашей программы, GPS Track Editor только удаляет точки, ничего не пересчитывая и не записывая новых точек. С одной стороны это минус, а с другой - плюс. У вас median + average smooth вроде бы и неплохо отработали, но несуществующую петлю (как минимум в одном месте) всё же пририсовали.

Небольшое косметическое пожелание. Цвет трека задаётся автоматически. Но некоторые цвета явно неудачные. Было бы удобно, если бы имелась возможность менять цвет трека. И чтобы в левой панели рядом с названием трека изображался квадратик с его цветом. Тогда на карте было бы более понятно, где какой трек.

Со сменой цвета муторно (может потом сделаю, не знаю...), а индикацию добавил.

https://drive.google.com/open?id=0B1SFdzGC9fHXZTh5WXl4RXdPMHM

Сейчас на очереди попробовать поменять XML парсер. Что-то стоковый тормозит безбожно на больших треках. Попробую альтернативный поискать и прикрутить

Спасибо!
Ещё раз поигрался с фильтрами. Думаю, надо начинать со Speed (ставить 7 км/ч для пешехода) - это отфильтрует одиночные сильные выбросы. А затем либо Median (не столько сглаживает, сколько удаляет выбросы), либо Low Pass (довольно корректно сглаживает, почти не внося "отсебятины").
Остальные фильтры либо действуют слабо, либо чересчур сильно и некорректно сглаживают (вместо срезания сильного выброса - плавно его обводят; вместо следования точно по треку там, где он идёт плавно - вносится "отсебятина" в виде участка траектории, не соответствующего действительности).

Ну по одному треку некорректно судить. Я при отработке фильтров десятки треков прогонял.

Вообще, если вас интересует только убрать отдельные пики, то проще Track Editor наверное...

Кстати, странно откуда у вас их столько. Я у себя практически не вижу таких артефактов. Очень редко бывают. Так что в основном меня интересует сглаживание "пилы" ну и подавление дрифта, конечно же.

Заменил стандартный XML парсер (очень уже он тормозной) на более быстрый. Теперь gpx файлы грузятся быстрее. Ваш файл (19380 точек) загружается за 5 сек (вместо 22сек в предыдущей версии)

https://drive.google.com/open?id=0B1SFdzGC9fHXMTQya01lTlltb1E

Спасибо, грузится быстрее.

Насчёт - артефактов - не знаю. Может ли такое быть, что два Эксплориста пишут трек по-разному?
Из возможных причин - медленная скорость передвижения. Мы идём пешком, по тропинкам, иногда без тропинок напролом через кусты, я могу часто останавливаться и оглядываться на отстающих. 10 секунд стояния на месте - это 10 точек, и тут уже возможен дрифт. Вы же, как я понял, в основном ездите на велосипеде, а чем выше скорость - тем более гладкий трек получается. На некоторых участках мы шли вблизи крутого склона высокого холма, это тоже может вносить помехи. Ну и не знаю, важно это или нет - навигатор я ношу в кармане жилета на уровне пояса (чуть выше метра над землёй). Возможно, если поднять его повыше, например, в район плеча, то приём сигнала будет лучше.

В первую очередь меня интересует убрать отдельные пики. Сглаживание, в принципе, тоже интересует, но, увы, не всегда оно выполняется корректно. Одно дело, когда идёшь по прямой или слабо изгибающейся дороге, и координаты "пляшут". Тут сглаживание позволяет приблизить траекторию к линии дороги. Другое дело - пеший поход по петляющей тропинке или без тропинки, с поиском проходов через заросли. Тут фильтр запросто может ошибиться, принять реальные петли трека за "пляску" координат и сгладить всё это аккуратной прямой, но не соответствующей реальности, линией.

Извиняюсь, пришлось немного отвлечься на работу



Ну как-то маловероятно...



Ну вообще у меня очень много треков. Есть и вело и горнолыжные и авто и пешие. В том числе, прогулки с внуком, а там скорости порядка 2-3км/ч. Правда, не все треки записаны эксплористом, много пишу логгером (Columbus V-990 с 66-канальным чипом MTK3329). Есть и чужие треки (присылают для отладки), записанные самыми разными приборами. На своих треках пиков я практически не вижу. Что странно.



Ну с точки зрения фильтра действительно практически невозможно разделить шум и "скачки по кустам из стороны в сторону". Тут надо играть с коэффициентами фильтров чтобы добиться подходящего результата в каждой конкретной ситуации.

Собственно говоря, в том и была основная идея - сделать достаточно разнообразный инструментарий, позволяющий обрабатывать треки под конкретную ситуацию.

Вот очередная версия:
https://drive.google.com/file/d/0B1SFdzGC9fHXZDdES2JBam1hRGs/view

Тут подправлено несколько мелких ошибок, немного оптимизирована отрисовка карты. Добавлен новый фильтр - Ходрика-Прескота (используется в эконометрике главным образом для выделения трнедов). И (думаю, Вам понравится) добавлен новый инструмент - Доверительный интервал (Confidence Interval). Суть его в следующем. Сначала вы проводите сглаживание трека любым подходящим фильтром. Это будет т.н. "тренд". Затем убеждаетесь что в списке отмечены [галочкой] два трека - исходный (Base) и сглаженный (Trend). Далее запускаете инструмент (он в меню Action). Видите статистику отклонений точек базового трека от тренда



теперь мы можете указать доверительный интервал (максимально допустимое значение отклонения) и отфильтровать все точки, который выходят за его границы.

Задать значение доверительного интервала можно несколькими способами:

- вручную в поле Upper Thereshould
- по правилам 2- или 3-сигма (среднее значение отклонения + величина стандартного отклонения, умноженная на 2 или 3)
- в процентах от общего числа точек (например, 95%-й доверительный интервал означает, что в треке останется 95% точек, а 5% точек с самыми большими значениями отклонений будут отфильтрованы).

Опционально можно указать чтобы отфильтрованые точки не удалялись, а заменялись на точки из тренда (по сути - сглаживались).

Я не знаю, в чём дело. У меня нет такой обширной статистики, как у вас (я имею в виду треки, записанные разными приборами). Мои треки все примерно такие. Разве что, пожалуй, пиков было несколько меньше, когда я раньше писал треки с частотой не 1 точка в секунду, а 1 точка в 20 секунд, т.е. чисто из-за меньшего количества точек. Может, с навигатором что-то не так?


Ходрика-Прескота неплохой, понравился мне. А Confidence Interval опробую позже, сейчас некогда.

Кстати, может вам стоит сделать веб-страницу, посвящённую данной программе? Разместить там ссылки на скачивание и какие-то описания программы и фильтров сделать, хотя бы небольшие. Вы уже здесь ощутимо написали, можно многое прямо с этого форума на веб-страницу перенести.

Да не думаю. В принципе, это обычное явление. Возможно, от местности зависит как-то. Чисто теоретически пики могут быть обусловлены каким-то помехами, возможно, возмущениями в ионосфере...

В моих условиях чаще наблюдается плавный увод трека в сторону (а потом такой же плавный возврат обратно).



Обращаю внимание, что параметр в ХП фильтре может меняться от нуля и практически до бесконечности. При нуле выходная последовательность совпадает со входной, а при стремлении к бесконечности выходная последовательность будет стремиться к прямой линии.



Надо бы, конечно, но все собраться не могу. Мне проще программы писать, чем документацию к ним Профессиональная деформация уже во всей красе - я думаю на том языке, на котором пишу. А сформулировать это же по-человечески бывает затруднительно.

Но надо собраться, конечно... Потому как документация нужна. Хотя бы чтобы описать как работает тот или иной фильтр и как влияет на его работу выбор параметров.

Да, я понимаю. Я два месяца писал инструкцию к программе SAS Планета, а потом где-то год с перерывами - инструкцию к программе OsmAnd.
Вы попробуйте сначала написать совсем немного. Краткое описание программы размером с парочку абзацев и ссылку на скачивание. А потом будете постепенно дописывать. Дописывать всегда легче, чем начинать с нуля.

Да это все понятно... Приходилось доументацию писать. Более двадцати лет уже программирую. Просто тяжело на это собраться. А тут еще столько понаворотил, что все это описывать... Да и вспоминать придется как оно работает... Некоторые фильтры несколько лет назад писались...

Пересилил себя и начал писать документацию. Для начала будет подробная в pdf, потом частично (основные моменты) перенесу на страничку.

Успехов! Будем ждать заветный PDF.

Когда там новый пдфчик?

Не так сразу Там вообще-то очень дофига писать. Пока только пять страниц, а еще даже до описания процедуры загрузки треков не дошел А еще описание всех операций и фильтров, всех параметров...

В общем, дописал документацию. Смотрите, чего непонятно попытаюсь поправить.
https://drive.google.com/open?id=0B1SFdzGC9fHXallMM1Z4V1BTWmM

Весь архив (новая версия + документация):
https://drive.google.com/open?id=0B1SFdzGC9fHXRXZfNl9rUWo0dkE

Страничку сделаю чуть позже.

Спасибо! Серьёзный труд!

Да не за что. Лишь бы понятно было. Я постарался описать принцип работы алгоритмов чтобы был понятен смысл параметров. Не знаю уж насколько получилось...

Получилось вроде бы неплохо. Я, правда, читал бегло и формулы не рассматривал. Но в общих чертах понятно. Минус я вижу всего лишь один (и он - обратная сторона плюса). Из-за обилия фильтров и настроек требуется время, чтобы опытным путём подобрать параметры под себя.

Ну формулы сложные я там не использовал. Только чтобы проиллюстрировать принцип работы того или иного фильтра там, где формулой проще чем словами описывать.

А подбор параметров в любом случае индивидуален. Это уже третья "реинкарнация" программы подобного плана, так что все что сделано, делалось на основе опыта и ошибок предыдущих вариантов.

Сделал небольшую страничку: http://sites.google.com/site/victorpomortseff/track-processor
Также обновил еще один старый проект - GPS Subtitles (добавил вывод субтитлов в SSA формате): http://sites.google.com/site/victorpomortseff/gps-subtitles-creator

Спасибо! Теперь будет на что ссылаться, если необходимость возникнет.

Выложил очередную версию. Поднакопилось обновлений. В частности, изменен алгоритм работы со скоростью в фильтрах, переписан фильтр Калмана, добавлен диалог общих настроек...

Спасибо, скачал. Пока что вижу только один минус - онлайн-карты очень долго загружаются.

Увы, есть такая проблема. Пока не знаю как решить. Думаю.

Вроде бы удалось немного оптимизировать процесс. Выложил новую версию. Проверяйте.

Да, теперь лучше.

Выложил свежую версию.

Исправил ошибку с формированием путей тайлового кеша ("благоприобретенная" в процессе последних улучшений).
Добавил карту OSM Open TopoMap. Хорошая карта. Красивая. Только тормозит иногда их тайловый сервер.

Как-то по ощущениям ситуация с онлайн-картами сейчас немного хуже, чем до этого.

А чем именно хуже?

Такое ощущение, что по сравнению с предыдущей версией тайлы медленнее подгружаются из интернета. К сожалению, новую версию ставил поверх предыдущей, поэтому сейчас уже две версии не сравню. Но загрузка карт подтормаживает, пользоваться не особо комфортно.

Вообще вряд-ли поскольку в плане загрузки там ничего не поменялось. Добавил еще один источник карт и исправил ошибку - не добавлялся слеш в конце пути к кешу.

Но посмотрю еще раз в понедельник. Может и начудил где случайно.

Посмотрел. Вроде нормально все. Похоже, тут на серверах где-то тормоза. OutdoorsCycle быстро грузится, а вот OpenTopo тормозит. Впрочем, оно и в SASPlanet тормозит...

Выложил новую версию - удалось очень существенно оптимизировать список точек трека (Points List). Теперь грузится намного быстрее.

Трек грузится довольно быстро. А карты - хреново. При том, что они же в браузере показываются довольно шустро. И не работает карта Open Street Browzer. Я бы её вообще убрал.

Странно как-то... ладно, еще проверю...

Выложил новую версию.

Убрал OpenStreetBrowser

С загрузкой карт... Ну попробовал что-то пооптимизировать, но похоже что все, уперся. Дальше не получается

У себя особой разницы по скорости с SASPlanet не вижу.

У меня разница с SAS Планетой ощутимая.

Очень странно. А винда какая у вас?

Семёрка 64-битная

У меня семерка 32 бит. Соответственно, и собрано под 32 бит все. Для загрузки файла используется функция WinAPI. Если у SASPlanet отключить кеш, то разницы в скорости я не вижу.

Ну можно, конечно, попробовать профайлинг устроить и посмотреть куда время уходит при загрузке, может что-то найдется...

Вечером постараюсь выкроить время, чтобы протестировать программу на нетбуке с 32-битной виндой.

Вот отладочная версия:



(рабочую не затирайте, забекапте предварительно). Она сделает файлик TrackProcessor.trc - хотелось бы на него взглянуть (там времена работы ключевых процедур при загрузке тайлов).

Да, у меня тормозит ощутимо сильнее,чем в САС Планете. Проверял и на 32-битной, и на 64-битной винде.

Прилагаю файл из отладочной версии.

Спасибо, посмотрю что там с временами.

Выложил новую версию.

Изменил алгоритм загрузки тайлов. По ощущениям стало быстрее грузиться.
Актуализировал ссылки на сервера.

Спасибо, посмотрим.

Если кратко, то в прошлой версии загрузка шла по одному файлу - подключились к серверу, загрузили тайл во временный файл, отключились. И так для каждого тайла.

Сейчас, покопавшись в msdn, разобрался как оптимизировать. Подключаемся один раз, грузим все нужные файлы сразу в память, отключаемся. Плюс это происходит в отдельном потоке. Плюс, если доступны несколько серверов (обычно три - a... b... и c...), То нужные тайлы разбиваются на группы по количеству северов и грузится сразу паралельно несколько тайлов.

В принципе, там еще есть чего оптимизировать, но в обозримом будущем аремени, похоже, не будет совсем. Пригласили на новую работу (ведущим разработчиком it отдела в банке), с понедельника выхожу, а там начнется... Платят хорошо, но и выкладываться придется по полной программе.

На вашей страничке внизу надпись "Свежая версия программы". Чуть ниже - "2017.6.13.141". Кликаю, выскакивает окно "Этот файл нельзя открыть, так как он нарушает Условия использования".
В общем, почему-то не скачивается.

Опять гугль чудит... Ладно, придумаю что-нибудь...

А по прямой ссылке работает?

https://drive.google.com/file/d/0B1SFdz ... p=drivesdk

Нет, не работает. То же самое.

А так:

https://www.dropbox.com/sh/nkyaqo478xmt ... hAjsa?dl=0

А попробуйте еще раз со странички - поменял там хранилище. Будет работать или нет?

https://sites.google.com/site/victorpom ... -processor

Да, получилось скачать. Вечером дома посмотрю программу.

Ок. Гугль задолбал уже своими ограничениями на безопасность.

Попробовал. Всё равно ощутимо подтормаживает карта. Трудно сказать, лучше ли чем в предыдущем варианте, так как не хочется выдавать желаемое за действительное.

Виктор, прикрутите, пожалуйста, в программе экспорт в формат Excel.

P.S. А тормоза в карте таки ощутимы

Увы, но вряд ли я в обозримом будущем что-то прикручу. С середины лета на новой работе, загружен по самые помидоры. Делать что-то еще ни сил ни времени не остается. Свой комп уже несколько месяцев не включал.

Прошу прощения - Алексей Гусев.

Он хотел выкладывать сюда: https://github.com/alexgoussev/TrackProcessor_Original

Но пока там ничего нет насколько я вижу...

Я писал на почту algous, но ответа пока нет. Наверное, Алексей обиделся, что его назвали Александром

А ещё, я думаю, программу нужно переименовать на "GPS Track Processor". Чтобы не подумали, что программа музыкальные треки обрабатывает.

Ну все это уже не ко мне я сейчас и на других языках пишу и под совсем другую платформу.

Всё норм, письмо получил, отвечу в пятницу со всеми инструкциями по компиляции.

Если вы можете редактировать своё сообщение, удалите, пожалуйста, мой емайл из его текста.

Алексей выложил исходники

https://github.com/alexgoussev/TrackProcessor/

Не знаю уж, найдется у кого желание этим заниматься...
В принципе, git удобная вещь - можно созавать свою ветку и работать в ней, не трогая master.