Страва Метро интересует кого-нибудь?

[Михаил Иткин]

Страва запустила проект "Метро", на основе треков записанных велосипедистами в Страве они сделали базу данных для геоинформационных систем. Предполагается, что лицензию для пользования БД будут покупать городские комитеты отвечающие за развитие дорожной инфраструктуры. Цена зависит от количества уникальных велосипедстов в регионе интереса, пишущих данные в Страву.

БД содержит не индивидуальные треки поездок, а информацию где, когда, в каком направлении, с какой частотой велосипедсты ездят. Можно отделить коммьютеров от покатушечников, делая селекцию данных по выходных дням и будням и т.п. Демонстрационный пример висит на сайте Стравы Метро, полный набор данных за несколько месяцев для Мельбурна. Совсем простенькая, довольно бесполезная, но красивая демка есть labs.strava. Если я что-то непонятно рассказал, то у них есть ЧаВо, где расписаны отличия Метро, от обычной карты плотности маршрутов.

Естественно что вся информация ограничена количеством пользователей Стравы. Мне показалось, что за последний год их стало уже достаточно много, чтобы выборка была значимой, и, возможно, БД будет полезной.

Про цену. Я спросил у Стравы, сколько стоит БД для Питера, и если некоммерческим организациям можно бесплатно предоставить данные. Получил такой ответ, публикую с разрешения автора:

Ответ, eng

Hi Mikhail,

Thank you for your patience as we work through the large number of request for a Strava Metro sample data set.

We can work with non-profits to help get the price down. The most important thing to do first is make sure that the Metro format will work for your group. Ideally we get the city to purchase the data and give it to your advocacy group for free. So for the city region of St.Petersburg the data at full price would be less than $1000 we can get this down to $400 for an advocacy group. Our user growth in this area has been rapidly growing and it would be great to keep the wheel rolling . Please let me know what you think will work the best.

Please find the link below to to download a .zip file containing the Strava Metro sample for Melbourne, AUS. The link will take you to Dropbox, a free service for file storage and sharing.

https://www.dropbox.com/s/v1hu0nffbwynx9f/StravaMetroMelbourneSample2013.zip

We are providing a sample dataset and documentation for one region for evaluation purposes. Due to limited time and resources we cannot provide sample data sets for other regions.

If you have questions specific to your region or would like to discuss licensing Strava Metro data please let me know.

Возможно информация покажется руководителям клуба (или родственных клубов типа Велосипедизации) полезной. Вариантов по получению данных видимо два: убедить город купить данные и сделать их общедоступными, или приобрести самим со скидкой 60% от номинальной цены. Если город не хочет, то можно и краудфандинг организовать, чтобы приобрести данные.

При наличии интереса я готов потратить по возможности какое-то время на работу с БД, чтобы извлечь полезные демо сэмплы.

Картинка для привлечения внимания:




Изменено 12 июля 2014 г. пользователем Михаил Иткин

[TarasB]

Раз такое дело, то я буду всегда включать Страву при поездке на работу.
А то мне лень всегда, трек унылый получается.

[chimich]

Очень интересно.

Тепловую карту я видел, конечно. Но про рабочий датасет почему-то думал, что это должно быть очень дорого и что у нас нет достаточно квалифицированных и одновременно достаточно заинтересованных в вопросе людей, которые могли бы извлечь что-то полезное из этих данных. 400 долларов - гуманная цена, вполне посильная для краундфандинга или для спонсоров. А еще КРТИ обещает уже в этом году заказать предпроектные исследования по 16 "официальным" веломаршрутам. Можно даже надеяться, что у них или у кого-нибудь из подрядчиков, которые впишутся в эту работу, найдется и тысяча долларов.

Михаил, а ты сам уже пробовал покопаться в мельбурнском демонаборе? Я почитал FAQ и Melbourne sample HowTo. Но не до конца понимаю, что можно извлечь из этих данных. Вот это описание: "БД содержит не индивидуальные треки поездок, а информацию где, когда, в каком направлении, с какой частотой велосипедсты ездят", несколько печалит.
Понимаю, что для каждого сегмента условной (или реальной?) улично-дорожной сети есть поминутные данные о количестве проехавших здесь велосипедистов в одном направлении и в другом. Из этого можно наделать красивых картинок и получить какую-то полезную информацию. Но получается, что коммьютинг, например, и рекреация разделяются только по дням недели (будни/выходные) и, может быть, по времени суток. Или нет?

Еще интересно, решаются ли на этом наборе задачи определения транспортной доступности и можно ли как-то анализировать направления транспотных корреспонденций. Хороший пример, иллюстрирующий транспортную доступность - Mapnificent, показывает границы области, достижимой из заданной точки в пределах заданного времени на общественном транспорте. Есть тут у одного умного человека идея построить карты транспортной (в том числе и велосипедной) доступности Петербурга. Может ли Strava Metro пригодиться для этого?
С направлениями велосипедных поездок тоже было бы очень полезно и зрелищно, если бы данные стравы позволяли построить пучки корреспонденций, исходящих или заканчивающихся в заданном районе, или проходящих через определенный сегмент дорожной сети.
Но раз отдельных треков там нет, то как я понимаю, сделать это не получится?

[Михаил Иткин]

Поглядел еще раз документацию что идет с австралийской демкой, попробую ответить.

Цитата:

Тепловую карту я видел, конечно. Но про рабочий датасет почему-то думал, что это должно быть очень дорого и что у нас нет достаточно квалифицированных и одновременно достаточно заинтересованных в вопросе людей, которые могли бы извлечь что-то полезное из этих данных. 400 долларов - гуманная цена, вполне посильная для краундфандинга или для спонсоров. А еще КРТИ обещает уже в этом году заказать предпроектные исследования по 16 "официальным" веломаршрутам. Можно даже надеяться, что у них или у кого-нибудь из подрядчиков, которые впишутся в эту работу, найдется и тысяча долларов.

Михаил, а ты сам уже пробовал покопаться в мельбурнском демонаборе? Я почитал FAQ и Melbourne sample HowTo. Но не до конца понимаю, что можно извлечь из этих данных. Вот это описание: "БД содержит не индивидуальные треки поездок, а информацию где, когда, в каком направлении, с какой частотой велосипедсты ездят", несколько печалит.

Если придумать дельные сценарии использования данных, то я могу покопаться. Пока только шейп файлы поглядел. Еще не занимался этим, в принципе могу неспешно в виртуалке поднять postgis сервак, и построить демо карты на основе результатов запросов с условиями в qgis'e. Больше чем какие-то демки не смогу, это может быть куча работы, но например на гислабе можно найти фрилансеров. Но кмк нормальный сценарий использования, наполненный смыслом тут очень важен, иначе будут просто красивые, но неубедительные картинки.

Цитата:

Понимаю, что для каждого сегмента условной (или реальной?) улично-дорожной сети есть поминутные данные о количестве проехавших здесь велосипедистов в одном направлении и в другом. Из этого можно наделать красивых картинок и получить какую-то полезную информацию. Но получается, что коммьютинг, например, и рекреация разделяются только по дням недели (будни/выходные) и, может быть, по времени суток. Или нет?

Сеть реальная, вся подложка -- ОСМ. Страва уже предварительно делает деление на коммьют и рекреацию, тремя способами:

* Юзер может отметить трек флагом "коммьют"
* Предположение что в треки определенной продолжительностью, записанные определенное время, скажем в часы пик -- тоже коммьют
* Парсят названия треков

Но вообще-то в черте города в часы пик количество рекреационных поездок не велико. И рекреационные тоже в принципе коммьют, пока люди пытаются выбраться из города.

Цитата:

Еще интересно, решаются ли на этом наборе задачи определения транспортной доступности и можно ли как-то анализировать направления транспотных корреспонденций. Хороший пример, иллюстрирующий транспортную доступность - Mapnificent, показывает границы области, достижимой из заданной точки в пределах заданного времени на общественном транспорте. Есть тут у одного умного человека идея построить карты транспортной (в том числе и велосипедной) доступности Петербурга. Может ли Strava Metro пригодиться для этого?
С направлениями велосипедных поездок тоже было бы очень полезно и зрелищно, если бы данные стравы позволяли построить пучки корреспонденций, исходящих или заканчивающихся в заданном районе, или проходящих через определенный сегмент дорожной сети.
Но раз отдельных треков там нет, то как я понимаю, сделать это не получится?

Сделать карту наподобие Хельсинки реально, имея вектор уличной сети т производные, вроде скорости движения на отдельных участках, можно обсчитать расстояние достижимое за определенное время. Рельные пучки корреспонденции кмк построить не удастя, треков нет, из-за желания полностью анонимизировать данные их не сохраняют. Хотя как я понял, для каждого запроса снэпшот данных делается из исходного материала, треков. Там можно кастомизировать временной диапазон для которого треки конвертируются в оценочные данные с привязкой к улицам. Поэтому, кстати, у них пока нет стандартной формы заказа, все индивидуально (пока).

Я еще написал Клаусу из gpsies, если он планирует добавить возможность писать треки из его приложения для треккинга в реальном времени, с целью создать вот такую БД как в Страве, с блекджеком. Но он пока проигнорировал вопрос. Изменено 12 июля 2014 г. пользователем Михаил Иткин

[boras]

[quote title=Михаил Иткин писал(а) Sun, 13 July 2014 00:52
...

Сделать карту наподобие Хельсинки реально, имея вектор уличной сети т производные, вроде скорости движения на отдельных участках, можно обсчитать расстояние достижимое за определенное время. Рельные пучки корреспонденции кмк построить не удастя, треков нет, из-за желания полностью анонимизировать данные их не сохраняют. Хотя как я понял, для каждого запроса снэпшот данных делается из исходного материала, треков. Там можно кастомизировать временной диапазон для которого треки конвертируются в оценочные данные с привязкой к улицам. Поэтому, кстати, у них пока нет стандартной формы заказа, все индивидуально (пока).
...
[/quote]

А в башке "вектор уличной сети" или трек представить и там же "кастомизировать временной диапазон" - за сколько откуда и куда уже не можете?
Да! Теперь без компьютера детишкам никуда...

[Михаил Иткин]

boras писал(а) Sun, 13 July 2014 12:49

А в башке "вектор уличной сети" или трек представить и там же "кастомизировать временной диапазон" - за сколько откуда и куда уже не можете?
Да! Теперь без компьютера детишкам никуда...

Борас, ты это сейчас совсем не к месту ляпнул. Речь не про индивидуальное пользование, а про вспомогательный материал для планирования.
Но возможно мне надо улучшать ясность изложения, да. Изменено 13 июля 2014 г. пользователем Михаил Иткин

[boras]

Михаил Иткин писал(а) Sun, 13 July 2014 14:56

boras писал(а) Sun, 13 July 2014 12:49

А в башке "вектор уличной сети" или трек представить и там же "кастомизировать временной диапазон" - за сколько откуда и куда уже не можете?
Да! Теперь без компьютера детишкам никуда...

Борас, ты это сейчас совсем не к месту ляпнул. Речь не про индивидуальное пользование, а про вспомогательный материал для планирования.
Но возможно мне надо улучшать ясность изложения, да.

Мне кажется, что тут не в форме изложения, а в самой "идее" заковырка кроется! Какая потребность этого "планирования" в СПб кто-нибудь изучал? Или, как всегда, взяли кальку с западного городишки и решили на наш город навесить?
P.S. Ну, например, опрос, хотя бы по велопитеру, сделать! Типа кто что-нибудь из этого понял, а если понял, то нужно ли это ему будет по жизни!

[Михаил Иткин]

boras писал(а) Sun, 13 July 2014 19:37

Мне кажется, что тут не в форме изложения, а в самой "идее" заковырка кроется! Какая потребность этого "планирования" в СПб кто-нибудь изучал? Или, как всегда, взяли кальку с западного городишки и решили на наш город навесить?
P.S. Ну, например, опрос, хотя бы по велопитеру, сделать! Типа кто что-нибудь из этого понял, а если понял, то нужно ли это ему будет по жизни!

Ага, с этим очень просто. Сабж если и нужен, то товарищам из соседней темы, и им сочуствующим. Обычным велосипедистам в их каждодневной веложизни пользоваться этой БД -- перебор.

PS. Питер вполне себе обычный такой мегаполис, у них у всех похожие проблемы и решения. Изменено 14 июля 2014 г. пользователем Михаил Иткин

[Belka-fiz]

Достаточно ли информативна вырезка, учитывая количество людей пользующихся трекерами каждый день, не говоря уже об одном конкретном?

[Михаил Иткин]

Belka-fiz писал(а) Mon, 14 July 2014 12:20

Достаточно ли информативна вырезка, учитывая количество людей пользующихся трекерами каждый день, не говоря уже об одном конкретном?

Я точно не могу сказать точно. Судя по цене БД сейчас в Питере треки пишут около 1250 уников. Судя по карте плотности (та что на labs.strava.com), основная плотность поездок -- в черте города. Предполагаю что выборка информативна, насколько она полезна я не могу судить, нужно мнение заинтересованных людей, у них могут быть свои специфические требования к подобного рода выборкам. Изменено 14 июля 2014 г. пользователем Михаил Иткин

[TarasB]

Михаил Иткин писал(а) Mon, 14 July 2014 14:25

Судя по цене БД сейчас в Питере треки пишут около 1250 уников.

Хе-хе, небось та тонкая синяя линия на Нефтяной нарисована в честь исключительно меня, муахахахаха.
Надо чаще Страву включать.

[chimich]

> нормальный сценарий использования, наполненный смыслом тут очень важен

Никто не спорит
Да и искать специалистов для анализа на стороне можно только под проект с нормальными сценариями и пониманием того, что человек должен анализировать и что получить на выходе.


> в принципе могу неспешно в виртуалке поднять postgis сервак, и построить демо карты

Круто. Мне, например, было бы интересно поглядеть, что можно получить из данных стравы. Если при этом еще и сценарии вспомнятся/придумаются, тоже может пригодиться.


> Сделать карту наподобие Хельсинки реально, имея вектор уличной сети и производные, вроде скорости движения на отдельных участках, можно обсчитать расстояние достижимое за определенное время.

Про уличную сеть сомнительно. Если просто взять УДС с ОСМ, то получим не велосипедную доступность, а некую вариацию автомобильной. Граф велодорожной сети местами сильно отличается от автодорожной.
А какие есть идеи по поводу скорости движения на отдельных перегонах, как их можно получить? Массив треков в этом как раз и мог бы помочь, но если в датасете стравы нет треков, то и скорости кмк вряд ли сохранились.
Кроме скоростей на перегонах, еще важны задержки на перекрестках. И из треков тоже можно было бы попробовать это получить. Но так это уже какое-то очень серьезное транспортное моделирование получается.

Про gpsies как-то была такая абстрактная идея - как-то выгрузить оттуда все петербургские треки. Но непонятно было зачем и как.. )

[Костя]

Толку как от исследования и "соцопросов" на Велопитере и сайте ВУЗа...

Главные дороги подкрасились, но они и на обычной карте есть.

Вряд ли на Сортавале плотность велосипедистов больше чем на Наставников и Колонтай вместе взятых.

Похоже 90% карты это кучные маршруты нескольких десятков человек.
Ценность представляет с точки зрения проезжабельности и катабельности, с финансовой вряд ли. Изменено 14 июля 2014 г. пользователем Костя

[Михаил Иткин]

Костя писал(а) Mon, 14 July 2014 14:47

Толку как от исследования и "соцопросов" на Велопитере и сайте ВУЗа...

Главные дороги подкрасились, но они и на обычной карте есть.

Вряд ли на Сортавале плотность велосипедистов больше чем на Наставников и Колонтай вместе взятых.

Похоже 90% карты это кучные маршруты нескольких десятков человек.
Ценность представляет с точки зрения проезжабельности и катабельности, с финансовой вряд ли.

Я не понял про Сортавалу, там плотность 0, в отличие от Н. и К. Сколько человек пишут непонятно,, возможно и три десятка, возможно и нет, на основных улицах плотность (визуально) мало отличается от н-р Хельсинки.

А что ты имеешь ввиду про то, что главные дороги уже есть? Конечно они есть, здесь все данные увязаны именно к существующей дорожной сети, для анализа н-р ее пропускной способности. Изменено 15 июля 2014 г. пользователем Михаил Иткин

[Костя]

На картинке и сайте на Сортавале увесистая линия, на большей части Наставников и Коллонтай линии почти нет.
Значит не оказалось там пользователей.
Значит и в других местах толщина линии зависит от того оказалось там один, два или три пользователя.

[Михаил Иткин]

Костя писал(а) Tue, 15 July 2014 10:20

На картинке и сайте на Сортавале увесистая линия, на большей части Наставников и Коллонтай линии почти нет.
Значит не оказалось там пользователей.
Значит и в других местах толщина линии зависит от того оказалось там один, два или три пользователя.

Костя, посмотри внимательней, в районе Сортавалы нет ни одной точки с данными. Совсем. Посмотри на карту плотности тут. На подложке есть дорожная сеть, но нет велоданных от Стравы, это просто карта Гугла. Изменено 15 июля 2014 г. пользователем Михаил Иткин

[Михаил Иткин]

Вот мне еще показалось интересным, что есть места где видно, что преобладают тротуарщики. Видимо точности GPS хватает, чтобы отделить тротуар от проезжей части на широких улицах.
И еще бывает видно как именно люди пересекают проспекты и т.п.

Изменено 15 июля 2014 г. пользователем Михаил Иткин

[Костя]

Михаил Иткин писал(а) Tue, 15 July 2014 12:24

Костя писал(а) Tue, 15 July 2014 10:20

На картинке и сайте на Сортавале увесистая линия, на большей части Наставников и Коллонтай линии почти нет.
Значит не оказалось там пользователей.
Значит и в других местах толщина линии зависит от того оказалось там один, два или три пользователя.

Костя, посмотри внимательней, в районе Сортавалы нет ни одной точки с данными. Совсем. Посмотри на карту плотности тут. На подложке есть дорожная сеть, но нет велоданных от Стравы, это просто карта Гугла.

Я про "большой" трафик по шоссе А121 Сортавала от Парнаса до Керро, после которого он становится нулевым. Кто-то по кругу всё это накатал.

Или вот в Тосно, Кингисеппе типа нету велосипедистов, да много там велосипедистов.

Для планирования интересны люди едущие 20 раз в месяц по одному маршруту. Им запись маршрута не нужна.

[Михаил Иткин]

Костя писал(а) Tue, 15 July 2014 15:42

Михаил Иткин писал(а) Tue, 15 July 2014 12:24

Костя писал(а) Tue, 15 July 2014 10:20

На картинке и сайте на Сортавале увесистая линия, на большей части Наставников и Коллонтай линии почти нет.
Значит не оказалось там пользователей.
Значит и в других местах толщина линии зависит от того оказалось там один, два или три пользователя.

Костя, посмотри внимательней, в районе Сортавалы нет ни одной точки с данными. Совсем. Посмотри на карту плотности тут. На подложке есть дорожная сеть, но нет велоданных от Стравы, это просто карта Гугла.

Я про "большой" трафик по шоссе А121 Сортавала от Парнаса до Керро, после которого он становится нулевым. Кто-то по кругу всё это накатал.

Или вот в Тосно, Кингисеппе типа нету велосипедистов, да много там велосипедистов.

Для планирования интересны люди едущие 20 раз в месяц по одному маршруту. Им запись маршрута не нужна.

Теперь понятно. Не знаю, один там человек накатал по кругу или нет. Замечание про места с отсутствием данных верное, тут основная польза будет в местах с большим скоплением записей.

Ну и кто-то коммьют записывает, кто-то нет, тут я ничего не могу сказать.

[Михаил Иткин]

Ну и чтобы не оставалось непонятных моментов, я уточнил у стравы то, как данные распространяются, есть ли у НКО купишвих лицензию возможность распространить данные.

Нет, если группа вроде Велопитера приобретает данные, то предполагается что они для внутреннего пользования (мое примечание: в таких случаях распространять можно производные, полученные на основе исходной информации, но не исходники).

Основная модель у Стравы иная -- продавать данные городу, и после покупки городом дать доступ уже НКО и пр.


Цитата: из переписки

Distribution for a non-profit should stay within the non-profit. In other words we would not want the non-profit to purchase the data and then provide to the city planning group. It should work the other way. The city should purchase the data and then we will provide the advocacy groups the data for free. We could provide a open data format if you want to share it with your cycling population.

Изменено 16 июля 2014 г. пользователем Михаил Иткин

[Birdy]

Михаил Иткин писал(а) Tue, 15 July 2014 17:54

Теперь понятно. Не знаю, один там человек накатал по кругу или нет. Замечание про места с отсутствием данных верное, тут основная польза будет в местах с большим скоплением записей.

Ну и кто-то коммьют записывает, кто-то нет, тут я ничего не могу сказать.

Таким образом, из этой БД можно будет сделать вывод о неком _минимальном_, но достоверном трафике велосипедистов. Это тоже полезно.

Эх, была у меня идея поставить камеры, направленные на мост, чтобы достоверно посчитать количество велосипедистов перемещающихся между островами/районами. Но как-то сдулся... может кто поддержит? Я найду машину, в которой можно было бы это дело установить, чтобы не заморачиваться со скрытностью.

По теме - готов вписаться в краудфандинг.

[ZloyAlive]

А почему юзеры пишут данные для Стравы бесплатно а компания эти данные продает за реальные денюшки? Вы считаете это справедливым?

[Михаил Иткин]

Я не адвокат Стравы, так, ознакомился лишь. Сначала у меня точно такие же мысли возникли.

Но тут нюансы:
1) в Метро попадают только данные доступные для всеобщего обозрения. Приватные -- не попадают.

2) Запрос для каждого региона индивидуален, чтобы обработать его нужны человеко-часы. Нужен контроль качества каждого слепка, тоже человеко-часы. Без этого ценность информации резко снижается. Если сделать данные бесплатными или условно-бесплатными, то количество запросов будет огромным, работа отдела встанет. Плюс цена вопроса не очень большая, я сомневаюсь что можно год оплачивать пару разработчиков в Сан-Франциско за счет Метро.

3) Сделать такой датасет как Метро это очень кропотливая работа, если кто-то уже ее делает -- это прекрасно, этим надо пользоваться если есть потребность. Так больше шансов, что технология будет обкатана и получит распространение. Потом и ФОСС сообщество подтянется, и при наличии альтернатив велик шанс что Страва отдаст данные в паблик. Изменено 26 июля 2014 г. пользователем Михаил Иткин