Интересное и хорошее

[Boris]

там могут встретиться данные, которые мы не ожидаем,

Это как? Пользователь может заполнить поля в базе, которых там нет? Или не вы сами даёте ему что-то заполнять?

Больше нельзя просто прочитать csv файл,

Сорри, а почему такой формат вообще обсуждается? У вас база же есть адекватная? Она не может на SQL запрос выдать данные?

---
Я не троллю, мне реально интересно, как нынешний софт устроен и почему все, что вы пишите не делается средствами СУБД.
У вас база на чем работает?
Oracl? MS SQL?
Или что-то попроще?

 

[Kittiket]

Это как? Пользователь может заполнить поля в базе, которых там нет? Или не вы сами даёте ему что-то заполнять?

Пользователь сам ничего не заполняет. Просто это кровавый энтерпрайз. Очень много всего разного о чем вроде бы и знает кто-то если его напрямую спросить про этот конкретный случай. Но вот так списком никто тебе все особенности никто не даст. В какой-то таблице данные удаляются после двух лет, в какой-то таблице не хватает данных для пользователей старше 10 лет. А тут надо дополнительно брать данные еще из этой таблицы. А тут вот надо брать данные только с флагом 1, а тут пофигу на этот же флаг. А иногда надо еще из вот этой таблицы дополнительно селектить хитрым образом, должна только одна строчка найтись. Ой а на 200к пользователей у одного нашлось две строчки .

 

[Kittiket]

Сорри, а почему такой формат вообще обсуждается? У вас база же есть адекватная? Она не может на SQL запрос выдать данные?

---
Я не троллю, мне реально интересно, как нынешний софт устроен и почему все, что вы пишите не делается средствами СУБД.
У вас база на чем работает?
Oracl? MS SQL?
Или что-то попроще?

Я посмотрю как вы средствами СУБД отправите эвент в кафку

 

[Boris]

Я посмотрю как вы средствами СУБД отправите эвент в кафку

я не про это спрашивал. Зачем вы шлете эвенты и куда именно, это уже не к данным имеет отношение как таковым.
миграция данных в вашем случае это переход на новый формат/новую базу или что?

 

[Kittiket]

я не про это спрашивал. Зачем вы шлете эвенты и куда именно, это уже не к данным имеет отношение как таковым.
миграция данных в вашем случае это переход на новый формат/новую базу или что?

Ну так-то эвенты это часть миграции и их надо посылать одновременно с миграцией данных, и если миграцию пришлось откатить -посылать эвент про откат.
Со старой на новую систему мигрируем, заметно другую по технологиям.

 

[Юсси Ватанен]

Это как? Пользователь может заполнить поля в базе, которых там нет? Или не вы сами даёте ему что-то заполнять?

Ты как вчера родился. Типичные головняки у меня с карточками клиентов (во многом из-за возможности зайти через фб, откуда шлак и тянется):
- улица и номер дома разнесены по полям Адрес и Адрес 2
- иероглифы, кириллица в данных
- опечатки почтового кода
- смайлы и эмодзи в именах или только они без текста
- только номер дома без улицы
- инструкции вместо адреса типа «отель такой-то на ресепшене для гос-на такого то»

 

[Boris]

Ты как вчера родился. Типичные головняки у меня с карточками клиентов (во многом из-за возможности зайти через фб, откуда шлак и тянется):
- улица и номер дома разнесены по полям Адрес и Адрес 2
- иероглифы, кириллица в данных
- опечатки почтового кода
- смайлы и эмодзи в именах или только они без текста
- только номер дома без улицы
- инструкции вместо адреса типа «отель такой-то на ресепшене для гос-на такого то»

Я не вчера родился в том то и дело. Это исключительно и только лень и кривизна рук программистов.
Не дать вносить то, что нельзя и требовать/проверять, что вносят еще на этапе ввода - это, сорян, азы.
"дуракоустойчивость" -требует да, времени и сил, но решает тонну проблем в будущем.
Если ваш интерфейс дает вносить кирилицу и/или смайлы, то кто в этом виноват?
Проверить как внесен адрес и даже существует ли он тоже не проблема же.
Ну согласись, что кому-то было лень это все прописать, на обработчиках событий форм. А просто взяли готовую формочку из библиотеки - быстро/модно/молодежно. Так ведь?

Спешка- спешка...

 

[Boris]

Ну так-то эвенты это часть миграции и их надо посылать

кому?

и если миграцию пришлось откатить

то Скуль при невыполненном запросе откатывает базу до исходного состояния сам. Не?

 

[Kittiket]

кому?

Кому надо, тому и отправляем.

то Скуль при невыполненном запросе откатывает базу до исходного состояния сам. Не?

А что кафка это SQL? А про то что вставляется вообще-то в монгу и динамо дб вы пропустили? Подозреваю что просто слова незнакомые.

 

[Юсси Ватанен]

Если ваш интерфейс дает вносить кирилицу и/или смайлы, то кто в этом виноват?

Не дает, когда логинишься через фб и делаешь заказ, то данные тянутся из фб профиля.

Проверить как внесен адрес и даже существует ли он тоже не проблема же.

конечно можно, я с первых лет жалуюсь на это и каждый раз мне говорят, что это не в приоритете

 

[Boris]

Подозреваю что просто слова незнакомые.

Подозреваю, что у вас такого человека как "архитектор базы" не было никогда.
Еще подозреваю, что все "писатели" книжки по скулю читали неделю, и толщиной они были пол сантиметра в лучшем случае.
И нормального круса по СУБД хотя бы в семестр не видел никто, наверно, да? Или "нонешни, не то что давеча?"
Но куда, мне, правда.. я ж отсталый пятикантроп?
Я ж слов то ваших жаргонных не понимаю даже (как вы думаете и пишите)...

Удачи вам с миграциями и остальным, особенно, вам она пригодится, если у вас и документации нет нормальной, судя по вот этому:

Но вот так списком никто тебе все особенности никто не даст. В какой-то таблице данные удаляются после двух лет, в какой-то таблице не хватает данных для пользователей старше 10 лет. А тут надо дополнительно брать данные еще из этой таблицы. А тут вот надо брать данные только с флагом 1, а тут пофигу на этот же флаг. А иногда надо еще из вот этой таблицы дополнительно селектить хитрым образом, должна только одна строчка найтись.

Я ж уже писал.
Если бы так дома строили так, как сейчас софт пишется, все бы даже не дятел в окно залетевший развалил, а муха просто, не туда севшая.
Зато быстро, чё.

 

[Boris]

когда логинишься через фб и делаешь заказ, то данные тянутся из фб профиля.

так а чего не слать лесом, если данные не те?
Типа главная установка - Клиент (если он еще что-то купит, что не факт) важнее, чем нормальная база?
Если там не то что надо, переспросить/потребовать откорректировать не написали просто еще? Сам спросил и сам вижу еще раз твой ответ, что не в приоритете. Ну тогда и не надо жаловаться.

Вот хреново, конечно, когда приоритеты расставляют мало что понимающие люди.
Типа как "ты давай заправляйся и поехали, а тормоза свои потом проверишь и масло тоже потом поменяешь".

 

[Kittiket]

Подозреваю, что у вас такого человека как "архитектор базы" не было никогда.
Еще подозреваю, что все "писатели" книжки по скулю читали неделю, и толщиной они были пол сантиметра в лучшем случае.
И нормального круса по СУБД хотя бы в семестр не видел никто, наверно, да? Или "нонешни, не то что давеча?"
Но куда, мне, правда.. я ж отсталый пятикантроп?
Я ж слов то ваших жаргонных не понимаю даже (как вы думаете и пишите)...

Удачи вам с миграциями и остальным, особенно, вам она пригодится, если у вас и документации нет нормальной, судя по вот этому:

Я ж уже писал.
Если бы так дома строили так, как сейчас софт пишется, все бы даже не дятел в окно залетевший развалил, а муха просто, не туда севшая.
Зато быстро, чё.

Ща Борис нас неучей научит как надо
Целый отдел ДБА просто книжек по эскюэлю не читали и не знают как надо, а вот Борис конечно знает.
Я когда пишу что вы вообще не в курсе как выглядит современная разработка я вообще не шучу. И кровавый энтерпрайз он не просто так кровавый-то.

 

[Nachtvogel]

то Скуль при невыполненном запросе откатывает базу до исходного состояния сам. Не?

он-то откатывает. Но требования современного "кровавого энтерпрайза" часто в том, чтобы это все не только логировалось, но еще шло там в аудит-логи, уведомлялись внешние системы и т.п - таким образом событие должно уйти еще и в асинхронную очередь например.

 

[Nachtvogel]

Давайте еще пример про некорректные данные. Мы работаем с банковскими апишками. Принимаем от банков Statement , посылаем им на исполнение payments и ожидаем статуса исполнения. Это только малая часть. Все statements стандартизированы в целом. Но вот есть французский банк (мы не будем его называть), который шлет CAMT053 (на секунду документированный xml формат) наплевав на такое дело как sequence тэгов. То есть по документации поле А идет строго перед болем Б, а они делают наоборот. Как вы думаете, мы можем скзаать клиенту (огромная страховая компания которая платит нашей компании за сопровождение бешеные бабки ежегодно) что это проблема их банка и пусть их банк нормально генерит данные? Или все же введем опцию скипать ошибки валидации именно последовательности? А какой только внезапной фигни не приходит в значениях этих тэгов. Особенно там назначения платежа, комментарии и т.п. Всех слать лесом пусть данные исправляют?

 

[Boris]

что это проблема их банка и пусть их банк нормально генерит данные?

Особенно там назначения платежа,

А вам не скажут спасибо, за то что от потенциальной кучи геморроя их застрахуете, если предупредите, или там "капризные девочки", начнут "заказывать глазки и махать руками"?

Я вас понимаю, конечно, но разве не в их же интересах, чтобы у них было как положено? А то может "мужики то и не знают"?

Понятно, что когда платят можно бесконечное количество костылей делать, но блин, речь о деньгах, о потенциальных больших проблемах.
Но, судя по всему, французские банки не далеко от французских машин ушли..

P.S.
В тему. Я вчера тут по необходимости оплатить перевод не в евро попользовался Wise.
Ну красавчики же! Все работает - любо, дорого посмотреть и попользоваться.

 

[Nachtvogel]

Ну красавчики же! Все работает - любо, дорого посмотреть и попользоваться.

у нас тоже все работает и любо дорого смотреть. А под капотом костыли с банковскими системами. Потому что банки срать хотели.

А вам не скажут спасибо, за то что от потенциальной кучи геморроя их застрахуете, если предупредите, или там "капризные девочки", начнут "заказывать глазки и махать руками"?

нет не скажут. Им нужно чтоб платеж вовремя ушел и вовремя поступил. и чтоб правильные данные (как у них в банке!) отображались в нашем сервисе. А как это будет сделано их не волнует.

 

[Nachtvogel]

французские банки не далеко от французских машин ушли..

о, французский банк - это просто один из. буквально свежий кейс - большой международный банк генерит BAI2 файлы на несколько разных аккаунтов в одном файле. Хотя по стандарту это нельзя. Но нет "сделайте чтобы ваша система могла это распарсить".

 

[Boris]

большой международный банк генерит BAI2 файлы на несколько разных аккаунтов в одном файле. Хотя по стандарту это нельзя.

А спросить у банка, зачем/почему, а главное нах.. он так делает в принципе невозможно или как в таких случаях действуют?
Завтра они пришлют вообще что-то левое (по сути, раз нельзя по стандарту, то уже шлют) и что делать?