Интересное и хорошее

[Boris]

там могут встретиться данные, которые мы не ожидаем,

Это как? Пользователь может заполнить поля в базе, которых там нет? Или не вы сами даёте ему что-то заполнять?

Больше нельзя просто прочитать csv файл,

Сорри, а почему такой формат вообще обсуждается? У вас база же есть адекватная? Она не может на SQL запрос выдать данные?

---
Я не троллю, мне реально интересно, как нынешний софт устроен и почему все, что вы пишите не делается средствами СУБД.
У вас база на чем работает?
Oracl? MS SQL?
Или что-то попроще?

 

[Kittiket]

Это как? Пользователь может заполнить поля в базе, которых там нет? Или не вы сами даёте ему что-то заполнять?

Пользователь сам ничего не заполняет. Просто это кровавый энтерпрайз. Очень много всего разного о чем вроде бы и знает кто-то если его напрямую спросить про этот конкретный случай. Но вот так списком никто тебе все особенности никто не даст. В какой-то таблице данные удаляются после двух лет, в какой-то таблице не хватает данных для пользователей старше 10 лет. А тут надо дополнительно брать данные еще из этой таблицы. А тут вот надо брать данные только с флагом 1, а тут пофигу на этот же флаг. А иногда надо еще из вот этой таблицы дополнительно селектить хитрым образом, должна только одна строчка найтись. Ой а на 200к пользователей у одного нашлось две строчки .

 

[Kittiket]

Сорри, а почему такой формат вообще обсуждается? У вас база же есть адекватная? Она не может на SQL запрос выдать данные?

---
Я не троллю, мне реально интересно, как нынешний софт устроен и почему все, что вы пишите не делается средствами СУБД.
У вас база на чем работает?
Oracl? MS SQL?
Или что-то попроще?

Я посмотрю как вы средствами СУБД отправите эвент в кафку

 

[Boris]

Я посмотрю как вы средствами СУБД отправите эвент в кафку

я не про это спрашивал. Зачем вы шлете эвенты и куда именно, это уже не к данным имеет отношение как таковым.
миграция данных в вашем случае это переход на новый формат/новую базу или что?

 

[Kittiket]

я не про это спрашивал. Зачем вы шлете эвенты и куда именно, это уже не к данным имеет отношение как таковым.
миграция данных в вашем случае это переход на новый формат/новую базу или что?

Ну так-то эвенты это часть миграции и их надо посылать одновременно с миграцией данных, и если миграцию пришлось откатить -посылать эвент про откат.
Со старой на новую систему мигрируем, заметно другую по технологиям.

 

[Юсси Ватанен]

Это как? Пользователь может заполнить поля в базе, которых там нет? Или не вы сами даёте ему что-то заполнять?

Ты как вчера родился. Типичные головняки у меня с карточками клиентов (во многом из-за возможности зайти через фб, откуда шлак и тянется):
- улица и номер дома разнесены по полям Адрес и Адрес 2
- иероглифы, кириллица в данных
- опечатки почтового кода
- смайлы и эмодзи в именах или только они без текста
- только номер дома без улицы
- инструкции вместо адреса типа «отель такой-то на ресепшене для гос-на такого то»

 

[Boris]

Ты как вчера родился. Типичные головняки у меня с карточками клиентов (во многом из-за возможности зайти через фб, откуда шлак и тянется):
- улица и номер дома разнесены по полям Адрес и Адрес 2
- иероглифы, кириллица в данных
- опечатки почтового кода
- смайлы и эмодзи в именах или только они без текста
- только номер дома без улицы
- инструкции вместо адреса типа «отель такой-то на ресепшене для гос-на такого то»

Я не вчера родился в том то и дело. Это исключительно и только лень и кривизна рук программистов.
Не дать вносить то, что нельзя и требовать/проверять, что вносят еще на этапе ввода - это, сорян, азы.
"дуракоустойчивость" -требует да, времени и сил, но решает тонну проблем в будущем.
Если ваш интерфейс дает вносить кирилицу и/или смайлы, то кто в этом виноват?
Проверить как внесен адрес и даже существует ли он тоже не проблема же.
Ну согласись, что кому-то было лень это все прописать, на обработчиках событий форм. А просто взяли готовую формочку из библиотеки - быстро/модно/молодежно. Так ведь?

Спешка- спешка...

 

[Boris]

Ну так-то эвенты это часть миграции и их надо посылать

кому?

и если миграцию пришлось откатить

то Скуль при невыполненном запросе откатывает базу до исходного состояния сам. Не?

 

[Kittiket]

кому?

Кому надо, тому и отправляем.

то Скуль при невыполненном запросе откатывает базу до исходного состояния сам. Не?

А что кафка это SQL? А про то что вставляется вообще-то в монгу и динамо дб вы пропустили? Подозреваю что просто слова незнакомые.

 

[Юсси Ватанен]

Если ваш интерфейс дает вносить кирилицу и/или смайлы, то кто в этом виноват?

Не дает, когда логинишься через фб и делаешь заказ, то данные тянутся из фб профиля.

Проверить как внесен адрес и даже существует ли он тоже не проблема же.

конечно можно, я с первых лет жалуюсь на это и каждый раз мне говорят, что это не в приоритете

 

[Boris]

Подозреваю что просто слова незнакомые.

Подозреваю, что у вас такого человека как "архитектор базы" не было никогда.
Еще подозреваю, что все "писатели" книжки по скулю читали неделю, и толщиной они были пол сантиметра в лучшем случае.
И нормального круса по СУБД хотя бы в семестр не видел никто, наверно, да? Или "нонешни, не то что давеча?"
Но куда, мне, правда.. я ж отсталый пятикантроп?
Я ж слов то ваших жаргонных не понимаю даже (как вы думаете и пишите)...

Удачи вам с миграциями и остальным, особенно, вам она пригодится, если у вас и документации нет нормальной, судя по вот этому:

Но вот так списком никто тебе все особенности никто не даст. В какой-то таблице данные удаляются после двух лет, в какой-то таблице не хватает данных для пользователей старше 10 лет. А тут надо дополнительно брать данные еще из этой таблицы. А тут вот надо брать данные только с флагом 1, а тут пофигу на этот же флаг. А иногда надо еще из вот этой таблицы дополнительно селектить хитрым образом, должна только одна строчка найтись.

Я ж уже писал.
Если бы так дома строили так, как сейчас софт пишется, все бы даже не дятел в окно залетевший развалил, а муха просто, не туда севшая.
Зато быстро, чё.

 

[Boris]

когда логинишься через фб и делаешь заказ, то данные тянутся из фб профиля.

так а чего не слать лесом, если данные не те?
Типа главная установка - Клиент (если он еще что-то купит, что не факт) важнее, чем нормальная база?
Если там не то что надо, переспросить/потребовать откорректировать не написали просто еще? Сам спросил и сам вижу еще раз твой ответ, что не в приоритете. Ну тогда и не надо жаловаться.

Вот хреново, конечно, когда приоритеты расставляют мало что понимающие люди.
Типа как "ты давай заправляйся и поехали, а тормоза свои потом проверишь и масло тоже потом поменяешь".

 

[Kittiket]

Подозреваю, что у вас такого человека как "архитектор базы" не было никогда.
Еще подозреваю, что все "писатели" книжки по скулю читали неделю, и толщиной они были пол сантиметра в лучшем случае.
И нормального круса по СУБД хотя бы в семестр не видел никто, наверно, да? Или "нонешни, не то что давеча?"
Но куда, мне, правда.. я ж отсталый пятикантроп?
Я ж слов то ваших жаргонных не понимаю даже (как вы думаете и пишите)...

Удачи вам с миграциями и остальным, особенно, вам она пригодится, если у вас и документации нет нормальной, судя по вот этому:

Я ж уже писал.
Если бы так дома строили так, как сейчас софт пишется, все бы даже не дятел в окно залетевший развалил, а муха просто, не туда севшая.
Зато быстро, чё.

Ща Борис нас неучей научит как надо
Целый отдел ДБА просто книжек по эскюэлю не читали и не знают как надо, а вот Борис конечно знает.
Я когда пишу что вы вообще не в курсе как выглядит современная разработка я вообще не шучу. И кровавый энтерпрайз он не просто так кровавый-то.