Качество данных для машинного обучения нужно оценить до проверки модели и закупки оборудования. Большой архив сам по себе не подтверждает готовность к внедрению ИИ. В нём могут отсутствовать нужные сведения, встречаться разные версии документов или преобладать случаи, которые редко возникают в реальной работе.

Аудит данных для ИИ помогает выяснить, какие материалы пригодны для проекта, что нужно исправить и какие ограничения учесть. Его результатом должен стать перечень конкретных действий с ответственными, а также исходные требования к хранению и обработке данных.

Определите назначение данных

Сначала уточните, как приложение будет использовать информацию. Для прогноза спроса нужны исторические наблюдения и соответствующие им результаты. Для помощника по внутренним регламентам важны действующие документы, их версии и правила доступа. Для извлечения реквизитов потребуются примеры документов и проверенные значения полей.

Эти задачи требуют разных проверок. Наличие папки с инструкциями не означает, что её содержимого достаточно для обучения модели. А история обращений без подтверждённых решений может оказаться неудобной основой для оценки ответов. Подготовку данных для машинного обучения планируют применительно к выбранному сценарию.

Соберите перечень источников

Начните с реестра систем и хранилищ, где находятся нужные материалы. Для каждого источника запишите владельца, формат, период охвата, объём и частоту обновления. Отдельно укажите способ получения данных: выгрузка, API, файловая папка или ручная передача.

На первом этапе полезно выяснить:

  • доступны ли материалы в машиночитаемом виде или требуется распознавание сканов;
  • можно ли связать записи из разных систем по устойчивым идентификаторам;
  • кто подтверждает актуальность документов и правильность значений;
  • какие ограничения действуют для использования и размещения данных.

Проверяйте не только возможность разовой выгрузки. Если данные регулярно меняются, проекту понадобится повторяемый способ обновления. Ручная сборка тестового набора может скрыть проблему, которая проявится после подключения рабочих пользователей.

Проверьте полноту и согласованность

Оценка качества датасета начинается с наблюдаемых дефектов. Укажите, в каких источниках и полях они встречаются, насколько часто и как влияют на задачу. Одинаковый пропуск может быть критичным для одного сценария и несущественным для другого.

ПроверкаСигнал проблемыЧто зафиксировать
ПолнотаОтсутствуют нужные поля или документыКаких сведений не хватает
ДубликатыПовторяются записи или версии файловПравило определения повторов
СогласованностьРазличаются форматы дат и единицыЕдиный формат и правила пересчёта
АктуальностьДействующие и старые версии смешаныПорядок выбора актуальной версии
ДостоверностьЗначения расходятся с первоисточникомИсточник подтверждения
ПригодностьМатериалы не покрывают рабочие случаиНедостающие группы примеров

Для количественных оценок указывайте дату проверки, объём проверенного набора и основание расчёта. Запись «есть пропуски» трудно превратить в задачу. Полезнее показать, в каком поле они встречаются и какая доля записей затронута. Если проверялась только выборка, это ограничение должно быть видно в отчёте.

В материалах AWS по очистке данных среди типовых проблем рассматриваются пропуски, дубликаты и структурные ошибки. Однако способ исправления нужно выбирать по смыслу данных. Пустое значение не всегда означает ноль, а повторная запись не всегда является ошибкой.

Например, две строки с одинаковым товаром могут описывать разные поставки. Их механическое объединение исказит историю. Пропуск даты завершения иногда означает, что обращение ещё открыто. До удаления или заполнения таких значений правило должен подтвердить владелец процесса.

Оцените соответствие рабочим случаям

Репрезентативность датасета показывает, насколько он отражает условия будущего использования. Если помощника проверяют только на коротких и аккуратно оформленных инструкциях, результаты мало говорят о работе с длинными документами, таблицами и противоречивыми редакциями.

Сравните состав выборки с реальным потоком. Учитывайте подразделения, типы документов, языки, периоды и редкие, но значимые ситуации. Зафиксируйте отсутствующие группы отдельно: увеличение общего числа файлов не гарантирует, что пробелы в покрытии исчезнут.

Сложные случаи собирайте вместе с предметным экспертом. Необычное значение может отражать реальную ситуацию, которую приложение обязано обрабатывать. Если убрать все исключения ради аккуратной таблицы, тестовый набор станет удобнее, но перестанет показывать часть будущих задач. Решение об исключении следует сохранять вместе с объяснением.

Если проект предполагает обучение модели, проверьте разделение данных для обучения и независимой оценки. Google в материалах о разделении датасетов отдельно разбирает проблему дубликатов между выборками. Такие совпадения могут создать слишком благоприятное впечатление о качестве на новых данных.

Согласуйте план исправлений

По итогам аудита разделите находки по влиянию на запуск. Критические проблемы блокируют выбранный сценарий: например, отсутствует источник правильных ответов или невозможно получить разрешённый доступ к документам. Остальные доработки можно планировать поэтапно, если их последствия понятны владельцу процесса.

Для каждой проблемы зафиксируйте:

  • Источник, затронутые материалы и примеры обнаруженного дефекта.
  • Правило исправления и сотрудника, который подтвердит корректность результата.
  • Ответственного за выполнение, срок и способ повторной проверки.
  • Влияние на первый запуск и ограничения использования до исправления.

Сохраните исходную версию данных и описание преобразований. Это позволит разобраться, почему изменились результаты, и повторить подготовку при новом обновлении. Для документов также важно установить порядок вывода устаревших версий из рабочего набора.

Используйте результаты для расчёта инфраструктуры

После первичного отбора становится понятнее объём полезных данных, доля сканов, частота обновлений и необходимость промежуточной обработки. Эти сведения нужны для расчёта серверных ресурсов. Хранить только итоговый набор обычно недостаточно: могут понадобиться исходники, обработанные версии и резервные копии.

Требования к хранению и резервному копированию данных стоит согласовать до выбора оборудования. Уточните сроки хранения версий, ожидаемый прирост и порядок восстановления. Скорость загрузки и обработки оценивайте на характерных материалах, а не только по общему размеру архива.

Для локального ИИ объём архива сам по себе не определяет требуемую конфигурацию GPU. Конфигурация зависит от выбранной модели, режима работы и нагрузки. Данные аудита помогают поставить измеримую задачу для сайзинга, не заменяя проверку программного решения.

Результаты аудита дают исходные требования к проектированию инфраструктуры для машинного обучения и ИИ. Miridium подбирает и поставляет серверы и системы хранения под согласованную задачу. Перед обсуждением конфигурации подготовьте реестр источников, объём отобранных материалов и перечень преобразований, которые предстоит выполнять.