Работа с большими наборами данных в Python может быть настоящим испытанием. Часто, загружая данные с помощью Pandas, программы начинают тормозить или даже полностью зависают из-за перегрузки оперативной памяти. Однако существуют приемы, которые помогут обрабатывать данные, в несколько раз превышающие вашу доступную память.
Первый способ – обработка данных по частям. Вместо загрузки всего набора данных, вы можете обрабатывать его небольшими кусками. Например, если у вас есть 10 миллионов строк, загружайте по 100,000 строк за раз. Это значительно снижает нагрузку на оперативную память.
Также стоит помнить, что не все столбцы необходимы. Загрузив только нужные, вы можете сократить использование памяти на 94%. Преобразование типов данных также может помочь: хранение целых чисел в формате int8 вместо int64 экономит память.
Когда данные действительно огромные, имеет смысл рассмотреть Dask, который автоматически обрабатывает чанки и использует несколько ядер CPU для ускорения вычислений. В начале работы всегда можно загрузить выборку данных для быстрого анализа. Изучив эти приемы, вы сможете эффективно работать с большими наборами данных. Удачи в анализе!
Автор статьи – Бал Прия, разработчик и технический писатель из Индии, заинтересованный в науке о данных и программировании.
*Компания Meta Platforms Inc. признана экстремистской организацией, ее деятельность на территории России запрещена.