https://parquet.apache.org/ — это столбчатый формат данных, который приобрел большую популярность и не без причины. Самым большим преимуществом является проекция pushdown: читать только те столбцы, которые нужны вашему запросу. Другим преимуществом является лучшее сжатие: данные в столбце одного типа и, следовательно, сжимаются намного лучше, например Дельта-кодирование очень эффективно для целочисленных столбцов. Другим важным преимуществом является предикатный pushdown, который немного сложнее получить в полной мере, и это тема этого поста.

Предикат — это в основном условие в запросе, например пункт where здесь:

ВЫБРАТЬ * ИЗ ПОКУПАТЕЛЕЙ, ГДЕ Страна = «Мексика» ;

Грубым методом применения предиката было бы прочитать все строки данных и отфильтровать те, которые не соответствуют условию. Это может быть крайне неэффективно: представьте, что в приведенном выше запросе, если бы только 1% клиентов были из Мексики, запрос все равно прочитал бы 100% данных, только чтобы отбросить большую их часть. Мы могли бы оптимизировать это, если бы у нас были некоторые метаданные.Это именно то, что делает Паркет, как мы вскоре изучим. Понижение уровня предиката означает, что механизм запросов может перенести условие прямо в уровень хранения и, таким образом, уменьшить объем читаемых данных.

Predicate pushdown более эффективен в двух отношениях. Чтение данных имеет много затрат: считывание с диска, распаковка, сетевой ввод-вывод и десериализация являются основными. Избегая чтения целых кусков данных, все они избегаются. Даже когда Паркет должен прочитать фрагменты, фильтрация, выполненная на слое Паркет, часто более эффективна, в моих экспериментах я обнаружил, что она на 10% эффективнее, чем та же фильтрация, что и в Scalding, YMMV.Но эта вторая оптимизация ничтожна по сравнению с возможностью вообще избежать чтения данных.

Функция сжатия предикатов Parquet работает с использованием метаданных, хранящихся в блоках данных, называемых RowGroups. например для целочисленного столбца эти данные могут быть максимальным и минимальным значением этого столбца в этой RowGroup. Для строкового столбца это может быть словарь, в котором перечислены все различные значения. Группы Row обычно выбираются достаточно большими, чтобы избежать затрат на случайный ввод-вывод, обычно более 64 Мб. Для большинства наборов данных это означает сотни тысяч строк.С таким количеством строк вы можете получить огромный диапазон, если данные не были организованы, и, таким образом, сделать нажатие неэффективным.

Давайте рассмотрим пример. Представьте себе таблицу клиентов, в которой одним из столбцов является Страна, и у нас тот же запрос, что и раньше:

ВЫБРАТЬ * ОТ ПОКУПАТЕЛЕЙ, ГДЕ Страна = «Мексика» ;

Допустим, у нас есть словарь на уровне RowGroup, в котором мы можем проверить, есть ли какая-либо строка в RowGroup, где Country — «Мексика». Если ответ «нет», мы можем пропустить чтение этой группы Row.Это может быть большой победой.

Допустим, что каждая группа RowGroup имеет в среднем 100 тыс. Строк, и, скажем, только 1% пользователей из Мексики. Теперь, если данные не были организованы, тогда вероятность нахождения RowGroup, где нет ни одной строки в Мексике, действительно мала. Давайте попробуем посчитать это.

Существует 99 из 100 шансов, что в строке нет Мексики. Это кажется хорошим, но мы должны умножить это на себя 100к раз, чтобы получить вероятность того, что ни одна из строк не будет Мексикой, т.е. (99/100) ¹⁰⁰⁰⁰⁰.Это выходит на 2.4e-32. Это действительно очень маленькое число.

Так что на практике вы вряд ли когда-либо будете избегать чтения RowGroup. Но представьте, что данные отсортированы по странам, в этом случае вы можете избежать до 99% групп Row.

Короче говоря, это зависит от шаблона запроса. Вы можете сортировать только по одному столбцу, поэтому лучше делайте это по столбцу, по которому вы будете фильтровать чаще всего. Если вы знаете, что это замечательно, но если вы этого не сделаете, то одной из идей является использование вашей системы запросов для записи статистики.Другая идея состоит в том, чтобы вести учет всех запросов, которые выполняются в журнале, а затем анализировать запросы, чтобы понять, какой столбец фильтруется чаще всего.

Хотя возможность оптимизации фильтрации только для одного столбца кажется ограничивающей, зачастую это гораздо лучше, чем вообще не организовывать данные. Конечно, накладные расходы на сортировку не бесплатны. Есть несколько вещей в пользу сортировки. Одним из них является то, что данные часто читаются намного больше, чем записываются. Другой заключается в том, что отсортированные данные обычно сжимаются намного лучше и поэтому занимают меньше места.Сортированные данные также могут помочь с объединениями сортировки-слияния, которые заслуживают совершенно другого поста.

Хранение отсортированных данных имеет множество преимуществ, и для получения выгоды от Push-Predicate Parquet это важно. Сортировка должна быть важным фактором в вашей архитектуре данных.

Запись и чтение файлов паркета в Spark / Scala

На этой странице я собираюсь продемонстрировать, как писать и читать файлы паркета в Spark / Scala с помощью класса Spark SQLContext.

Справочник

Что такое формат паркета?

Посетите следующий сайт проекта, чтобы узнать больше о паркете.

https://parquet.apache.org/

Предварительные условия

Spark

Если вы не установили Spark, перейдите по этой странице для настройки:

Установите инструменты больших данных (Spark, Zeppelin, Hadoop) в Windows для обучения и практика

Hadoop (необязательно)

В этом примере я собираюсь читать файлы CSV в HDFS.Вы можете настроить свой локальный экземпляр Hadoop по той же ссылке выше.

Кроме того, вы можете изменить путь к файлу на локальный файл.

IntelliJ IDEA

Я использую IntelliJ для написания скрипта Scala. Вы также можете использовать оболочку Scala для тестирования вместо IDE. Scala SDK также требуется. В моем случае я использую Scala SDK, распространяемый как часть моего Spark.

JDK

JDK требуется для запуска Scala в JVM.

Чтение и запись файлов паркета

В этом примере я использую объект Spark SQLContext для чтения и записи файлов паркета.

Код

 import org.apache.spark. {SparkConf, SparkContext} 
 import org.apache.spark.sql. {DataFrame, SQLContext} 
 объект ParquetTest {
 def main (args: Array [String]) = {
 // Два потока локальных [2] 
 val conf: SparkConf = new SparkConf (). SetMaster ("local [2]"). SetAppName ("ParquetTest") 
 val sc: SparkContext = новый SparkContext (conf) 
 val sqlContext: SQLContext = новый SQLContext (sc) 
 writeParquet (sc, sqlContext) 
 readParquet (sqlContext) 
} 
 def writeParquet (sc: SparkContext, sqlContext: SQLContext) = {
 // Считать файл как RDD 
 val rxt. Sql = sql = sql = sql = sqlread.format ("csv"). option ("header", "true") .load ("hdfs: //0.0.0.0: 19000 / Sales.csv") 
 // Преобразовать rdd в фрейм данных с помощью toDF; следующий импорт требуется для использования функции toDF. 
 val df: DataFrame = rdd.toDF () 
 // Записать файл в паркет 
 df.write.parquet ("Sales.parquet") 
} 
 def readParquet (sqlContext: SQLContext) = {
 // прочитать паркет обратно в DF 
 val newDataDF = sqlContext.read.parquet ("Sales.parquet") 
 // показать содержимое 
 newDataDF.show () 
} 
} 

Перед запуском кода

Убедитесь, что у проекта IntelliJ есть все необходимые SDK и настройка библиотек.В моем случае

• JDK использует 1.8 JDK, установленный на моем диске C.
• Scala SDK: версия 2.11.8 как часть моей установки Spark (spark-2.2.1-bin-hadoop2.7)
• Jars: все библиотеки в моей папке Spark jar (для библиотек Spark, используемых в примере кода).

Запустите код в IntelliJ

Ниже приведен скриншот для вывода:

Что было создано?

В примере кода локальная папка Sales.Создан паркет :

Запуск кода в Zeppelin

Вы также можете запустить этот код в Zeppelin. Если у вас нет экземпляра Zeppelin для игры, вы можете перейти по той же ссылке в разделе «Предварительные условия» для настройки.

Как удалить паркет

У нас в гостиной была плитка для паркета. И паркет может быть отличным, но этот материал выглядел немного изношенным и грустным. Когда мы решили сделать древесину на первом этаже, мы никак не могли покинуть паркет. Было бы легко и относительно недорого просто продолжать работать с твердой древесиной. Кроме того, я всегда говорил, что на одном уровне не должно быть более двух разных видов напольных покрытий.Это просто слишком сильно разбивает пространство и разрушает любой поток из одной комнаты в другую. Плюс переходы довольно уродливы в целом.

* Обязательно надевайте защитные очки при выполнении любого проекта, подобного этому

Что такое паркет?

Плитка для паркета представляет собой небольшие деревянные планки, соединенные вместе и склеенные в разных направлениях. На самом деле это просто «деревянная плитка».

Правильные инструменты

Итак, первый шаг — пойти в хозяйственный магазин и взять напрокат машину, которая называется компактным устройством для зачистки пола, которая сделает вашу жизнь намного проще.Эта машина обычно используется для очистки виниловых плиток или линолеума от пола, но в описании упоминается, что это будет работать и для паркета. Это не машина для удаления керамической плитки, которая действительно тяжелая и жестокая. У него не так много энергии, так что вам все равно придется проделать большую работу, но это не то же самое, что снимать пол вручную.

Во-вторых, вы можете положить немного пленки на отверстия в комнате, чтобы не допустить попадания пыли. Я сделал довольно дерьмовую работу по съемке этой комнаты, но мне было все равно, я просто хотел минимизировать пыль.Лента моего художника была очень плохого качества, поэтому я пошел и взял кое-что получше для следующего раза, когда захочу отделить комнату. Эта машина выбрасывала изрядное количество пыли, потому что раскалывала дерево и растрескивала клей на полу. Я не хотел бы, чтобы это плавало вокруг дома, поэтому я закрыл комнату.

Обязательно надевайте средства защиты органов слуха и дыхания при работе над практически любым подобным проектом. У меня есть респиратор, и я носил затычки для ушей. Машина довольно громкая и всегда пыль.Защита глаз также хорошая идея.

Вы должны наклониться довольно низко, чтобы использовать эту машину, чтобы работа была действительно тяжелой. Удар по лезвию к краю настила, казалось, работал лучше всего, и при использовании некоторого импульса, когда вы шли вперед, получалось что-то вроде шести плиток подряд. Удар по ним под углом тоже хорошо работает, и вы можете таким образом снять целый ряд из нескольких плиток.

Инструмент для зачистки пола, позволяющий быстро удалить паркетный пол.

были допущены ошибки

У вас могут получиться куски плитки, которые вы пропустили, снимая с машиной.Вы можете использовать комбинированный скребок и молоток, чтобы отодрать их. Не используйте что-нибудь слишком острое, иначе вы, вероятно, выбиваете пол, просто довольно жесткий шпатель будет работать хорошо, я думаю. Я использовал инструмент 5-в-1 (подойдет жесткий шпатель с острым лезвием), и он работал отлично.

Получить правильный угол не так уж и легко. Вы можете зайти слишком глубоко и выбить свой пол, или вы можете быть слишком мелким. Лучше быть немного слишком мелким, так как вы всегда можете снять плитку позже.Это требует немного изящества, но вы не хотите копаться в своей фанере. Это может быть проблемой для вас позже.

Вот что происходит, когда вы делаете угол машины слишком малым. Пандус вам придется соскрести позже.

Тяжелый труд окупается

В общем, я арендовал машину на 4 часа и выполнил работу примерно за 70 долларов. Я сделал несколько перерывов, чтобы вытянуть спину, потому что я все время сгибался. Эта машина совсем не эргономична, и угол наклона трудно определить, если вы не согнетесь слишком низко.Вам действительно нужно приложить много усилий, чтобы запустить плитки, но я уверен, что эта машина сделала эту работу буквально в десять раз быстрее.

Я надеюсь, что это поможет всем, кто хочет снять паркетный пол с фанерного пола. Я видел видео людей, которые делают это вручную с длинным скребком, как этот. Честно говоря, это может сработать, если клей не такой прочный, но в моем случае я не могу себе представить, что это было бы легко. Машина была подходящей для моей конкретной ситуации.

от + Alan F Macdonald REALTOR® | Copyright © — Дай мне приют.ком

[40010]