Data structures in Python, Series 2: Stacks/Queues
In this “Data structures in Python” series, I’ll go over the 6 major data structures that will come up in any kind of software engineer job/internship interviews. They are linked lists, stacks/queues, hashes, heaps and trees.
I covered linked lists in the last post. Today, I’ll cover stacks and queues. You can find the source code for the coding challenges below here. Let’s get started.
What are stacks?
A stack is a data structure with two main operations: push and pop.
Push: append an element on top of the stack
Pop: remove an element from the top of the stack
Think of a tray holder in a dining hall as a real world example of what a stack is. You can take out one tray from the top of the holder, and you can put a different one on top of the holder. The interesting fact with a stack is that you can only operate on the data on top of it.
For this reason, stacks are referred to as a LIFO or a FILO data structure.
LIFO = Last in First out
FILO = First in Last out
The two terms points to the same characteristic of the stack: if you push an element to the stack, you can remove it only if you remove the other elements that are added to the stack after itself (think about removing the element 1 from the stack).
When are stacks useful?
Stacks are useful in two ways:
- Tracing back to access previous elements/operations
For example, undo operations in editors are like popping a code change that was just pushed in the stack of edit history. Similarly, back operations in browsers are like popping a site visit that was just pushed in the stack of browser history.
2. Matching recursive elements/operations
For example, a stack comes in handy when checking if an operation “(5 + 6) + ((7 * 9) + 9) + 10)” is a valid syntax (see sample problem 3 for details). Another use case is to keep track of recursions in a code. Each call to the recursive function is pushed onto the stack so that it can be executed once lower recursions are done with their execution.
17. Стеки¶
Типы данных, с которыми мы встречались до сих пор, конкретные, в том смысле, что они имеют завершенную реализацию. Например, класс Card представляет игральную карту с помощью двух целых чисел. Как мы обсуждали ранее, это не единственный способ представления игральной карты, могут быть альтернативные реализации.
Абстрактный тип данных определяет набор операций (или методов) и семантику операций (что эти операции делают), но не предоставляет реализацию операций. Это и делает его абстрактным.
- Возможность описать необходимые операции, не думая при этом об их реализации, упрощает разработку алгоритмов.
- Обычно существует много способов реализовать абстрактный тип данных, и алгоритм, использующий абстрактный тип данных, сможет работать с любой из его реализаций.
- Широко известные абстрактные типы данных, такие как стек, часто реализуются в стандартных библиотеках; один раз написанные, они используются многими программистами.
- Операции над абстрактными типами данных представляют собой общепринятый высокоуровневый язык, на котором удобно говорить об алгоритмах.
Когда говорят об абстрактных типах данных, код, который их использует, часто называют клиентом, а код, их реализующий, — провайдером.
17.2. Абстрактный стек¶
Рассмотрим широко известный абстрактный тип данных cтек. Стек является коллекцией в том смысле, что эта структура данных содержит многочисленные элементы. Другие коллекции, с которыми мы встречались, это словари и списки.
Абстрактный тип данных определяется операциями, которые можно выполнять над ним, или, другими словами, интерфейсом. Интерфейс стека включает следующие операции:
__init__ Инициализировать новый пустой стек. push Добавить новый элемент к стеку. pop Удалить и вернуть элемент из стека. Удаляемый и возвращаемый элемент — всегда последний добавленный в стек элемент. is_empty Проверить, пуст ли стек.
Стек иногда называют структурой данных last in, first out (англ.: последним вошел, первым вышел), или LIFO, потому, что последний добавленный в стек элемент всегда извлекается первым.
17.3. Реализация стека с помощью списка¶
Операции над списком, которые предоставляет Python, похожи на операции из интерфейса стека. Напишем код, который реализует операции над стеком с помощью операций над списком.
Этот код будет реализацией абстрактного типа данных стек. Вообще, реализация есть набор методов, которые синтаксически и семантически удовлетворяют требованиям интерфейса.
Вот реализация стека, использующая список Python:
Класс Stack содержит атрибут items , список Python, содержащий элементы стека. Инициализирующий метод присваивает переменной items пустой список.
Чтобы поместить новый элемент в стек, push добавляет его в конец списка items . Чтобы извлечь элемент из стека, pop использует одноименный метод списка, удаляющий и возвращающий последний элемент списка.
И, наконец, чтобы проверить, пуст ли стек, is_empty сравнивает items с пустым списком.
Подобную реализацию, где методы состоят из вызова других существующих методов, иногда называют фасадом. Программисты используют эту метафору, чтобы описать код, скрывающий детали реализации и предоставляющий более простой, или более стандартный, интерфейс.
17.4. Помещение в стек и извлечение из стека¶
Наш стек является обобщенной структурой данных. Это значит, что мы можем поместить в него элемент любого типа. В следующем примере в стек помещаются два целых числа и строка:
С помощью is_empty и pop мы можем извлечь и вывести на печать все элементы стека:
Получаем + 45 54 . Иными словами, мы только что использовали стек, чтобы распечатать элементы в обратном порядке! Хотя это и не стандартный формат вывода списка на печать, однако, с использованием стека вывести список в обратном порядке оказалось очень просто.
Интересно сравнить этот фрагмент кода с реализацией print_backward из предыдущей главы. Существует естественная аналогия между рекурсивной версией print_backward и данным алгоритмом, использующим стек. Разница в том, что print_backward использует стек среды выполнения для размещения узлов списка, и распечатывает их на выходе из рекурсии. Наш стековый алгоритм делает то же самое, только использует объект Stack вместо стека среды выполнения.
17.5. Использование стека для постфиксных вычислений¶
В большинстве языков программирования, математические выражения записываются с операторами между операндов, например, 1 + 2 . Такая запись называется инфиксной. Альтернативной формой записи выражений является постфиксная, или обратная польская запись, в которой оператор следует за операндами: 1 2 + .
Постфиксное выражение естественным образом вычисляется с помощью стека:
- Начав слева, будем брать один терм (оператор или операнд) за один раз.
- Если терм операнд, поместим его в стек.
- Если терм оператор, извлечем два операнда из стека, выполним над ними операцию, и поместим результат в стек.
- Когда мы доберемся до конца выражения, на стеке останется ровно один операнд. Это и будет результат.
17.6. Лексический анализ¶
Для того, чтобы реализовать описанный алгоритм, необходимо пройти по строке и разбить ее на операнды и операторы. Этот процесс есть ни что иное, как лексический анализ, а его результат – отдельные части строки – называются лексемами. Возможно, вы помните эти понятия из главы 1.
Python предоставляет функции split в модулях string и re (от англ. regular expressions – регулярные выражения). Функция string.split разбивает строку на части, используя указанный символ в качестве разделителя. Например:
В данном случае разделителем является пробел, и строка разбивается по пробелам.
Более мощная функция re.split позволяет использовать в качестве разделителя регулярное выражение. Регулярное выражение – это способ описания целого множества строк, удовлетворяющих заданному условию. Например, [A-z] есть множество всех букв латинского алфавита, а [0-9] есть множество всех цифр. Оператор ^ “отрицает” множество, так что [^0-9] означает все символы, кроме цифр. Это именно то, что нам нужно для разбиения на лексемы постфиксного выражения:
Обратите внимание, что порядок аргументов re.split отличается от порядка аргументов функции string.split , здесь разделитель идет перед анализируемой строкой.
Результирующий список лексем включает операнды 123 , 456 , 8 , а также операторы + и / . Он также содержит пробел и пустую строку.
17.7. Вычисление постфиксного выражения¶
Для вычисления постфиксного выражения воспользуемся только что рассмотренным лексическим анализатором и алгоритмом из предшествующего раздела. Для простоты начнем с вычислителя, который реализует только операции + и * :
Первая из проверок отлавливает пробелы и пустые строки. Следующие два условных предложения обрабатывают операторы. Примем пока, что все прочее в строке должно быть операндом. Конечно, ошибки ввода необходимо обнаруживать и сообщать о них пользователю, но мы сделаем это немного позже.
А сейчас протестируем нашу функцию, передав ей постфиксную запись выражения (56+47)*2 :
17.8. Клиенты и провайдеры¶
Одно из главных предназначений абстрактных типов данных состоит в разделении интересов провайдера, который реализует интерфейс абстрактного типа, и клиента, который пользуется абстрактным типом.
Провайдер заботится лишь о том, чтобы реализация интерфейса была корректной, то есть, соответствовала спецификации абстрактного типа данных.
Напротив, клиент предполагает, что реализация абстрактного типа данных корректна и не заботится о ее деталях. Когда вы пользуетесь любым из встроенных типов Python, вы имеете удовольствие думать как клиент.
Конечно, если вы реализуете абстрактный тип данных, вам придется написать клиентский код для того, чтобы протестировать вашу реализацию. В этом случае, вы играете обе роли.
5. Data Structures¶
This chapter describes some things you’ve learned about already in more detail, and adds some new things as well.
5.1. More on Lists¶
The list data type has some more methods. Here are all of the methods of list objects:
Add an item to the end of the list. Equivalent to a[len(a):] = [x] .
list. extend ( iterable )
Extend the list by appending all the items from the iterable. Equivalent to a[len(a):] = iterable .
Insert an item at a given position. The first argument is the index of the element before which to insert, so a.insert(0, x) inserts at the front of the list, and a.insert(len(a), x) is equivalent to a.append(x) .
Remove the first item from the list whose value is equal to x. It raises a ValueError if there is no such item.
Remove the item at the given position in the list, and return it. If no index is specified, a.pop() removes and returns the last item in the list. (The square brackets around the i in the method signature denote that the parameter is optional, not that you should type square brackets at that position. You will see this notation frequently in the Python Library Reference.)
Remove all items from the list. Equivalent to del a[:] .
Return zero-based index in the list of the first item whose value is equal to x. Raises a ValueError if there is no such item.
The optional arguments start and end are interpreted as in the slice notation and are used to limit the search to a particular subsequence of the list. The returned index is computed relative to the beginning of the full sequence rather than the start argument.
Return the number of times x appears in the list.
list. sort ( * , key = None , reverse = False )
Sort the items of the list in place (the arguments can be used for sort customization, see sorted() for their explanation).
Reverse the elements of the list in place.
Return a shallow copy of the list. Equivalent to a[:] .
An example that uses most of the list methods:
You might have noticed that methods like insert , remove or sort that only modify the list have no return value printed – they return the default None . 1 This is a design principle for all mutable data structures in Python.
Another thing you might notice is that not all data can be sorted or compared. For instance, [None, ‘hello’, 10] doesn’t sort because integers can’t be compared to strings and None can’t be compared to other types. Also, there are some types that don’t have a defined ordering relation. For example, 3+4j < 5+7j isn’t a valid comparison.
5.1.1. Using Lists as Stacks¶
The list methods make it very easy to use a list as a stack, where the last element added is the first element retrieved (“last-in, first-out”). To add an item to the top of the stack, use append() . To retrieve an item from the top of the stack, use pop() without an explicit index. For example:
5.1.2. Using Lists as Queues¶
It is also possible to use a list as a queue, where the first element added is the first element retrieved (“first-in, first-out”); however, lists are not efficient for this purpose. While appends and pops from the end of list are fast, doing inserts or pops from the beginning of a list is slow (because all of the other elements have to be shifted by one).
To implement a queue, use collections.deque which was designed to have fast appends and pops from both ends. For example:
5.1.3. List Comprehensions¶
List comprehensions provide a concise way to create lists. Common applications are to make new lists where each element is the result of some operations applied to each member of another sequence or iterable, or to create a subsequence of those elements that satisfy a certain condition.
For example, assume we want to create a list of squares, like:
Note that this creates (or overwrites) a variable named x that still exists after the loop completes. We can calculate the list of squares without any side effects using:
which is more concise and readable.
A list comprehension consists of brackets containing an expression followed by a for clause, then zero or more for or if clauses. The result will be a new list resulting from evaluating the expression in the context of the for and if clauses which follow it. For example, this listcomp combines the elements of two lists if they are not equal:
and it’s equivalent to:
Note how the order of the for and if statements is the same in both these snippets.
If the expression is a tuple (e.g. the (x, y) in the previous example), it must be parenthesized.
List comprehensions can contain complex expressions and nested functions:
5.1.4. Nested List Comprehensions¶
The initial expression in a list comprehension can be any arbitrary expression, including another list comprehension.
Consider the following example of a 3×4 matrix implemented as a list of 3 lists of length 4:
The following list comprehension will transpose rows and columns:
As we saw in the previous section, the inner list comprehension is evaluated in the context of the for that follows it, so this example is equivalent to:
which, in turn, is the same as:
In the real world, you should prefer built-in functions to complex flow statements. The zip() function would do a great job for this use case:
See Unpacking Argument Lists for details on the asterisk in this line.
5.2. The del statement¶
There is a way to remove an item from a list given its index instead of its value: the del statement. This differs from the pop() method which returns a value. The del statement can also be used to remove slices from a list or clear the entire list (which we did earlier by assignment of an empty list to the slice). For example:
del can also be used to delete entire variables:
Referencing the name a hereafter is an error (at least until another value is assigned to it). We’ll find other uses for del later.
5.3. Tuples and Sequences¶
We saw that lists and strings have many common properties, such as indexing and slicing operations. They are two examples of sequence data types (see Sequence Types — list, tuple, range ). Since Python is an evolving language, other sequence data types may be added. There is also another standard sequence data type: the tuple.
A tuple consists of a number of values separated by commas, for instance:
As you see, on output tuples are always enclosed in parentheses, so that nested tuples are interpreted correctly; they may be input with or without surrounding parentheses, although often parentheses are necessary anyway (if the tuple is part of a larger expression). It is not possible to assign to the individual items of a tuple, however it is possible to create tuples which contain mutable objects, such as lists.
Though tuples may seem similar to lists, they are often used in different situations and for different purposes. Tuples are immutable , and usually contain a heterogeneous sequence of elements that are accessed via unpacking (see later in this section) or indexing (or even by attribute in the case of namedtuples ). Lists are mutable , and their elements are usually homogeneous and are accessed by iterating over the list.
A special problem is the construction of tuples containing 0 or 1 items: the syntax has some extra quirks to accommodate these. Empty tuples are constructed by an empty pair of parentheses; a tuple with one item is constructed by following a value with a comma (it is not sufficient to enclose a single value in parentheses). Ugly, but effective. For example:
The statement t = 12345, 54321, ‘hello!’ is an example of tuple packing: the values 12345 , 54321 and ‘hello!’ are packed together in a tuple. The reverse operation is also possible:
This is called, appropriately enough, sequence unpacking and works for any sequence on the right-hand side. Sequence unpacking requires that there are as many variables on the left side of the equals sign as there are elements in the sequence. Note that multiple assignment is really just a combination of tuple packing and sequence unpacking.
5.4. Sets¶
Python also includes a data type for sets. A set is an unordered collection with no duplicate elements. Basic uses include membership testing and eliminating duplicate entries. Set objects also support mathematical operations like union, intersection, difference, and symmetric difference.
Curly braces or the set() function can be used to create sets. Note: to create an empty set you have to use set() , not <> ; the latter creates an empty dictionary, a data structure that we discuss in the next section.
Here is a brief demonstration:
Similarly to list comprehensions , set comprehensions are also supported:
5.5. Dictionaries¶
Another useful data type built into Python is the dictionary (see Mapping Types — dict ). Dictionaries are sometimes found in other languages as “associative memories” or “associative arrays”. Unlike sequences, which are indexed by a range of numbers, dictionaries are indexed by keys, which can be any immutable type; strings and numbers can always be keys. Tuples can be used as keys if they contain only strings, numbers, or tuples; if a tuple contains any mutable object either directly or indirectly, it cannot be used as a key. You can’t use lists as keys, since lists can be modified in place using index assignments, slice assignments, or methods like append() and extend() .
It is best to think of a dictionary as a set of key: value pairs, with the requirement that the keys are unique (within one dictionary). A pair of braces creates an empty dictionary: <> . Placing a comma-separated list of key:value pairs within the braces adds initial key:value pairs to the dictionary; this is also the way dictionaries are written on output.
The main operations on a dictionary are storing a value with some key and extracting the value given the key. It is also possible to delete a key:value pair with del . If you store using a key that is already in use, the old value associated with that key is forgotten. It is an error to extract a value using a non-existent key.
Performing list(d) on a dictionary returns a list of all the keys used in the dictionary, in insertion order (if you want it sorted, just use sorted(d) instead). To check whether a single key is in the dictionary, use the in keyword.
Here is a small example using a dictionary:
The dict() constructor builds dictionaries directly from sequences of key-value pairs:
In addition, dict comprehensions can be used to create dictionaries from arbitrary key and value expressions:
When the keys are simple strings, it is sometimes easier to specify pairs using keyword arguments:
5.6. Looping Techniques¶
When looping through dictionaries, the key and corresponding value can be retrieved at the same time using the items() method.
When looping through a sequence, the position index and corresponding value can be retrieved at the same time using the enumerate() function.
To loop over two or more sequences at the same time, the entries can be paired with the zip() function.
To loop over a sequence in reverse, first specify the sequence in a forward direction and then call the reversed() function.
To loop over a sequence in sorted order, use the sorted() function which returns a new sorted list while leaving the source unaltered.
Using set() on a sequence eliminates duplicate elements. The use of sorted() in combination with set() over a sequence is an idiomatic way to loop over unique elements of the sequence in sorted order.
It is sometimes tempting to change a list while you are looping over it; however, it is often simpler and safer to create a new list instead.
5.7. More on Conditions¶
The conditions used in while and if statements can contain any operators, not just comparisons.
The comparison operators in and not in are membership tests that determine whether a value is in (or not in) a container. The operators is and is not compare whether two objects are really the same object. All comparison operators have the same priority, which is lower than that of all numerical operators.
Comparisons can be chained. For example, a < b == c tests whether a is less than b and moreover b equals c .
Comparisons may be combined using the Boolean operators and and or , and the outcome of a comparison (or of any other Boolean expression) may be negated with not . These have lower priorities than comparison operators; between them, not has the highest priority and or the lowest, so that A and not B or C is equivalent to (A and (not B)) or C . As always, parentheses can be used to express the desired composition.
The Boolean operators and and or are so-called short-circuit operators: their arguments are evaluated from left to right, and evaluation stops as soon as the outcome is determined. For example, if A and C are true but B is false, A and B and C does not evaluate the expression C . When used as a general value and not as a Boolean, the return value of a short-circuit operator is the last evaluated argument.
It is possible to assign the result of a comparison or other Boolean expression to a variable. For example,
Note that in Python, unlike C, assignment inside expressions must be done explicitly with the walrus operator := . This avoids a common class of problems encountered in C programs: typing = in an expression when == was intended.
5.8. Comparing Sequences and Other Types¶
Sequence objects typically may be compared to other objects with the same sequence type. The comparison uses lexicographical ordering: first the first two items are compared, and if they differ this determines the outcome of the comparison; if they are equal, the next two items are compared, and so on, until either sequence is exhausted. If two items to be compared are themselves sequences of the same type, the lexicographical comparison is carried out recursively. If all items of two sequences compare equal, the sequences are considered equal. If one sequence is an initial sub-sequence of the other, the shorter sequence is the smaller (lesser) one. Lexicographical ordering for strings uses the Unicode code point number to order individual characters. Some examples of comparisons between sequences of the same type:
Note that comparing objects of different types with < or > is legal provided that the objects have appropriate comparison methods. For example, mixed numeric types are compared according to their numeric value, so 0 equals 0.0, etc. Otherwise, rather than providing an arbitrary ordering, the interpreter will raise a TypeError exception.
Other languages may return the mutated object, which allows method chaining, such as d->insert("a")->remove("b")->sort(); .
Стеки и очереди в Python
Структуры данных организуют хранение в компьютерах, чтобы мы могли эффективно получать доступ к данным и изменять их. Стеки и Очереди являются одними из самых ранних структур данных, определенных в информатике.
Простые в освоении и легко реализуемые, они широко используются, и вы, скорее всего, обнаружите, что включаете их в свое программное обеспечение для различных задач.
Обычно стеки и очереди реализуются с помощью массива или Связанного списка . Мы будем полагаться на структуру данных List для размещения как стеков, так и очередей.
Как они работают?
Стеки, как следует из названия, следуют принципу Last-in-First-Out (LIFO). Как если бы мы складывали монеты одну на другую, последняя монета, которую мы кладем сверху, – это та, которая будет первой извлечена из стопки позже.
Поэтому для реализации стека нам нужны две простые операции:
- push – добавляет элемент в верхнюю часть стека:
- pop – удаляет элемент в верхней части стека:
Очередь
Очереди, как следует из названия, следуют принципу First-in-First-Out (FIFO). Как будто ожидая в очереди за билетами в кино, первый, кто встанет в очередь, первым купит билет и насладится фильмом.
Поэтому для реализации очереди нам нужны две простые операции:
- enqueue – добавляет элемент в конец очереди:
- dequeue – удаляет элемент в начале очереди:
Стеки и очереди с использованием списков
Встроенная структура данных Python List поставляется в комплекте с методами для имитации операций stack и queue .
Давайте рассмотрим стопку писем:
Мы можем использовать те же функции для реализации очереди. Функция pop опционально принимает в качестве аргумента индекс элемента, который мы хотим получить.
Таким образом, мы можем использовать pop с первым индексом списка, т. е. 0 , чтобы получить поведение, подобное очереди.
Рассмотрим “очередь” из фруктов:
Опять же, здесь мы используем операции append и pop списка для имитации основных операций очереди.
Стеки и очереди с библиотекой Deque
Python имеет библиотеку deque (произносится как “палуба”), которая предоставляет последовательность с эффективными методами для работы в виде стека или очереди.
deque сокращенно от Double Ended Queue – обобщенная очередь, которая может получить первый или последний сохраненный элемент:
Если вы хотите узнать больше о библиотеке deque и других типах коллекций, предоставляемых Python, вы можете прочитать нашу статью Введение в модуль коллекций Python .
Более строгие реализации в Python
Если вашему коду нужен стек и вы предоставляете List , то ничто не мешает программисту вызвать insert , remove или другие функции списка, которые повлияют на порядок вашего стека! Это в корне разрушает смысл определения стека, поскольку он больше не функционирует так, как должен.
Бывают случаи, когда мы хотим убедиться, что с нашими данными можно выполнять только допустимые операции.
Мы можем создавать классы, которые предоставляют только необходимые методы для каждой структуры данных.
Для этого создадим новый файл с именем stack_queue.py и определить два класса:
Программистам, использующим наши Stack и Queue , теперь рекомендуется использовать методы, предоставляемые для манипулирования данными.
Примеры
Представьте, что вы разработчик, работающий над совершенно новым текстовым процессором. Вам поручено создать функцию отмены, позволяющую пользователям отслеживать свои действия до начала сеанса.
Стек идеально подходит для этого сценария. Мы можем записывать каждое действие пользователя, помещая его в стек. Когда пользователь захочет отменить действие, он вытащит его из стека. Мы можем быстро смоделировать эту функцию следующим образом:
Очереди также широко используются в программировании. Подумайте о таких играх, как Street Fighter или Super Smash Brothers . Игроки в этих играх могут выполнять специальные движения, нажимая комбинацию кнопок. Эти комбинации кнопок можно хранить в очереди.
А теперь представьте, что вы разработчик, работающий над новым файтингом. В вашей игре каждый раз, когда нажимается кнопка, срабатывает входное событие. Тестировщик заметил, что если кнопки нажимаются слишком быстро, игра обрабатывает только первую, и специальные ходы не работают!
Вы можете исправить это с помощью очереди. Мы можем ставить в очередь все входные события по мере их поступления. Таким образом, не имеет значения, если входные события приходят с небольшим промежутком времени между ними, все они будут сохранены и доступны для обработки. Когда мы обрабатываем ходы, мы можем удалить их из очереди. Специальный ход может быть разработан так:
Вывод
Стеки и очереди-это простые структуры данных, которые позволяют нам хранить и извлекать данные последовательно. В стеке последний элемент, который мы вводим, выходит первым. В очереди первый элемент, который мы вводим, – это первый выход.
Мы можем добавлять элементы в стек с помощью операции push и извлекать элементы с помощью операции pop . С помощью очередей мы добавляем элементы с помощью операции enqueue и извлекаем элементы с помощью операции dequeue .
В Python мы можем реализовать стеки и очереди, просто используя встроенную структуру данных List . Python также имеет библиотеку deque , которая может эффективно обеспечивать операции стека и очереди в одном объекте. Наконец, мы сделали наши классы стека и очереди для более жесткого контроля наших данных.
Существует множество реальных вариантов использования стеков и очередей, понимание которых позволяет нам легко и эффективно решать многие проблемы хранения данных.