География в Python
География может стать сложной задачей для программистов, в которой трудно ориентироваться (ха, каламбур!). Но модуль geopy сделает эту задачу невероятно простой.
$ pip install geopy
Он работает путем извлечения API различных сервисов геолокации. Это позволяет вам получить полный адрес улицы, широту, долготу и даже высоту.
Есть также полезный класс, для работы с дистанциями. Он рассчитывает расстояние между двумя точками в необходимой вам единице измерения.
from geopy import GoogleV3 place = "Мавзолей Ленина, Москва" location = GoogleV3().geocode(place) # обрабатываем местоположение через API Google print(location.address) # получаем полный адрес print(location.location) # получаем полные координаты
Геокодирование с использованием Geopandas
Каждую точку на Земле можно определить по ее координатам, т.е. по широте и долготе. Большая часть адресов, которые мы получаем из реального мира, находится в текстовой форме, из-за чего трудно получить доступ к идеальному местоположению данного адреса на карте.
Геокодирование — это метод, при котором мы представляем строку адресов в соответствующие значения широты и долготы, что позволяет удобно находить и наносить данный адрес на карту.
Geopandas расширяет свои функциональные возможности для геокодирования с помощью GeoPy, который является дополнительной зависимостью Geopandas.
В этой статье мы будем использовать Geopandas для получения координат заданных адресов в текстовой форме.
Сервис геокодирования и Geopy
Скорее всего, вы использовали геокодер раньше, даже не осознавая, например, выполняя поиск местоположения с помощью текстового описания на картах Google. такие сервисы, как Bing Maps, Google Maps и т. д., являются популярными сервисами геокодирования.
GeoPy — это не сервис геокодирования, а просто клиент Python для нескольких популярных веб-сервисов геокодирования. Он использует сторонние геокодеры и другие источники данных для поиска геокода адреса. Геокодирование предоставляется рядом различных сервисов. Эти сервисы предоставляют API, библиотека GeoPy предоставляет реализацию этих API в одном пакете.
Вы можете получить описание всех сервисов геокодирования, включенных в GeoPy, здесь.
Geopandas использует библиотеку GeoPy для реализации геокодирования.
Реализация с помощью Geopandas
Geopandas содержит класс geocode , который предлагает функции для геокодирования.
Классу геокода требуются следующие входные аргументы:
- адрес в виде строки Python.
- Поставщик геокодирования, который мы собираемся использовать.
Однако услуги геокодирования либо платные, либо бесплатные, поэтому перед выбором услуги ознакомьтесь с их условиями использования, квотами, ценами, базой геоданных и т.д. мы будем использовать геокодер Nominatim, так как он не требует использования ключа API.
1. Использование класса geocode
#import requires modules from geopandas.tools import geocode #address we need to locate loc = 'Machu Picchu' #finding the location location = geocode(loc, provider="nominatim" , user_agent = 'my_request') location
Доступ к значениям широты и долготы:
#import requires modules from geopandas.tools import geocode #address we need to locate loc = 'Machu Picchu' #finding the location location = geocode(loc, provider="nominatim" , user_agent = 'my_request') point = location.geometry.iloc[0] print('Name: '+ loc ) print('complete address: '+ location.address.iloc[0]) print('longitude: <> '.format(point.x)) print('latitude: <> '.format(point.y))
# Make sure you run the above code first to plot the results mapit = folium.Map( location=[0, 0], zoom_start=1 ) for lat , lon in zip(df.latitude , df.longitude): folium.Marker( location=[ lat,lon ], fill_color='#43d9de', radius=8 ).add_to( mapit ) mapit
if all(x):
print(«Ни одного False»)
if any(x) and not all(x):
print(«Как минимум один True и один False»)[/python]
bashplotlib
Хотите строить графики в консоли?
$ pip install bashplotlib
Стройте на здоровье.
collections
В Python есть классные встроенные типы данных, но порой они ведут себя не совсем так, как хотелось бы.
К счастью, во встроенной библиотеке Python есть модуль collections с удобными дополнительными типами данных:
[python]from collections import OrderedDict, Counter
# Запоминает порядок добавления ключей
x = OrderedDict(a=1, b=2, c=3)
# Считает частоту каждого символа
y = Counter(«Hello World!»)[/python]
dir
Когда-нибудь задумывались о том, как заглянуть внутрь объекта в Python и посмотреть на его атрибуты? Конечно, задумывались.
Используем командную строку:
[python]>>> dir()
>>> dir(«Hello World»)
>>> dir(dir)[/python]
Это может пригодиться при интерактивной сессии в Python, а также для динамического изучения объектов и модулей, с которыми вы работаете.
emoji
$ pip install emoji
И не делайте вид, что не хотите попробовать:
[python]from emoji import emojize
from __future__ import
Одним из последствий популярности Python является то, что постоянно разрабатываются и выходят новые версии. Новые версии — новые возможности, но только не для вас, если вы пользуетесь устаревшей.
Впрочем, не всё так плохо. Модуль __future__ даёт возможность импортировать функциональность будущих версий Python. Это прямо как путешествие во времени, или магия:
[python]from __future__ import print_function
geopy
Программистам может быть сложно ориентироваться в географии. Однако модуль geopyвсё упрощает:
$ pip install geopy
Он работает путём абстрагирования API разных сервисов геокодирования. Этот модуль даёт возможность узнать полный адрес места, его долготу и широту и даже высоту.
Также в нём есть полезный класс Distance . Он высчитывает расстояние между двумя местами в удобной единице измерения.
[python]from geopy import GoogleV3
place = «221b Baker Street, London»
location = GoogleV3().geocode(place)
howdoi
Зависли над какой-то проблемой и не можете вспомнить её решение? Нужно зайти на StackOverflow, но не хочется покидать терминал?
Тогда вам не обойтись без этого инструмента командной строки:
$ pip install howdoi
Задайте любой вопрос, и он постарается найти ответ на него:
[python]$ howdoi vertical align css
$ howdoi for loop in java
$ howdoi undo commits in git[/python]
Но будьте осторожны: он извлекает код из топовых ответов на StackOverflow и не всегда даёт полезную информацию:
$ howdoi exit vim
inspect
Модуль inspect пригодится для понимания того, что происходит за кулисами в Python. Вы даже можете вызывать его методы на них самих!
Ниже используется метод inspect.getsource() для вывода его собственного исходного кода. Также используется метод inspect.getmodule() для вывода модуля, в котором его определили.
Последняя команда выводит номер строки, на которой она сама находится:
print(inspect.getsource(inspect.getsource))
print(inspect.getmodule(inspect.getmodule))
print(inspect.currentframe().f_lineno)[/python]
Конечно, кроме таких банальных применений этот модуль может оказаться полезным для понимания того, что делает ваш код. Также вы можете использовать его, чтобы писать самодокументированный код.
Jedi
Библиотека Jedi предназначена для автодополнения и анализа кода. Она ускоряет процесс написания кода и делает его более продуктивным.
Если вы не разрабатываете свою IDE, то вам, наверное, будет более интересно использовать Jedi в качестве расширения редактора. К счастью, уже есть много вариантов.
Возможно, вы уже встречались с Jedi — IPython использует эту библиотеку для автодополнения.
**kwargs
Когда изучаешь любой язык, на пути встречается множество краеугольных камней. В случае с Python понимание таинственного синтаксиса **kwargs можно считать одним из них.
Две звёздочки впереди объекта словаря дают возможность передавать в функцию содержимое этого словаря как именованные аргументы.
Ключи словаря — это имена аргументов, а значения передаются в функцию. Вам даже не обязательно называть его kwargs :
def some_function(a, b):
print(a + b)
return
# оба варианта делают одно и то же:
some_function(**dictionary)
some_function(a=1, b=2)[/python]
Это полезно в тех случаях, когда ваши функции должны обрабатывать именованные аргументы, не определённые заранее.
Прим.перев. Также это может пригодиться при написании функций-обёрток, которые передают все аргументы другой функции.
Генераторы списков
Ещё одна классная особенность Python, дающая возможность быстро создавать списки. Такие выражения позволяют легко писать чистый код, который читается почти как естественный язык:
[python]numbers = [1, 2, 3, 4, 5, 6, 7]
evens = [x for x in numbers if x % 2 == 0]
odds = [y for y in numbers if y not in evens]
cities = [‘Лондон’, ‘Москва’, ‘Берлин’]
def visit(city):
print(«Добро пожаловать в», city)
for city in cities:
visit(city)[/python]
map
У Python есть хорошая встроенная поддержка функционального программирования. Одной из самых полезных возможностей является функция map() , особенно в сочетании с лямбда-функциями:
[python]x = [1, 2, 3]
y = map(lambda x: x + 1 , x)
# выводит [2, 3, 4]
print(list(y))[/python]
Здесь map() применяет простую лямбда-функцию на каждом элементе x и возвращает объект map , который можно преобразовать в какой-нибудь итерируемый объект вроде списка или кортежа.
newspaper3k
Если вы ещё с ним не встречались, то приготовьтесь к тому, что модуль newspaperснесёт вам крышу.
Он даёт возможность извлекать статьи и связанные мета-данные из множества разных источников. Можно извлечь изображения, текст и имена авторов.
В нём даже есть встроенная NLP-функциональность.
Поэтому, если вы собирались использовать BeautifulSoup или другую библиотеку для вебскрапинга в своём следующем проекте, лучше сэкономьте своё время и силы и установите newspaper:
$ pip install newspaper3k
Перегрузка операторов
В Python есть поддержка перегрузки операторов — одной из тех штук, о которых говорят все настоящие computer-scientis’ы.
На самом деле идея проста. Когда-нибудь задумывались, почему Python позволяет использовать оператор + как для сложения чисел, так и для конкатенации строк? За этим как раз и стоит перегрузка операторов.
Вы можете определять объекты, которые используют стандартные символы операторов любым образом. Это позволяет применять их в контексте объектов, с которыми вы работаете:
[python]class Thing:
def __init__(self, value):
self.__value = value
# Переопределяем оператор >
def __gt__(self, other):
return self.__value > other.__value
# Error
something + nothing[/python]
pprint
Стандартная функция Python print() делает своё дело. Но если попытаться вывести какой-нибудь большой вложенный объект, результат будет выглядеть не очень приятно.
Здесь на помощь приходит модуль из стандартной библиотеки pprint (pretty print). С его помощью можно выводить объекты со сложной структурой в читабельном виде.
Мастхэв для любого Python-разработчика, работающего с нестандартными структурами данных:
[python]import requests
import pprint
url = ‘https://randomuser.me/api/?results=1’
users = requests.get(url).json()
Queue
Python поддерживает многопоточность, в использовании которой помогает стандартный модуль Queue.
Он позволяет реализовывать такую структуру данных, как очередь. Очереди позволяют добавлять и извлекать элементы согласно определённому правилу.
Очереди «первым пришёл — первым ушёл» («first in, first out», FIFO) позволяют извлекать объекты в порядке их добавления. Из очередей «последним пришёл — первым ушёл» («last in, first out», LIFO) можно извлекать последние добавленные объекты.
Наконец, приоритетные очереди позволяют извлекать объекты согласно порядку их сортировки.
Здесь можно посмотреть на пример использования очередей в многопоточном программировании на Python.
__repr__
При определении класса или объекта полезно добавлять «официальный» способ представления объекта строкой. Например:
Это сильно упрощает отладку. Вот всё, что вам нужно сделать:
[python]class SomeClass:
def __repr__(self):
return «»
Прим.перев. Метод __repr__() позволяет определять строковое представление, предназначенное для программиста и удобное при использовании во время отладки, а метод __str__() позволяет определять понятное пользователю строковое представление, которое можно отображать в интерфейсе программы.
sh
Python — отличный скриптовый язык. Но иногда стандартные библиотеки os и subprocess вызывают только головную боль.
Библиотека sh может стать приятной альтернативой.
Она позволяет вызывать любую программу как обычную функцию, что полезно для автоматизации различных задач исключительно с помощью Python:
sh.pwd()
sh.mkdir(‘new_folder’)
sh.touch(‘new_file.txt’)
sh.whoami()
sh.echo(‘This is great!’)[/python]
Прим.перев. Библиотека sh поддерживает только платформы Linux и macOS; для работы на Windows вам придётся поискать другой инструмент.
Аннотации типов
Python — динамически типизированный язык. Вам не нужно указывать тип данных при определении переменных, функций, классов и т.д.
Это позволяет ускорить процесс разработки. Однако мало что раздражает так сильно, как ошибка времени выполнения, возникшая из-за простого несовпадения типа.
С версии Python 3.5 при определении функции можно добавлять аннотации типов:
[python]def add_two(x: Int) -> Int:
return x + 2[/python]
Можно даже определять псевдонимы типов:
[python]from typing import List
Vector = List[float]
Matrix = List[Vector]
def add_matrix(a: Matrix, b: Matrix) -> Matrix:
result = []
for i, row in enumerate(a):
result_row = []
for j, col in enumerate(row):
result_row += [a[i][j] + b[i][j]]
result += [result_row]
return result
x = [[1.0, 0.0], [0.0, 1.0]]
y = [[2.0, 1.0], [0.0, -2.0]]
z = add_matrix(x, y)[/python]
Хотя их использование опционально, с помощью аннотаций типов код можно сделать более понятным.
Также они позволяют использовать инструменты для проверки типов, чтобы отлавливать ошибки TypeError.
uuid
Стандартный модуль uuid — быстрый и простой способ сгенерировать UUID (universally unique identifier, глобально уникальный идентификатор).
user_id = uuid.uuid4()
print(user_id)[/python]
Так мы создаём случайное 128-битное число, которое почти наверняка будет уникальным.
Существует более 2¹²² возможных UUID. Это более 5 ундециллионов или 5,000,000,000,000,000,000,000,000,000,000,000,000.
Вероятность нахождения дубликатов в заданном наборе крайне мала. Даже при наличии триллиона UUID вероятность того, что среди них есть дубликат, гораздо меньше, чем один к миллиарду.
Вполне недурно для двух строк кода.
Виртуальные среды
Часто Python-программисты работают над несколькими проектами одновременно. К сожалению, порой два проекта зависят от разных версий одной зависимости. Какую же установить?
К счастью, в Python есть поддержка виртуальных сред, которые позволяют взять лучшее от двух миров. В командной строке нужно ввести:
[python]$ python3 -m venv my-project
$ source my-project/bin/activate
$ pip install all-the-modules [/python]
Теперь вы можете иметь разные независимые версии Python на одной машине.
wikipedia
У Wikipedia есть классное API, которое позволяет получить доступ к непревзойдённому источнику полностью бесплатной информации.
Модуль wikipedia делает доступ к этому API чуть ли чрезмерно удобным:
result = wikipedia.page(‘freeCodeCamp’)
print(result.summary)
for link in result.links:
print(link)[/python]
Как и настоящий сайт, модуль предоставляет поддержку многих языков, разрешение многозначности страниц, получение случайной страницы и даже метод donate() .
xkcd
Юмор — ключевая особенность Python. В конце концов, язык был назван в честь британского комедийного шоу «Летающий цирк Монти Пайтона». Во многих местах официальной документации можно найти отсылки к самым известным эпизодам шоу.
Конечно, чувство юмора не заканчивается на документации. Попробуйте ввести следующую строку:
Оставайся собой, Python. Оставайся собой.
YAML
YAML означает «YAML — не язык разметки» («YAML Ain’t Markup Language»). Это язык форматирования данных, являющийся надмножеством JSON.
В отличие от JSON, YAML может хранить более сложные объекты и ссылаться на собственные элементы. Также там можно писать комментарии, что делает YAML подходящим для конфигурационных файлов.
Модуль PyYAML позволяет использовать YAML в Python. Установить можно так:
$ pip install pyyaml
А затем импортировать:
PyYAML позволяет хранить любые Python-объекты и экземпляры любых пользовательских классов.
zip
Напоследок ещё одна клёвая штука. Когда-нибудь возникала необходимость создать словарь из двух списков?
[python]keys = [‘a’, ‘b’, ‘c’]
vals = [1, 2, 3]
zipped = dict(zip(keys, vals))[/python]
Встроенная функция zip() принимает несколько итерируемых объектов и возвращает последовательность кортежей. Каждый кортеж группирует элементы объектов по их индексу.
Можно провести операцию, обратную zip() , с помощью zip(*) .
А какие приёмы или полезные библиотеки знаете вы? Делитесь в комментариях.
Как определить координаты места по его адресу в Python?


Привет всем! Этот пост является логическим продолжением вот этого поста, посвященного определению расстояния между двумя точками на карте по координатам GPS. Сегодня мы разберемся, как определить координаты места по его адресу в Python.
На помощь (в который раз!) приходят библиотеки. Сегодня — библиотека geopy. Работает она с помощью ряда публично-доступных API, среди которых имеются OpenStreetMap Nominatim и Google Geocoding API, благодаря чему вы можете искать GPS-координаты по адресу или названию интересующешго вас места. Больше того! С помощью этой библиотеки вы можете определить дистанцию между двумя интересующими вас точками! А значит — никакой больше формулы Хаверсина — просто библиотека, и две строки кода. Пример — как всегда — ниже:
from geopy.geocoders import Nominatim #Подключаем библиотеку geolocator = Nominatim(user_agent="Tester") #Указываем название приложения (так нужно, да) adress = str(input('Введите адрес: \n')) #Получаем интересующий нас адрес location = geolocator.geocode(adress) #Создаем переменную, которая состоит из нужного нам адреса print(location) #Выводим результат: адрес в полном виде print(location.latitude, location.longitude) #И теперь выводим GPS-координаты нужного нам адреса
А теперь давайте определим дистанцию между двумя интересующими нас точками:
from geopy.geocoders import Nominatim #Подключаем библиотеку from geopy.distance import geodesic #И дополнения geolocator = Nominatim(user_agent="Tester") #Указываем название приложения address_1 = str(input('Введите город 1: \n')) #Получаем название первого города address_2 = str(input('Введите город 2: \n')) #Получаем название второго города location_1 = geolocator.geocode(address_1) #Получаем полное название первого города location_2 = geolocator.geocode(address_2) #Получаем полное название второго города print('Город 1: ', location_1) #Выводим первичные данные print('Город 2: ', location_2) #Выводим первичные данные print('Координаты города 1: ', location_1.latitude, location_1.longitude) #Выводим координаты первого города gps_point_1 = location_1.latitude, location_1.longitude #Выводим координаты первого города gps_point_2 = location_2.latitude, location_2.longitude #Выводим координаты второго города print('Координаты города 2: ', location_2.latitude, location_2.longitude) #Выводим общие данные print('Дистанция между городом', location_1, 'и городом ', location_2, ': ', geodesic(gps_point_1, gps_point_2).kilometers, ' километров') #Выводим полученный результат в километрах
Блин, все реально очень просто, я просто в восторге.
Как всегда — в случае возникновения вопросов пишите на почту, или в Телеграм.