Настройка Python для машинного обучения в Windows

Перевод статьи

Оглавление

• Представляем Anaconda и Conda
• Установка дистрибутива Miniconda Python
• Понимание окружающей среды Conda
• Понимание базового управления пакетами с Conda
  • Поиск и установка пакетов
  • Обновление и удаление пакетов
  • Использование каналов
  • Использование pip в среде Conda
• Простой пример машинного обучения
• Что дальше?

В последние годы Python широко использовался для численных и научных приложений. Однако для эффективного выполнения численных вычислений Python использует внешние библиотеки, иногда реализованные на других языках, таких как библиотека NumPy , которая частично реализована с использованием языка Фортрана.

Из-за этих зависимостей иногда бывает нетрудно настроить среду для численных расчетов, связывающую все необходимые библиотеки. Людям трудно изо всех сил пытаться заставить вещи работать на семинарах, использующих Python для машинного обучения, особенно когда они используют операционную систему, в которой отсутствует система управления пакетами, например Windows.

В этой статье вы будете:

• Просмотрите подробные сведения о настройке среды Python для численных вычислений в операционной системе Windows.
• Познакомьтесь с Anaconda, дистрибутивом Python, предложенным, чтобы обойти эти проблемы установки
• Узнайте, как установить дистрибутив на компьютере Windows и использовать его инструменты для управления пакетами и средами.
• Используйте установленный стек Python для построения нейронной сети и обучите ее решению классической задачи классификации

Бесплатный бонус: нажмите здесь, чтобы получить доступ к шпаргалке Conda с удобными примерами использования для управления средой и пакетами Python.

Представляем Anaconda и Conda

С 2011 года в состав Python входит pipсистема управления пакетами, используемая для установки и управления программными пакетами, написанными на Python. Однако для численных вычислений существует несколько зависимостей, которые не написаны на Python, поэтому первые выпуски pipне могли решить проблему самостоятельно.

Чтобы обойти эту проблему, Continuum Analytics выпустила Anaconda , дистрибутив Python, ориентированный на научные приложения, и Conda , систему управления пакетами и средой, которая используется в дистрибутиве Anaconda. Стоит отметить, что более поздние версии pipмогут обрабатывать внешние зависимости с помощью колес , но с помощью Anaconda вы сможете устанавливать критически важные библиотеки для науки о данных более плавно. (Вы можете прочитать больше об этом обсуждении здесь .)

Хотя Conda тесно связана с Anaconda Python Distribution, это два разных проекта с разными целями:

• Anaconda – это полный дистрибутив программного обеспечения вэкосистеме PyData , включая сам Python, а также двоичные файлы для нескольких сторонних проектов с открытым исходным кодом. Помимо Anaconda, есть также Miniconda , минимальный дистрибутив Python, включающий в основном Conda и его зависимости, так что вы можете устанавливать с нуля только те пакеты, которые вам нужны.
• Conda – это система управления пакетами, зависимостями и средой, которую можно установить без распространения Anaconda или Miniconda. Он работает в Windows, macOS и Linux и был создан для программ на Python, но может упаковывать и распространять программное обеспечение для любого языка. Основная цель – решить проблемы внешних зависимостей простым способом, загрузив предварительно скомпилированные версии программного обеспечения.В этом смысле это больше похоже на кроссплатформенную версию диспетчера пакетов общего назначения, такого как APT или YUM , который помогает находить и устанавливать пакеты независимо от языка. Кроме того, Conda является менеджером среды, поэтому, если вам нужен пакет, который требует другой версии Python, с помощью Conda можно настроить отдельную среду с совершенно другой версией Python, поддерживая вашу обычную версию Python на ваша среда по умолчанию.

Существует много дискуссий по поводу создания еще одной системы управления пакетами для экосистемы Python. Стоит отметить, что создатели Conda довели стандартную упаковку Python до предела и создали второй инструмент только тогда, когда стало ясно, что это единственный разумный путь вперед.

Любопытно, что даже Гвидо ван Россум в своем выступлении на первой встрече PyData в 2012 году сказал, что когда дело доходит до упаковки, «на самом деле звучит так, что ваши потребности настолько необычны по сравнению с большим сообществом Python, что вы просто лучше строить свой собственный. (Вы можете посмотреть видео этого обсуждения .) Более подробную информацию об этом обсуждении можно найти здесь и здесь .

Anaconda и Miniconda стали самыми популярными дистрибутивами Python, широко используемыми для обработки данных и машинного обучения в различных компаниях и исследовательских лабораториях. Они являются бесплатными проектами с открытым исходным кодом и в настоящее время включают более 1400 пакетов в хранилище. В следующем разделе мы рассмотрим установку дистрибутива Miniconda Python на компьютере с Windows.

Установка дистрибутива Miniconda Python

В этом разделе вы увидите пошаговые инструкции по настройке среды Python для науки о данных в Windows. Вместо полного дистрибутива Anaconda вы будете использовать Miniconda для настройки минимальной среды, содержащей только Conda и ее зависимости, и будете использовать ее для установки необходимых пакетов.

Процессы установки для Miniconda и Anaconda очень похожи. Основное отличие состоит в том, что Anaconda предоставляет среду с большим количеством предустановленных пакетов, многие из которых никогда не используются. (Вы можете проверить список здесь .) Miniconda минималистична и чиста, и она позволяет вам легко устанавливать любые пакеты Anaconda.

В этой статье основное внимание будет уделено использованию интерфейса командной строки (CLI) для настройки пакетов и сред. Тем не менее, можно использовать Conda для установки Anaconda Navigator , графического интерфейса пользователя (GUI), если хотите.

Miniconda можно установить с помощью установщика, доступного здесь . Вы заметите, что есть установщики для Windows, macOS и Linux, а также для 32-битных или 64-битных операционных систем. Вы должны рассмотреть соответствующую архитектуру в соответствии с вашей установкой Windows и загрузить версию Python 3.x (на момент написания этой статьи, 3.7).

Больше нет смысла использовать Python 2 в новом проекте, и если вам нужен Python 2 для какого-то проекта, над которым вы работаете, из-за какой-то библиотеки, которая не была обновлена, можно настроить среду Python 2, используя Conda, даже если вы установили дистрибутив Miniconda Python 3.x, как вы увидите в следующем разделе.

После завершения загрузки вам просто нужно запустить установщик и выполнить шаги установки:

• Нажмите Далее на экране приветствия:

• Нажмите « Я согласен», чтобы принять условия лицензии:

• Выберите тип установки и нажмите « Далее» . Еще одним преимуществом использования Anaconda или Miniconda является возможность установки дистрибутива с использованием локальной учетной записи. (Не обязательно иметь учетную запись администратора.) Если это так, выберите Just Me . В противном случае, если у вас есть учетная запись администратора, вы можете выбрать Все пользователи :

• Выберите место установки и нажмите « Далее» . Если вы выбрали установку только для вас, по умолчанию будет находиться папка Miniconda3 в личной папке вашего пользователя. Важно не использовать пробелы в именах папок на пути к Miniconda, поскольку во многих пакетах Python возникают проблемы при использовании пробелов в именах папок:

• В разделе « Дополнительные параметры установки» предлагается использовать варианты по умолчанию, которые не включают Anaconda в переменную среды PATH и регистрируют Anaconda в качестве Python по умолчанию. Нажмите Установить, чтобы начать установку:

• Подождите, пока установщик скопирует файлы:

• Когда установка завершится, нажмите Далее :

• Нажмите « Готово», чтобы завершить установку и закрыть программу установки:

Поскольку Anaconda не была включена в переменную среды PATH, ее команды не будут работать в командной строке Windows по умолчанию. Чтобы использовать дистрибутив, вы должны запустить его собственную командную строку, что можно сделать, нажав на кнопку «Пуск» и на Anaconda Prompt под Anaconda3 (64 бит) :

Когда откроется приглашение, вы можете проверить, доступен ли Conda, запустив conda --version:

(base) C:\Users\IEUser>conda --version
conda 4.5.11

Чтобы получить больше информации об установке, вы можете запустить conda info:

(base) C:\Users\IEUser>conda info

     active environment : base
    active env location : C:\Users\IEUser\Miniconda3
            shell level : 1
       user config file : C:\Users\IEUser\.condarc
 populated config files : C:\Users\IEUser\.condarc
          conda version : 4.5.11
    conda-build version : not installed
         python version : 3.7.0.final.0
       base environment : C:\Users\IEUser\Miniconda3  (writable)
           channel URLs : https://repo.anaconda.com/pkgs/main/win-64
                          https://repo.anaconda.com/pkgs/main/noarch
                          https://repo.anaconda.com/pkgs/free/win-64
                          https://repo.anaconda.com/pkgs/free/noarch
                          https://repo.anaconda.com/pkgs/r/win-64
                          https://repo.anaconda.com/pkgs/r/noarch
                          https://repo.anaconda.com/pkgs/pro/win-64
                          https://repo.anaconda.com/pkgs/pro/noarch
                          https://repo.anaconda.com/pkgs/msys2/win-64
                          https://repo.anaconda.com/pkgs/msys2/noarch
          package cache : C:\Users\IEUser\Miniconda3\pkgs
                          C:\Users\IEUser\AppData\Local\conda\conda\pkgs
       envs directories : C:\Users\IEUser\Miniconda3\envs
                          C:\Users\IEUser\AppData\Local\conda\conda\envs
                          C:\Users\IEUser\.conda\envs
               platform : win-64
             user-agent : conda/4.5.11 requests/2.19.1 CPython/3.7.0 Windows/10 Windows/10.0.17134
          administrator : False
             netrc file : None
           offline mode : False

Теперь, когда у вас установлена ​​Miniconda, давайте посмотрим, как работает среда Conda.

Понимание окружающей среды Conda

Когда вы начинаете разработку проекта с нуля, рекомендуется использовать последние версии библиотек, которые вам нужны. Однако при работе с чужим проектом, например, при запуске примера из Kaggle или Github , вам может потребоваться установить определенные версии пакетов или даже другую версию Python из-за проблем совместимости.

Эта проблема также может возникать при попытке запустить приложение, которое вы разработали давно, в котором используется определенная версия библиотеки, которая больше не работает с вашим приложением из-за обновлений.

Виртуальные среды являются решением этой проблемы. Используя их, можно создать несколько сред, каждая из которых имеет разные версии пакетов. Типичная установка Python включает Virtualenv , инструмент для создания изолированных виртуальных сред Python, широко используемый в сообществе Python.

Conda включает в себя собственный менеджер среды и предоставляет некоторые преимущества по сравнению с Virtualenv, особенно в отношении числовых приложений, таких как возможность управлять не-Python-зависимостями и возможность управлять различными версиями Python, что невозможно с Virtualenv. Кроме того, среды Conda полностью совместимы с пакетами Python по умолчанию, которые могут быть установлены с использованием pip.

Установка Miniconda предоставляет Conda и корневую среду с установленной версией Python и некоторыми базовыми пакетами. Помимо этой корневой среды, можно настроить дополнительные среды, включая различные версии Python и пакеты.

Используя приглашение Anaconda, можно проверить доступные среды Conda, выполнив conda env list:

(base) C:\Users\IEUser>conda env list
# conda environments:
#
base                  *  C:\Users\IEUser\Miniconda3

Эта базовая среда является корневой средой, созданной установщиком Miniconda. Можно создать другую среду с именем otherenv, запустив conda create --name otherenv:

(base) C:\Users\IEUser>conda create --name otherenv
Solving environment: done

## Package Plan ##

  environment location: C:\Users\IEUser\Miniconda3\envs\otherenv


Proceed ([y]/n)? y

Preparing transaction: done
Verifying transaction: done
Executing transaction: done
#
# To activate this environment, use
#
#     $ conda activate otherenv
#
# To deactivate an active environment, use
#
#     $ conda deactivate

Как сообщается после завершения процесса создания среды, можно активировать otherenvсреду, запустив ее conda activate otherenv. Вы заметите, что среда изменилась, указав в скобках в начале подсказки:

(base) C:\Users\IEUser>conda activate otherenv

(otherenv) C:\Users\IEUser>

Вы можете открыть интерпретатор Python в этой среде, выполнив python:

(otherenv) C:\Users\IEUser>python
Python 3.7.0 (default, Jun 28 2018, 08:04:48) [MSC v.1912 64 bit (AMD64)] :: Anaconda, Inc. on win32
Type "help", "copyright", "credits" or "license" for more information.
>>>

Среда включает в себя Python 3.7.0, ту же версию, включенную в корневую базовую среду. Чтобы выйти из интерпретатора Python, просто запустите quit():

>>> quit()

(otherenv) C:\Users\IEUser>

Чтобы деактивировать otherenvсреду и вернуться в корневую базовую среду, вы должны выполнить deactivate:

(otherenv) C:\Users\IEUser>deactivate

(base) C:\Users\IEUser>

Как упоминалось ранее, Conda позволяет легко создавать среды с различными версиями Python, что не так просто для Virtualenv. Чтобы включить в среду другую версию Python, вы должны указать ее python=<version>при запуске conda create. Например, чтобы создать среду с именем py2на Python 2.7, вам нужно выполнить conda create --name py2 python=2.7:

(base) C:\Users\IEUser>conda create --name py2 python=2.7
Solving environment: done

## Package Plan ##

  environment location: C:\Users\IEUser\Miniconda3\envs\py2

  added / updated specs:
    - python=2.7


The following NEW packages will be INSTALLED:

    certifi:        2018.8.24-py27_1
    pip:            10.0.1-py27_0
    python:         2.7.15-he216670_0
    setuptools:     40.2.0-py27_0
    vc:             9-h7299396_1
    vs2008_runtime: 9.00.30729.1-hfaea7d5_1
    wheel:          0.31.1-py27_0
    wincertstore:   0.2-py27hf04cefb_0

Proceed ([y]/n)? y

Preparing transaction: done
Verifying transaction: done
Executing transaction: done
#
# To activate this environment, use
#
#     $ conda activate py2
#
# To deactivate an active environment, use
#
#     $ conda deactivate


(base) C:\Users\IEUser>

Как показывают выходные данные conda create, на этот раз было установлено несколько новых пакетов, поскольку новая среда использует Python 2. Вы можете проверить, действительно ли новая среда использует Python 2, активировав его и запустив интерпретатор Python:

(base) C:\Users\IEUser>conda activate py2

(py2) C:\Users\IEUser>python
Python 2.7.15 |Anaconda, Inc.| (default, May  1 2018, 18:37:09) [MSC v.1500 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>>

Теперь, если вы запустите conda env list, вы должны увидеть две созданные среды, помимо корневой базовой среды:

(py2) C:\Users\IEUser>conda env list
# conda environments:
#
base                     C:\Users\IEUser\Miniconda3
otherenv                 C:\Users\IEUser\Miniconda3\envs\otherenv
py2               *  C:\Users\IEUser\Miniconda3\envs\py2


(py2) C:\Users\IEUser>

В списке звездочка обозначает активированную среду. Можно удалить среду, запустив conda remove --name <environment name> --all. Так как удалить активированную среду невозможно, сначала необходимо деактивировать py2среду, чтобы удалить ее:

(py2) C:\Users\IEUser>deactivate

(base) C:\Users\IEUser>conda remove --name py2 --all

Remove all packages in environment C:\Users\IEUser\Miniconda3\envs\py2:


## Package Plan ##

  environment location: C:\Users\IEUser\Miniconda3\envs\py2


The following packages will be REMOVED:

    certifi:        2018.8.24-py27_1
    pip:            10.0.1-py27_0
    python:         2.7.15-he216670_0
    setuptools:     40.2.0-py27_0
    vc:             9-h7299396_1
    vs2008_runtime: 9.00.30729.1-hfaea7d5_1
    wheel:          0.31.1-py27_0
    wincertstore:   0.2-py27hf04cefb_0

Proceed ([y]/n)? y


(base) C:\Users\IEUser>

Теперь, когда вы рассмотрели основы управления средами с помощью Conda, давайте посмотрим, как управлять пакетами в этих средах.

Понимание базового управления пакетами с Conda

В каждой среде пакеты программного обеспечения можно установить с помощью диспетчера пакетов Conda. Корневая базовая среда, созданная установщиком Miniconda, по умолчанию включает в себя некоторые пакеты, которые не являются частью стандартной библиотеки Python.

Установка по умолчанию включает минимальные пакеты, необходимые для использования Conda. Чтобы проверить список установленных пакетов в среде, вам просто нужно убедиться, что она активирована и запущена conda list. В корневой среде по умолчанию установлены следующие пакеты:

(base) C:\Users\IEUser>conda list
# packages in environment at C:\Users\IEUser\Miniconda3:
#
# Name                    Version                   Build  Channel
asn1crypto                0.24.0                   py37_0
ca-certificates           2018.03.07                    0
certifi                   2018.8.24                py37_1
cffi                      1.11.5           py37h74b6da3_1
chardet                   3.0.4                    py37_1
conda                     4.5.11                   py37_0
conda-env                 2.6.0                         1
console_shortcut          0.1.1                         3
cryptography              2.3.1            py37h74b6da3_0
idna                      2.7                      py37_0
menuinst                  1.4.14           py37hfa6e2cd_0
openssl                   1.0.2p               hfa6e2cd_0
pip                       10.0.1                   py37_0
pycosat                   0.6.3            py37hfa6e2cd_0
pycparser                 2.18                     py37_1
pyopenssl                 18.0.0                   py37_0
pysocks                   1.6.8                    py37_0
python                    3.7.0                hea74fb7_0
pywin32                   223              py37hfa6e2cd_1
requests                  2.19.1                   py37_0
ruamel_yaml               0.15.46          py37hfa6e2cd_0
setuptools                40.2.0                   py37_0
six                       1.11.0                   py37_1
urllib3                   1.23                     py37_0
vc                        14                   h0510ff6_3
vs2015_runtime            14.0.25123                    3
wheel                     0.31.1                   py37_0
win_inet_pton             1.0.1                    py37_1
wincertstore              0.2                      py37_0
yaml                      0.1.7                hc54c509_2

(base) C:\Users\IEUser>

Для управления пакетами вы также должны использовать Conda. Далее, давайте посмотрим, как искать, устанавливать, обновлять и удалять пакеты с помощью Conda.

Поиск и установка пакетов

Пакеты устанавливаются из репозиториев, которые Conda называет каналами , а некоторые каналы по умолчанию настраиваются установщиком. Для поиска конкретного пакета вы можете запустить conda search <package name>. Например, вот как вы ищите kerasпакет (библиотека машинного обучения):

(base) C:\Users\IEUser>conda search keras
Loading channels: done
# Name                  Version           Build  Channel
keras                     2.0.8  py35h15001cb_0  pkgs/main
keras                     2.0.8  py36h65e7a35_0  pkgs/main
keras                     2.1.2          py35_0  pkgs/main
keras                     2.1.2          py36_0  pkgs/main
keras                     2.1.3          py35_0  pkgs/main
keras                     2.1.3          py36_0  pkgs/main

... (more)

Согласно предыдущему выводу, существуют разные версии пакета и разные сборки для каждой версии, например, для Python 3.5 и 3.6.

Предыдущий поиск показывает только точные совпадения для названных пакетов keras. Чтобы выполнить более широкий поиск, включая все пакеты, содержащие kerasв своих именах, вы должны использовать подстановочный знак *. Например, когда вы запускаете conda search *keras*, вы получаете следующее:

(base) C:\Users\IEUser>conda search *keras*
Loading channels: done
# Name                  Version           Build  Channel
keras                     2.0.8  py35h15001cb_0  pkgs/main
keras                     2.0.8  py36h65e7a35_0  pkgs/main
keras                     2.1.2          py35_0  pkgs/main
keras                     2.1.2          py36_0  pkgs/main
keras                     2.1.3          py35_0  pkgs/main
keras                     2.1.3          py36_0  pkgs/main

... (more)

keras-applications           1.0.2          py35_0  pkgs/main
keras-applications           1.0.2          py36_0  pkgs/main
keras-applications           1.0.4          py35_0  pkgs/main

... (more)

keras-base                2.2.0          py35_0  pkgs/main
keras-base                2.2.0          py36_0  pkgs/main

... (more)

Как показывает предыдущий вывод, в каналах по умолчанию есть несколько других связанных с keras пакетов.

Чтобы установить пакет, вы должны запустить conda install <package name>. По умолчанию самая новая версия пакета будет установлена ​​в активной среде. Итак, давайте установим пакет kerasв среду, otherenvкоторую вы уже создали:

(base) C:\Users\IEUser>conda activate otherenv

(otherenv) C:\Users\IEUser>conda install keras
Solving environment: done

## Package Plan ##

  environment location: C:\Users\IEUser\Miniconda3\envs\otherenv

  added / updated specs:
    - keras


The following NEW packages will be INSTALLED:

    _tflow_1100_select:  0.0.3-mkl
    absl-py:             0.4.1-py36_0
    astor:               0.7.1-py36_0
    blas:                1.0-mkl
    certifi:             2018.8.24-py36_1
    gast:                0.2.0-py36_0
    grpcio:              1.12.1-py36h1a1b453_0
    h5py:                2.8.0-py36h3bdd7fb_2
    hdf5:                1.10.2-hac2f561_1
    icc_rt:              2017.0.4-h97af966_0
    intel-openmp:        2018.0.3-0
    keras:               2.2.2-0
    keras-applications:  1.0.4-py36_1
    keras-base:          2.2.2-py36_0
    keras-preprocessing: 1.0.2-py36_1
    libmklml:            2018.0.3-1
    libprotobuf:         3.6.0-h1a1b453_0
    markdown:            2.6.11-py36_0
    mkl:                 2019.0-117
    mkl_fft:             1.0.4-py36h1e22a9b_1
    mkl_random:          1.0.1-py36h77b88f5_1
    numpy:               1.15.1-py36ha559c80_0
    numpy-base:          1.15.1-py36h8128ebf_0
    pip:                 10.0.1-py36_0
    protobuf:            3.6.0-py36he025d50_0
    python:              3.6.6-hea74fb7_0
    pyyaml:              3.13-py36hfa6e2cd_0
    scipy:               1.1.0-py36h4f6bf74_1
    setuptools:          40.2.0-py36_0
    six:                 1.11.0-py36_1
    tensorboard:         1.10.0-py36he025d50_0
    tensorflow:          1.10.0-mkl_py36hb361250_0
    tensorflow-base:     1.10.0-mkl_py36h81393da_0
    termcolor:           1.1.0-py36_1
    vc:                  14-h0510ff6_3
    vs2013_runtime:      12.0.21005-1
    vs2015_runtime:      14.0.25123-3
    werkzeug:            0.14.1-py36_0
    wheel:               0.31.1-py36_0
    wincertstore:        0.2-py36h7fe50ca_0
    yaml:                0.1.7-hc54c509_2
    zlib:                1.2.11-h8395fce_2

Proceed ([y]/n)?

Conda управляет необходимыми зависимостями для пакета при его установке. Поскольку пакет kerasимеет много зависимостей, при установке Conda удается установить этот большой список пакетов.

Стоит отметить, что, поскольку kerasновейшая сборка пакета использует Python 3.6, а otherenvсреда была создана с использованием Python 3.7, pythonверсия пакета 3.6.6 была включена в качестве зависимости. После подтверждения установки вы можете проверить, что версия Python для otherenvсреды понижена до версии 3.6.6.

Иногда вы не хотите, чтобы пакеты были понижены, и было бы лучше просто создать новую среду с необходимой версией Python. Чтобы проверить список новых пакетов, обновлений и версий, необходимых для пакета без его установки, следует использовать параметр --dry-run. Например, чтобы проверить пакеты, которые будут изменены при установке пакета keras, вы должны выполнить следующее:

(otherenv) C:\Users\IEUser>conda install keras --dry-run

Однако, если необходимо, можно изменить Python по умолчанию для среды Conda, установив определенную версию пакета python. Чтобы продемонстрировать это, давайте создадим новую среду под названием envpython:

(otherenv) C:\Users\IEUser>conda create --name envpython
Solving environment: done

## Package Plan ##

  environment location: C:\Users\IEUser\Miniconda3\envs\envpython


Proceed ([y]/n)? y

Preparing transaction: done
Verifying transaction: done
Executing transaction: done
#
# To activate this environment, use
#
#     $ conda activate envpython
#
# To deactivate an active environment, use
#
#     $ conda deactivate

Как вы видели ранее, поскольку корневая базовая среда использует Python 3.7, envpythonсоздается в том же варианте Python:

(base) C:\Users\IEUser>conda activate envpython

(envpython) C:\Users\IEUser>python
Python 3.7.0 (default, Jun 28 2018, 08:04:48) [MSC v.1912 64 bit (AMD64)] :: Anaconda, Inc. on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> quit()

(envpython) C:\Users\IEUser>

Чтобы установить конкретную версию пакета, вы можете запустить conda install <package name>=<version>. Например, вот как вы устанавливаете Python 3.6 в envpythonсреде:

(envpython) C:\Users\IEUser>conda install python=3.6
Solving environment: done

## Package Plan ##

  environment location: C:\Users\IEUser\Miniconda3\envs\envpython

  added / updated specs:
    - python=3.6


The following NEW packages will be INSTALLED:

    certifi:        2018.8.24-py36_1
    pip:            10.0.1-py36_0
    python:         3.6.6-hea74fb7_0
    setuptools:     40.2.0-py36_0
    vc:             14-h0510ff6_3
    vs2015_runtime: 14.0.25123-3
    wheel:          0.31.1-py36_0
    wincertstore:   0.2-py36h7fe50ca_0

Proceed ([y]/n)?

В случае, если вам нужно установить более одного пакета в среде, можно запустить conda installтолько один раз, передавая имена пакетов. Чтобы проиллюстрировать это, давайте установим numpy, scipyи matplotlib, основные пакеты для численных вычислений в корневой базовой среде:

(envpython) C:\Users\IEUser>deactivate

(base) C:\Users\IEUser>conda install numpy scipy matplotlib
Solving environment: done

## Package Plan ##

  environment location: C:\Users\IEUser\Miniconda3

  added / updated specs:
    - matplotlib
    - numpy
    - scipy


The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    libpng-1.6.34              |       h79bbb47_0         1.3 MB
    mkl_random-1.0.1           |   py37h77b88f5_1         267 KB
    intel-openmp-2019.0        |              117         1.7 MB
    qt-5.9.6                   |   vc14h62aca36_0        92.5 MB
    matplotlib-2.2.3           |   py37hd159220_0         6.5 MB
    tornado-5.1                |   py37hfa6e2cd_0         668 KB
    pyqt-5.9.2                 |   py37ha878b3d_0         4.6 MB
    pytz-2018.5                |           py37_0         232 KB
    scipy-1.1.0                |   py37h4f6bf74_1        13.5 MB
    jpeg-9b                    |       hb83a4c4_2         313 KB
    python-dateutil-2.7.3      |           py37_0         260 KB
    numpy-base-1.15.1          |   py37h8128ebf_0         3.9 MB
    numpy-1.15.1               |   py37ha559c80_0          37 KB
    mkl_fft-1.0.4              |   py37h1e22a9b_1         120 KB
    kiwisolver-1.0.1           |   py37h6538335_0          61 KB
    pyparsing-2.2.0            |           py37_1          96 KB
    cycler-0.10.0              |           py37_0          13 KB
    freetype-2.9.1             |       ha9979f8_1         470 KB
    icu-58.2                   |       ha66f8fd_1        21.9 MB
    sqlite-3.24.0              |       h7602738_0         899 KB
    sip-4.19.12                |   py37h6538335_0         283 KB
    ------------------------------------------------------------
                                           Total:       149.5 MB

The following NEW packages will be INSTALLED:

    blas:            1.0-mkl
    cycler:          0.10.0-py37_0
    freetype:        2.9.1-ha9979f8_1
    icc_rt:          2017.0.4-h97af966_0
    icu:             58.2-ha66f8fd_1
    intel-openmp:    2019.0-117
    jpeg:            9b-hb83a4c4_2
    kiwisolver:      1.0.1-py37h6538335_0
    libpng:          1.6.34-h79bbb47_0
    matplotlib:      2.2.3-py37hd159220_0
    mkl:             2019.0-117
    mkl_fft:         1.0.4-py37h1e22a9b_1
    mkl_random:      1.0.1-py37h77b88f5_1
    numpy:           1.15.1-py37ha559c80_0
    numpy-base:      1.15.1-py37h8128ebf_0
    pyparsing:       2.2.0-py37_1
    pyqt:            5.9.2-py37ha878b3d_0
    python-dateutil: 2.7.3-py37_0
    pytz:            2018.5-py37_0
    qt:              5.9.6-vc14h62aca36_0
    scipy:           1.1.0-py37h4f6bf74_1
    sip:             4.19.12-py37h6538335_0
    sqlite:          3.24.0-h7602738_0
    tornado:         5.1-py37hfa6e2cd_0
    zlib:            1.2.11-h8395fce_2

Proceed ([y]/n)?

Теперь, когда вы рассмотрели, как искать и устанавливать пакеты, давайте посмотрим, как обновить и удалить их с помощью Conda.

Обновление и удаление пакетов

Иногда, когда выпускаются новые пакеты, вам необходимо обновить их. Для этого вы можете бежать conda update <package name>. Если вы хотите обновить все пакеты в одной среде, вам следует активировать среду и запустить conda update --all.

Чтобы удалить пакет, вы можете запустить conda remove <package name>. Например, вот как вы удаляете numpyиз корневой базовой среды:

(base) C:\Users\IEUser>conda remove numpy
Solving environment: done

## Package Plan ##

  environment location: C:\Users\IEUser\Miniconda3

  removed specs:
    - numpy


The following packages will be REMOVED:

    matplotlib: 2.2.3-py37hd159220_0
    mkl_fft:    1.0.4-py37h1e22a9b_1
    mkl_random: 1.0.1-py37h77b88f5_1
    numpy:      1.15.1-py37ha559c80_0
    scipy:      1.1.0-py37h4f6bf74_1

Proceed ([y]/n)?

Стоит отметить, что при удалении пакета все пакеты, которые зависят от него, также удаляются.

Использование каналов

Иногда вы не можете найти пакеты, которые хотите установить, на каналах по умолчанию, настроенных установщиком. Например, вот как вы устанавливаете pytorchдругой пакет машинного обучения:

(base) C:\Users\IEUser>conda search pytorch
Loading channels: done

PackagesNotFoundError: The following packages are not available from current channels:

  - pytorch

Current channels:

  - https://repo.anaconda.com/pkgs/main/win-64
  - https://repo.anaconda.com/pkgs/main/noarch
  - https://repo.anaconda.com/pkgs/free/win-64
  - https://repo.anaconda.com/pkgs/free/noarch
  - https://repo.anaconda.com/pkgs/r/win-64
  - https://repo.anaconda.com/pkgs/r/noarch
  - https://repo.anaconda.com/pkgs/pro/win-64
  - https://repo.anaconda.com/pkgs/pro/noarch
  - https://repo.anaconda.com/pkgs/msys2/win-64
  - https://repo.anaconda.com/pkgs/msys2/noarch

To search for alternate channels that may provide the conda package you're
looking for, navigate to

    https://anaconda.org

and use the search bar at the top of the page.

В этом случае вы можете найти пакет здесь . Если вы ищете pytorch, вы получите следующие результаты:

На канале pytorchесть пакет с именем pytorchversion 0.4.1. Чтобы установить пакет из определенного канала, вы можете использовать -c <channel>параметр с conda install:

(base) C:\Users\IEUser>conda install -c pytorch pytorch
Solving environment: done

## Package Plan ##

  environment location: C:\Users\IEUser\Miniconda3

  added / updated specs:
    - pytorch


The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    pytorch-0.4.1              |py37_cuda90_cudnn7he774522_1       590.4 MB  pytorch

The following NEW packages will be INSTALLED:

    pytorch: 0.4.1-py37_cuda90_cudnn7he774522_1 pytorch

Proceed ([y]/n)?

Кроме того, вы можете добавить канал, чтобы Conda использовала его для поиска пакетов для установки. Для просмотра списка используемых каналов вы можете запустить conda config --get channels:

(base) C:\Users\IEUser>conda config --get channels
--add channels 'defaults'   # lowest priority

(base) C:\Users\IEUser>

Установщик Miniconda включает только defaultsканалы. Если включено больше каналов, необходимо установить их приоритет, чтобы определить, с какого канала будет установлен пакет, если он доступен из более чем одного канала.

Чтобы добавить канал с самым низким приоритетом в список, вы должны запустить conda config --append channels <channel name>. Чтобы добавить канал с наивысшим приоритетом в список, вы должны запустить conda config --prepend channels <channel name>. Рекомендуется добавлять новые каналы с низким приоритетом, чтобы продолжать использовать каналы по умолчанию раньше других. Итак, в качестве альтернативы, вы можете установить pytorch, добавив pytorchканал и запустив conda install pytorch:

(base) C:\Users\IEUser>conda config --append channels pytorch

(base) C:\Users\IEUser>conda config --get channels
--add channels 'pytorch'   # lowest priority
--add channels 'defaults'   # highest priority

(base) C:\Users\IEUser>conda install pytorch
Solving environment: done

## Package Plan ##

  environment location: C:\Users\IEUser\Miniconda3

  added / updated specs:
    - pytorch


The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    pytorch-0.4.1              |py37_cuda90_cudnn7he774522_1       590.4 MB  pytorch

The following NEW packages will be INSTALLED:

    pytorch: 0.4.1-py37_cuda90_cudnn7he774522_1 pytorch

Proceed ([y]/n)?

Не все пакеты доступны на каналах Conda. Однако это не проблема, так как вы также можете использовать pipдля установки пакетов в среде Conda. Посмотрим, как это сделать.

Использование pipвнутри среды Conda

Иногда вам могут понадобиться чистые пакеты Python, и, как правило, эти пакеты не доступны на каналах Conda. Например, если вы ищете unipathпакет для обработки путей к файлам в Python, Conda не сможет его найти.

Вы можете найти пакет здесь и использовать другой канал для его установки. Тем не менее, поскольку unipathэто чистый пакет Python, вы можете использовать его pipдля установки, как при обычной установке Python. Разница лишь в том, что вы должны использовать pipустановленный пакет Conda pip. Чтобы проиллюстрировать это, давайте создадим новую среду под названием newproject. Как упоминалось ранее, вы можете сделать это, запустив conda create:

conda create --name newproject

Далее, чтобы pipустановить, вы должны активировать среду и установить пакет Conda pip:

(base) C:\Users\IEUser>conda activate newproject

(newproject) C:\Users\IEUser>conda install pip
Solving environment: done

## Package Plan ##

  environment location: C:\Users\IEUser\Miniconda3\envs\newproject

  added / updated specs:
    - pip


The following NEW packages will be INSTALLED:

    certifi:        2018.8.24-py37_1
    pip:            10.0.1-py37_0
    python:         3.7.0-hea74fb7_0
    setuptools:     40.2.0-py37_0
    vc:             14-h0510ff6_3
    vs2015_runtime: 14.0.25123-3
    wheel:          0.31.1-py37_0
    wincertstore:   0.2-py37_0

Proceed ([y]/n)?

Наконец, используйте pipдля установки пакета unipath:

(newproject) C:\Users\IEUser>pip install unipath
Collecting unipath
Installing collected packages: unipath
Successfully installed unipath-1.1
You are using pip version 10.0.1, however version 18.0 is available.
You should consider upgrading via the 'python -m pip install --upgrade pip' command.

(newproject) C:\Users\IEUser>

После установки вы можете просмотреть список установленных пакетов conda listи проверить, что Unipathбыло установлено с помощью pip:

(newproject) C:\Users\IEUser>conda list
# packages in environment at C:\Users\IEUser\Miniconda3\envs\newproject:
#
# Name                    Version                   Build  Channel
certifi                   2018.8.24                py37_1
pip                       10.0.1                   py37_0
python                    3.7.0                hea74fb7_0
setuptools                40.2.0                   py37_0
Unipath                   1.1                       <pip>
vc                        14                   h0510ff6_3
vs2015_runtime            14.0.25123                    3
wheel                     0.31.1                   py37_0
wincertstore              0.2                      py37_0

(newproject) C:\Users\IEUser>

Также возможно установить пакеты из системы контроля версий (VCS), используя pip. Например, давайте установим supervisorверсию 4.0.0dev0, доступную в репозитории Git. Поскольку Git не установлен в newprojectсреде, вы должны сначала установить его:

(newproject) C:\Users\IEUser> conda install git

Затем установите supervisor, используя pipдля установки из репозитория Git:

(newproject) pip install -e git://github.com/Supervisor/supervisor@abef0a2be35f4aae4a4edeceadb7a213b729ef8d#egg=supervisor

После завершения установки вы можете увидеть, что supervisorуказано в списке установленных пакетов:

(newproject) C:\Users\IEUser>conda list
#
# Name                    Version                   Build  Channel
certifi                   2018.8.24                py37_1
git                       2.18.0               h6bb4b03_0
meld3                     1.0.2                     <pip>
pip                       10.0.1                   py37_0
python                    3.7.0                hea74fb7_0
setuptools                40.2.0                   py37_0
supervisor                4.0.0.dev0                <pip>

... (more)

Теперь, когда вы знакомы с основами использования сред и управления пакетами с помощью Conda, давайте создадим простой пример машинного обучения для решения классической задачи с использованием нейронной сети.

Простой пример машинного обучения

В этом разделе вы настроите среду с помощью Conda и научите нейронную сеть функционировать как ворота XOR .

В вентиле XOR реализована цифровая логическая операция «ИЛИ» , которая широко используется в цифровых системах. Он принимает два цифровых входа, которые могут быть равны 0, представляя цифровое ложное значение или 1, представляя цифровое истинное значение, и выводит 1( true ), если входы различны, или 0( false ), если входы равны. В следующей таблице (называемой таблицей истинности в терминологии цифровых систем) суммируется операция шлюза XOR:

Операция XOR может быть интерпретирована как проблема классификации, учитывая, что она принимает два входа и должна классифицировать их в один из двух классов, представленных 0или 1, в зависимости от того, равны ли входы друг другу или отличаются друг от друга.

Он обычно используется в качестве первого примера для обучения нейронной сети, поскольку он прост и в то же время требует нелинейного классификатора, такого как нейронная сеть. Нейронная сеть будет использовать только данные из таблицы истинности, не зная, откуда она взялась, чтобы «изучить» операцию, выполняемую шлюзом XOR.

Чтобы реализовать нейронную сеть, давайте создадим новую среду Conda с именем nnxor:

(base) C:\Users\IEUser>conda create nnxor

Затем активируем его и установим пакет keras:

(base) C:\Users\IEUser>conda activate nnxor

(nnxor) C:\Users\IEUser>conda install keras

kerasэто высокоуровневый API, который делает простые в реализации нейронные сети поверх известных библиотек машинного обучения, таких как TensorFlow .

Вы научите следующую нейронную сеть действовать как ворота XOR:

Сеть принимает два входа, A и B , и передает их двум нейронам, представленным большими кругами. Затем он принимает выходные данные этих двух нейронов и передает их в выходной нейрон, который должен обеспечить классификацию в соответствии с таблицей истинности XOR.

Вкратце, тренировочный процесс состоит из корректировки значений весов от w_1 до w_6 , чтобы выходные данные соответствовали таблице истинности XOR. Для этого будут поданы входные примеры, по одному, выходные данные будут рассчитываться в соответствии с текущими значениями весов и, сравнивая выходные данные с желаемым выходным значением, заданным таблицей истинности, значения весовых коэффициентов будут настраиваться в пошаговом процессе.

Чтобы организовать проект, вы создадите папку с именем nnxorв папке пользователя Windows ( C:\Users\IEUser) с файлом с именем nnxor.pyдля хранения программы Python для реализации нейронной сети:

В этом nnxor.pyфайле вы определите сеть, проведете обучение и протестируете ее:

import numpy as np
np.random.seed(444)

from keras.models import Sequential
from keras.layers.core import Dense, Activation
from keras.optimizers import SGD

X = np.array([[0, 0], 
              [0, 1],
              [1, 0],
              [1, 1]])
y = np.array([[0], [1], [1], [0]])

model = Sequential()
model.add(Dense(2, input_dim=2))
model.add(Activation('sigmoid'))
model.add(Dense(1))
model.add(Activation('sigmoid'))

sgd = SGD(lr=0.1)
model.compile(loss='mean_squared_error', optimizer=sgd)

model.fit(X, y, batch_size=1, epochs=5000)

if __name__ == '__main__':
    print(model.predict(X))

Сначала вы импортируете numpy, инициализируете случайное начальное число, чтобы вы могли воспроизвести те же результаты при повторном запуске программы, и импортировали kerasобъекты, которые вы будете использовать для построения нейронной сети.

Затем вы определяете Xмассив, содержащий 4 возможных набора входов AB для операции XOR, и yмассив, содержащий выходные данные для каждого из наборов входов, определенных в X.

Следующие пять строк определяют нейронную сеть. Sequential()Модель является одной из моделей , предусмотренных kerasдля определения нейронной сети, в которой слои сетей определяются последовательным образом. Затем вы определяете первый слой нейронов, состоящий из двух нейронов, питаемых двумя входами, определяя их функцию активации как сигмовидную функцию в последовательности. Наконец, вы определяете выходной слой, состоящий из одного нейрона с той же функцией активации.

Следующие две строки определяют детали обучения сети. Чтобы настроить вес сети, вы будете использовать Стохастический градиентный спуск (SGD) с скоростью обучения, равной 0.1, и вы будете использовать среднеквадратичную ошибку в качестве функции потерь, которую нужно минимизировать.

Наконец, вы выполняете обучение, выполняя fit()метод, используя Xи в yкачестве примеров обучения и обновляя веса после того, как каждый пример обучения подается в сеть ( batch_size=1). Число epochsпредставляет количество раз, которое весь обучающий набор будет использоваться для обучения нейронной сети.

В этом случае вы повторяете обучение 5000 раз, используя обучающий набор, содержащий 4 примера ввода-вывода. По умолчанию каждый раз, когда используется обучающий набор, примеры обучения перемешиваются.

В последней строке после завершения процесса обучения вы выводите прогнозные значения для 4 возможных входных примеров.

Запустив этот сценарий, вы увидите эволюцию процесса обучения и повышение производительности по мере поступления в сеть новых примеров обучения:

(nnxor) C:\Users\IEUser>cd nnxor

(nnxor) C:\Users\IEUser\nnxor>python nnxor.py
Using TensorFlow backend.
Epoch 1/5000
2018-09-16 09:49:05.987096: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2
2018-09-16 09:49:05.993128: I tensorflow/core/common_runtime/process_util.cc:69] Creating new thread pool with default inter op setting: 2. Tune using inter_op_parallelism_threads for best performance.
4/4 [==============================] - 0s 39ms/step - loss: 0.2565
Epoch 2/5000
4/4 [==============================] - 0s 0us/step - loss: 0.2566
Epoch 3/5000
4/4 [==============================] - 0s 0us/step - loss: 0.2566
Epoch 4/5000
4/4 [==============================] - 0s 0us/step - loss: 0.2566
Epoch 5/5000
4/4 [==============================] - 0s 0us/step - loss: 0.2566
Epoch 6/5000
4/4 [==============================] - 0s 0us/step - loss: 0.2566

После окончания обучения вы можете проверить прогнозы, которые дает сеть для возможных входных значений:

Epoch 4997/5000
4/4 [==============================] - 0s 0us/step - loss: 0.0034
Epoch 4998/5000
4/4 [==============================] - 0s 0us/step - loss: 0.0034
Epoch 4999/5000
4/4 [==============================] - 0s 0us/step - loss: 0.0034
Epoch 5000/5000
4/4 [==============================] - 0s 0us/step - loss: 0.0034
[[0.0587215 ]
 [0.9468337 ]
 [0.9323144 ]
 [0.05158457]]

Как вы определили X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]]), ожидаемые выходные значения 0, 1, 1и 0, что согласуется с предсказанными выходами сети, учитывая вы должны округлить их , чтобы получить двоичные значения.

Куда пойти отсюда

Приложения для обработки данных и машинного обучения появляются в самых разных областях, привлекая все больше людей. Однако настройка среды для численных вычислений может быть сложной задачей, и часто пользователи сталкиваются с проблемами на семинарах по науке о данных, особенно при использовании Windows.

В этой статье вы рассмотрели основы настройки среды численных вычислений Python на компьютере с Windows с помощью дистрибутива Anaconda Python.

Бесплатный бонус: нажмите здесь, чтобы получить доступ к шпаргалке Conda с удобными примерами использования для управления средой и пакетами Python.

Теперь, когда у вас есть рабочая среда, пришло время начать работу с некоторыми приложениями. Python – один из наиболее используемых языков для науки о данных и машинного обучения, а Anaconda – один из самых популярных дистрибутивов, используемых в различных компаниях и исследовательских лабораториях. Он предоставляет несколько пакетов для установки библиотек, на которые опирается Python для сбора, обработки, обработки и визуализации данных.

Совершенствуй знания каждый день у нас в Телеграм-каналах

Вопросы, реклама — VK | Telegram