【爬虫系列之一】爬虫开发环境的搭建

news/2023/12/1 11:50:06

当前python分为2.x版本，以及3.x版本，这两个版本相互直接是不兼容的，但是当前世面的主流web或者程序还是2.x偏多，所以我这边主要是2.x版本为基础，确切地说，是2.7版本。

下面来说说如何安装开发环境以及开发工具

一、环境的安装

MAC上安装python

如果你正在使用Mac，系统是10.13.3，系统自带了Python 2.7。这边也可以在直接在终端输入如下命令，看是否存在python以及python版本

➜  ~ python --version
Python 2.7.10
➜  ~

如果需要安装python3，则执行以下命令

➜  ~ brew install python

注意：

安装Python2.7以上版本，会自动带pip。
Python3高版本自带pip3
MAC自带的python是没有pip，此时需要如果需要使用，请执行

// 给系统的python安装pip
➜  ~ sudo easy_install pip

LINUX上安装python

#安装依赖
➜  ~ yum -y install python-devel openssl openssl-devel gcc sqlite sqlite-devel mysql-devel libxml2-devel libxslt-devel

#下载python2.7
➜  ~ wget https://www.python.org/ftp/python/2.7.13/Python-2.7.13.tgz

➜  ~ mkdir /software
➜  ~ mv Python-2.7.13.tgz /software
➜  ~ cd /software
➜  ~ tar -zxf Python-2.7.13.tgz

➜  ~ cd Python-2.7.13/
➜  ~ ./configure --prefix=/usr/local/python2.7 --with-threads --enable-shared
➜  ~ make
➜  ~ make altinstall

# 备份旧python相关命令
➜  ~ mv /usr/bin/pip /usr/bin/pip_old
➜  ~ mv /usr/bin/easy_install /usr/bin/easy_install_old
➜  ~ mv /usr/bin/python /usr/bin/python_old

# 新版本python命令做软连接，快捷使用
➜  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so /usr/lib
➜  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so.1.0 /usr/lib
➜  ~ ln -s /usr/local/python2.7/bin/python2.7 /usr/bin/python
➜  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so /usr/lib64
➜  ~ ln -s /usr/local/python2.7/lib/libpython2.7.so.1.0 /usr/lib64


# 下载最新版的pip，然后安装
➜  ~ cd /software
➜  ~ wget https://bootstrap.pypa.io/get-pip.py
➜  ~ python get-pip.py
➜  ~ ln -s /usr/local/python2.7/bin/pip /usr/bin/pip

# 查找pip的位置
➜  ~ find / -name pip