本文是构建数据采集与处理常用的软件:Anaconda和PyCharm,安装主要库:scrapy,jieba,beautifulsoup4,selenium,lxml的操作过程,讲述了Anaconda和PyCharm的下载与安装与配置。在pycharm中安装注意库文件,解决了在安装过程中的问题,最终安装成功。
目录
一、Anaconda的下载与安装
1、下载及安装anaconda:
二、下载及安装PyCharm
2.1 利用PyCharm创建工程(Project)
三、Python第三方库
3.1 用命令行安装
1. 进入Anaconda Prompt或者Cmd界面。
2. 先输入下列语句:
3.2 下载库安装包(官网/百度网盘),离线安装
3.3通过PyCharm安装
3.4通过PyCharm安装第三方库
一、Anaconda的下载与安装
1、下载及安装anaconda:
前往官方网站下载,选择相应的操作系统版本:官方网站下载页面
因为Anaconda官网(/)的服务器在国外,我们访问的速度一般比较慢,所以建议您去国内镜像网站下载安装包,如:清华大学开源软件镜像站
温馨提示:Anaconda3已经集成了Python环境,即安装Anaconda3后就无需再安装Python。
按系统提示一步一步安装即可。注意:将anaconda3添加到系统变量勾选上。
安装后启动。
打开powershell prompt,输入:
(base) PS C:\Users\wgj> pythonPython 3.9.7 (default, Sep 16 , 16:59:28) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32Type "help", "copyright", "credits" or "license" for more information.>>> import sys>>> sys.executable'C:\\Users\\wgj\\anaconda3\\python.exe'>>>
查看系统默认python版本是3.9.7及其安装路径。
找到Jupyter Notebook并点击,之后会弹出如下图的黑框(不要关闭黑框),请耐心等待,之后会自动跳转到默认的浏览器(这里默认的是谷歌浏览器),如图所示。
到这个界面之后,请点击右上角的New,然后选择Python3,之后会跳转至如下图的界面,接下来我们检验一下:在输入框中输入print(‘1’)点击运行键,即可输出如下图所示的1。
二、下载及安装PyCharm
前往官方网站下载,选择相应的操作系统版本:官方网站下载。
按系统提示一步一步安装即可。注意:下图的选项框都需要勾上。
PyCharm在初次启动时会有很多操作提示,我们可以直接忽略。
2.1 利用PyCharm创建工程(Project)
PyCharm只是一个用来写代码的工具,想要执行Python代码需要将其与指定的Python环境关联起来,在这一步我们需要将PyCharm与Anaconda中的Python环境关联上,这样才能保证代码正常执行。
anaconda3安装后有两个python版本,分别在:
python3.9.7在:C:\用户\用户名\anaconda3
python3.10在:C:\用户\用户名\anaconda3\envs\python310
本文以python3.10为主讲述。
创建一个工程,一个工程(Project)其实就是一个文件夹,是在实际项目开发中常用的一个概念,主要为完成一个具体任务而创建。
为创建的工程关联一个Python解释器(重要),此处我们选择Anaconda中集成的Python.exe作为解释器。
创建完工程后,在文件菜单中选择设置。 设置python解释器为:
C:\用户\用户名\anaconda3\envs\python310\python.exe
执行main.py,运行成功。
这样就成功创建了工程,可以用PyCharm进行Python开发工作啦!
三、Python第三方库
PyCharm+Python(单独的)中是没有第三方库,所有库均需要自行下载;Anaconda本身集成了很多常用的第三方库(比如NumPy、pandas等),但有部分库(比如wordcloud、jieba等)需要单独安装,所以我们还是需要掌握如何为Python安装第三方库。
下列介绍了三种库的安装方法,请选择合适的方法进行各库的安装,推荐方法一;安装完成之后请检查库是否安装成功。各库安装方法。
3.1 用命令行安装
1. 进入Anaconda Prompt或者Cmd界面。
Anaconda Prompt界面进入方式如下:
Cmd界面进入方式如下:
2. 先输入下列语句:
(下列四句语句任选择一句即可,推荐使用语句二、三)
语句一:pip installpackagename
语句二:pip install packagename-i 镜像网址
语句三:pip install packagename==版本号-i 镜像网址
语句四:pip install packagename==版本号
然后按键盘键“Enter”回车开始安装
【例如(语句三):(从国内镜像,安装1.16.6版本的NumPy)
pip install numpy 1.16.6 i /pypi/simple/
然后敲击回车键(添加镜像网址是为了增加安装速度,避免产生安装报错)
国内镜像可随意进行替换,可用国内一些镜像网站如下:
阿里云:/pypi/simple/
中国科技大学:https://pypi.mirrors./simple/
豆瓣(douban):/simple/
清华大学:https://pypi.tuna./simple/
中国科学技术大学:http://pypi.mirrors./simple/
3.2 下载库安装包(官网/百度网盘),离线安装
1. 可在相应的官网下载安装包(在官网下载请注意所对应的版本:注意“cp36”对应Python3.6版本;“windows”对应windows操作系统;“_64”对应64位操作系统)。
2. 打开cmd(windows)、Anaconda Prompt或者terminal(macOS/Linux),先输入“pip install ”。
将下载的whl文件拷贝到python路径的scripts目录下
执行下列安装命令。
pip install lxml-4.8.0-cp310-cp310-win_amd64.whlpip install selenium-4.1.3-py3-none-any.whlpip install Scrapy-2.6.1-py2.py3-none-any.whl
3.3通过PyCharm安装
1. 打开PyCharm,选择“file”菜单,进入设置“settings”界面。
2. 选择Project Interpreter,在右上方点击“+”。
3. 在搜索框中输入库名,然后点击“Install Package”开始安装。(例如:“wordcloud”)
4、检查库是否安装成功,并查看库的版本
在PyCharm或者其他Python编辑软件中输入以下命令:
import packagename packagename.__version__ #注意“ “__”是由两个 “_”组成的
import wordcloud print(wordcloud.__version__)
此时出现下列错误:
但pycharm提示安装成功:
使用pip命令安装也出现错误提示:
查看Anaconda和pycharm的环境配置,发现Anaconda配置的是python3.9.7而pycharm配置的是3.10版,
Anaconda
pycharm
新建anaconda环境配置为python为3.10版,如图:
安装成功
3.4通过PyCharm安装第三方库
beautifulsoup4和jieba是第三方库文件,需要下载安装包,jieba下载网站和beautifulsoup4下载网站,下载后解压到c盘根目录,也可以放其它目录。
输入“cd c:\jieba-0.42.1”进入setup.py文件所在目录;(cd到你的setup.py安装目录)
输入“python setup.py install”命令安装jieba;
输入命令”python“打开python运行终端界面;
输入命令”import jieba“ 没有报错,说明jieba安装完成;
输入“cdC:\beautifulsoup4-4.11.1”进入setup.py文件所在目录;
输入“python setup.py install”命令安装beautifulsoup4;
输入命令”python“打开python运行终端界面;
输入命令”import bs4“ 没有报错,说明jieba安装完成;
5个库均安装完毕,且运行正常。