聚沙成塔--爬虫系列（十三）（如何正确的使用数据库三）

版权声明:本文为作者原创文章，可以随意转载，但必须在明确位置标明出处！！！

note：本基础系列旨在以爬虫带大家入门Python语言

上一篇文章我们讲了如何使用Python语言操作sqlite、mysql数据库，当然前面讲到的都是一些简单的操作，复杂的数据库操作并不在本系列考虑的范围内，因为每一种数据库语言都可以单独的写一本书了，所以本系类旨在带大家入门，至于如何修行就要靠各位自己了。本篇的重点主要讲对象关系映射(Object Relational Mapping，简称ORM)

什么是ORM

对象-映射是ORM的核心思想，什么意思呢，就是它把前端的数据对象映射成关系数据库中的数据类型，所以有了ORM我们前端只需要使用一份代码，后端的数据库不论是sqlite、mysql、oracle等其它关系数据库只要改变连接字符串我们就能做到将前端的数据写到不同的关系数据库中，是不是很酷。

安装SQLAlchemy

sudo pip install SQLAlchemy

源码安装也很简单，将在官网下载的安装包加压，然后执行安装命令，曾哥过程如下：

tar -xvf SQLAlchemy-1.2.0b3.tar.gz
cd SQLAlchemy-1.2.0b3
sudo python setup.py install

如何没有出现什么错误则则证明安装成功了，如果验证SQLAlchemy库安装好了这里就不在啰嗦了，前面的文章都有讲到

SQLAlchemy的设计模型

SQLAlchemy有两种设计模型，两种设计模型可以组合起来用，也可以单独使用，不管是组合使用还是单独使用，它们最终调用的都是DPAPI，下图给出了两种设计模型的层次依赖图，SQLAlchemy ORM模型抽象的层次更高一些。

SQLAlchemy操作数据库流程

对于数据库操作流程我们要有一个核心的思想，就是「万变不离其中」，我们只需要知道操作数据库的本质流程是什么就可以了，操作数据库的本质流程是什么？ 首先我们要知道数据库是一个服务，它提供了数据库服务接口也就是DBAPI，所以无论第三方库是怎么设计的最终都需要调用数据库服务接口，那么数据库操作流程就分为以下几步：

• 第一步： 连接数据库，对于SQLAlchemy来说就是创建一个引擎

from sqlalchemy import create_engine
engine = create_engine('sqlite:///qiubai.db', convert_unicode=True, echo=True)  

ubuntu在目录「/usr/local/lib/python3.5/dist-packages/SQLAlchemy-1.2.0b3-py3.5-linux-x86_64.egg/sqlalchemy/dialects」下。

• 第二步： 获取游标，在ORM里就是获得一个session（会话）

from sqlalchemy import create_engine
engine = create_engine('sqlite:///qiubai.db', convert_unicode=True, echo=True)  
db_session = sessionmaker(bind=engine, autocommit=False, autoflush=False)

• 第三步： 建立一个映射关系，文章的开头部分就说了ORM的核心思想就是关系映射， 所以我们要把一个对象映射成关系数据库表的字段，就像前一篇文章的CREATE TABLE语句一样，需要给表指定字段及类型

from sqlalchemy.ext.declarative import declarative_base
Base = declarative_base()

class Qiubai(Base):
    __tablename__ = 'qiubai'
    id = Column(Integer, sqlite_autoincrement=True, primary_key=True)
    userid = Column(String(20), nullable=False)
    username = Column(String(20), nullable=False)
    funny_num = Column(Integer, nullable=False)
    content = Column(String(1024), nullable=True)
    url = Column(String(1024), nullable=True)

    def __init__(self, userid, username, funny_num, content, url):
        self.userid = userid
        self.username = username
        self.funny_num = funny_num
        self.content = content
        self.url = url

• 第四步： 创建元素信息，映射关系定义好了，但是还没有映射到数据库里，所以最后异步就是将所有元素映射到数据库里

from sqlalchemy import create_engine
engine = create_engine('sqlite:///qiubai.db', convert_unicode=True, echo=True)  
db_session = sessionmaker(bind=engine, autocommit=False, autoflush=False)
Base.metadata.create_all(engine)

插入数据

obj = Qiubai('userid', 'username', funny_num, 'content', 'url')
session.add(obj)

删除数据

#删除所有数据
session.delete(obj)

delete
###删除指定数据
session.query(obj).filter(obj.userid == '1234').delete()

filter相当于where子句

查询数据

# 查询所有数据
session.query(Qiubai).all()
# 查询指定数据
session.query(obj).filter(obj.userid == '1234').one()

更新数据

# 更新所有数据
session.query(Qiubai).update({Qiubai.funny_num:500})

# 更新指定数据
session.query(Qiubai).filter(Qiubai.userid=='/users/33096359/').update({Qiubai.funny_num:500})

实战

在抓取糗百的项目的我又增加了两个文件，一个是TableDef.py文件，该文件主要负责关系映射，所有的表定义都放在这个文件，另一个文件是SqlalchemyImpl.py，该文件主要负责执行数据库操作，文件内容定义如下：

# TableDef.py
from sqlalchemy import create_engine
from sqlalchemy import Column, String, Integer
from sqlalchemy.ext.declarative import declarative_base

Base = declarative_base()


class Qiubai(Base):
    __tablename__ = 'qiubai'
    id = Column(Integer, primary_key=True)
    userid = Column(String(20), nullable=False)
    username = Column(String(20), nullable=False)
    funny_num = Column(Integer, nullable=False)
    content = Column(String(1024), nullable=True)
    url = Column(String(1024), nullable=True)

    def __init__(self, userid, username, funny_num, content, url):
        self.userid = userid
        self.username = username
        self.funny_num = funny_num
        self.content = content
        self.url = url

# SqlalchemyImpl.py
from sqlalchemy import create_engine
from sqlalchemy import Column, String, Integer
from sqlalchemy.orm import sessionmaker
from TableDef import Base, Qiubai

class SqlalchemyImpl(object):
    """docstring for SqlalchemyImpl"""
    def __init__(self):
        engine = create_engine('sqlite:///qiubai.db', convert_unicode=True, echo=True)      
        self.db_session = sessionmaker(bind=engine, autocommit=False, autoflush=False)
        # Base.session = self.db_session
        Base.metadata.create_all(engine)

    def insert_record(self, items):
        session = self.db_session()
        try:
            for item in items:
                obj = Qiubai(item[0], item[1], item[2], item[3], item[4])
                #list_record.append(obj)
                session.add(obj)
            
        except Exception as e:
            session.rollback()
            raise e

    def delete_record(self):
        try:
            session = self.db_session()
            session.delete(Qiubai)
            
        except Exception as e:
            raise e

    def dump_record(self):
        try:
            session = self.db_session()
            ret = session.query(Qiubai).all()
            print(ret)
        except Exception as e:
            raise e

    def update_reocrd(self):
        try:
            session = self.db_session()
            session.query(Qiubai).filter(Qiubai.userid=='/users/33096359/').update({Qiubai.funny_num:500})
            
        except Exception as e:
            raise e

值得主要的是在ORM创建字段映射的时候必须要有一个字段为primary_key， 也就是TableDef.py文件里id的定义

执行结果

从终端打印出来的结果我们可以看到最终插入到数据库的结构语言依然是INSERT INTO TABLE...，所以ORM只是把数据类型和结构抽象出来了，如果你不想在终端看出这些输出信息，只需要将「engine = create_engine('sqlite:///qiubai.db', convert_unicode=True, echo=True) 」语句中的echo赋值为false就可以了。

note： 这里需要提醒大家的是，新学习一个东西的时候，不要一来就想着把它吃透，这样只会打消你的积极性，就像ORM一样我本人对它也用的不是很熟悉，只会一些简单的应用，那是因为我工作中用到它的地方不多，而且ORM有一定的限制性，没有你直接写SQL语言来的快和明了。ORM对于复杂的查询就有些力不从心了。所以学习一个东西我们一定要搞清楚侧重点，如果项目上一定要用到ORM那么我回过头来在深入去学习就是了。

欢迎关注我:「爱做饭的老谢」，老谢一直在努力...