低代码挑战

想象一下那个场景。您正在 Widgets Direct 愉快地工作，这是互联网上首屈一指的小部件和小部件配件零售商。您的老板有一些毁灭性的消息，一些客户可能对他们的小部件不太满意，我们需要一个帮助台应用程序来跟踪这些投诉。为了让事情变得有趣，他希望代码占用非常小，并挑战您使用 InterSystems IRIS 以少于 150 行代码交付应用程序。这可能吗？

免责声明：本文记录了一个非常基本的应用程序的构建，为了简洁起见，省略了安全性和错误处理等细节。该应用程序仅供参考，不得用于任何生产应用。本文使用IRIS 2023.1作为数据平台，并非所描述的所有功能在早期版本中都可用

第 1 步 - 定义数据模型

我们首先定义一个新的干净的命名空间 - 带有代码和数据数据库。虽然所有内容都可以位于 1 个数据库中，但将它们拆分以便于数据刷新。

我们的帮助台系统需要 3 个基本类：一个 Ticket 对象，它可以包含用于记录员工顾问 UserAccount 和客户联系人 UserAccount 之间交互的操作。让我们用一些基本属性来定义它们：

大型语言模型（例如 OpenAI 的 GPT-4）的发明和普及掀起了一波创新解决方案浪潮，这些解决方案可以利用大量非结构化数据，在此之前，人工处理这些数据是不切实际的，甚至是不可能的。此类应用程序可能包括数据检索（请参阅 Don Woodlock 的 ML301 课程，了解检索增强生成的精彩介绍）、情感分析，甚至完全自主的 AI 代理等！

在本文中，我想演示如何使用 IRIS 的嵌入式 Python 功能直接与 Python OpenAI 库交互，方法是构建一个简单的数据标记应用程序，该应用程序将自动为我们插入IRIS 表中的记录分配关键字。然后，这些关键字可用于搜索和分类数据，以及用于数据分析目的。我将使用客户对产品的评论作为示例用例。

先决条件

• 运行的IRIS实例
• OpenAI API 密钥（您可以在此处创建）
• 配置好的开发环境（本文将使用VS Code ）

Review类

让我们首先创建一个 ObjectScript 类，该类将定义客户评论的数据模型。为了简单起见，我们将只定义 4 个 %String 字段：客户姓名、产品名称、评论正文以及我们将生成的关键字。该类应该扩展%Persistent，以便我们可以将其对象保存到磁盘。

本篇文章会介绍一个简单的示例：如何使用IRIS 2023版自带的EnsLib.SQL.Service.GenericService 和EnsLib.SQL.Operation.GenericOperation将MySQL的数据库读取出来并灌入Oracle数据库，本示例以Windows环境为例。

1. 创建SQL网关连接，连到MySQL

1.1 在windows中创建MySQL ODBC连接

1.2 在IRIS中创建ODBC SQL网关连接，连接到MySQL

系统管理 -> 配置 -> 连接 -> SQL网关连接，连接类型选择‘ODBC’，给一个连接名称，现有的DSN选择在1.1中所有建立的DSN名称，填写连接用户名和密码，然后点击下方‘连接测试’，如果出现‘连接成功’，说明此连接能够正常工作

2. 创建SQL网关连接，连到Oracle

2.1 在IRIS中创建JDBC网关连接，连接到Oracle

系统管理 -> 配置 -> 连接 -> SQL网关连接，连接类型选择‘JDBC’，给一个连接名称，填写连接用户名和密码，填写驱动器名称和要连接的Oracle数据库的URL和本地OJDBC.jar的java类路径，然后点击下方‘连接测试’，如果出现‘连接成功’，说明此连接能够正常工作

3. 创建Production组件

3.1 业务服务

JWT Authentication 原理及验证流程

原理

JWT 是一种结构紧凑、URL 安全的身份验证、授权或信息交换方式。在身份验证的情况下，服务器会向已通过身份验证的客户端提供一个 JWT，这样客户端在 JWT 过期之前就无需再提供密码来访问服务器上受保护的资源。

验证流程：

1. 客户端发送Login到服务端
2. 服务端返回 JWT给客户端
3. 客户端校验JWT签名
4. 客户端发送带有JWT签名的request到服务端
5. 服务端检查JWT签名的有效期，在有效期内，则返回response给客户端，不在有效期内，返回error

JWT 配置步骤

1. 创建REST服务
2. 配置Web Application
3. 安全配置
4. 客户端发送Login，从服务器获取JWT
5. 配置成功，发送带有JWT的request

1. 创建REST服务

在InterSystems IRIS中，可以使用/api/mgmnt自动创建REST的 .disp .impl 和 .spec 类，本篇文章不介绍具体创建REST服务的流程，具体内容请参考社区文章创建REST 服务。

2. 配置Web Application

IRIS管理门户：系统管理 -> 安全 -> 应用程序 -> Web 应用程序

案例描述

假设您是一名 Python 开发人员或拥有一支训练有素的 Python 专业团队，但您分析 IRIS 中某些数据的期限很紧迫。当然，InterSystems 提供了许多用于各种分析和处理的工具。然而，在给定的场景中，最好使用旧的 Pandas 来完成工作，然后将 IRIS 留到下次使用。
对于上述情况和许多其他情况，您可能需要从 IRIS 获取表来管理 InterSystems 产品之外的数据。但是，当您有任何格式（即 CSV、TXT 或 Pickle）的外部表时，您可能还需要以相反的方式执行操作，您需要在其上导入并使用 IRIS 工具。
无论您是否必须处理上述问题，Innovatium让我明白，了解更多解决编码问题的方法总是能派上用场。好消息是，从 IRIS 引入表时，您不需要经历创建新表、传输所有行以及调整每种类型的繁琐过程。
本文将向您展示如何通过几行代码快速将 IRIS 表转换为 Pandas 数据框架并向后转换。您可以在我的GitHub上查看代码，您可以在其中找到包含本教程每个步骤的 Jupiter Notebook。

从 IRIS 引入一张Table

当然，您应该首先导入该项目所需的库。

import pandas as pd import sqlalchemy as db

主机和备机为什么总是切换，会不会是与仲裁机连接的心跳检测出问题了

查看镜像状态 打开管理门户 - ‘系统操作’ - ‘镜像监视器’
如遇到主备切换，可以通过消息日志查看切换原因 打开管理门户 - ‘系统操作’ - ‘系统日志’ - ‘消息日志’      

基础问题怎么查询

通过管理门户查看日志 打开管理门户 - ‘系统操作’ - ‘系统日志’ - ‘消息日志’
通过监控告警日志 告警日志文件：<intall-dir>/mgr/alerts.log文件      

Production所有组件设置重试间隔、故障超时是什么意思

重试间隔：与回复代码操作配合使用，当发生回复代码操作中设置的回复发生时，按照重试间隔设置的时间对外部业务系统再次访问。
故障超时：发生故障时继续传递消息的总秒数，可以与回复代码操作配合使用。      

有队列出现怎么办

查看队列的方式 打开管理门户 - ‘Interoperability’ - ‘监视器’ - ‘队列’ 首先，查看队列计数是否是在降低，及时有队列，但是队列在正常下降，此状态为正常情况。 但是，如果队列持续升高，没有任何下降趋势，查看产生队列的相应组件的日志，查看是否是平台内部有异常出现。如果平台内部没有异常，查看第三方下游业务系统是否能正常通信。      

如何设置重发

本篇文章主要介绍互联互通套件的一些基础问题：

1. 基于互联互通套件通过互联互通成熟的测评的实施工作量
   • 电子病历共享文档部分：需要客户将业务系统数据灌入CCH套件SQL模型中
   • 服务部分：在平台做消息改造，或者直接做业务系统接口改造  
2. 基于互联互通套件通过电子病例五级+互联互通成熟度测评四级需要的最低人员配备和项目总耗时
   
   • 需要了医院现有业务系统和人员配备，做进一步评估及分析  
3. 目标只是通过互联互通成熟度测评需不需要FHIR
   
   • 不需要，如果只是过测评，只需要互联互通套件基础版就够了  
4. BI相关功能如何实现
   
   • 可以使用DeepSee，基于Cubes做数据分析及钻取
5. 如何使用Java进行快速开发
   
   • 可以使用PEX，支持Java开发，但是如果使用Production，推荐使用内置开发语言ObjectScript，学习成本更低，未来开发新特性能力更强大
6. 有没有自带的ETL工具
   
   • InterSystems 互联互通套件中没有ETL工具，但是支持所有ETL工具的连接  
7. 发送失败消息是否有记录
   
   • 所有错误消息都能够在平台监控到，且可以进行转发或者重发  
8. 有没有按照单个服务流程进行整个业务流程的修改和查看
   
   • 平台内所有服务都可以按照类别区分，也可以按照服务查看业务流程，但是没有按照单个服务修改整个业务流程的界面

数据分集 （测试数据可以在网上下载 https://catalog.data.gov/dataset/）

1. 创建训练集，80%用于训练集。

CREATE TABLE DataMining.DiabetesTraining AS SELECT top 641 Pregnancies, Glucose, BloodPressure, SkinThickness, Insulin,BMI, Age, Outcome from DataMining.DSTable order by ID

2. 创建测试集，20%用于测试集。

CREATE TABLE DataMining.DiabetesTest AS SELECT top 127 Pregnancies, Glucose, BloodPressure, SkinThickness, Insulin, BMI,Age, Outcome from DataMining.DSTable order by ID DESC

Integrated ML

1. 创建ML配置

此步骤用来配置Provider 及不同Provider所使用的配置参数。

在InterSystems IRIS中重新加载更新后的Python模块的方式和直接使用Python 重新加载模块的方式是一样的。

在Python3.4 之后到版本中，直接使用Python 重新加载模块的方式如下：

import importlib
​
importlib.reload(module)

同样，在在InterSystems IRIS中重新加载Python模块的方式与其没有区别，示例如下：

ClassMethod Hello() As %Status
{
 Set sc = $$$OK
 Set sm = ##class(%SYS.Python).Import("sample")
 Set importlib = ##class(%SYS.Python).Import("importlib")
 do importlib.reload(sm)
 write sm.hello()
 Return sc
}
​

WIN SQL是大多数用户使用的普通编辑器。但是我们不能使用winsql下载大量数据。所以我写了一个教程如何连接一个新的基于 Java 的编辑器，叫做 Squirrel SQL，它可以很容易地下载或导出 excel 或任何其他格式的数据。我还包括一个 Java JCBC 连接程序来连接 IRIS 数据库，尤其是镜像/故障转移服务器。

基于 SQL Java 的编辑器导出大量数据和用于 IRIS 连接的 Java JDBC 程序

基于 SQL Java 的编辑器导出大量数据

WinSql 是通常用于从 Iris 数据库中提取数据的编辑器，但是，如果没有许可的 winsql，则无法导出大量数据。

解决方案是使用基于 java 的编辑器，称为 Squirrel SQL。这是一个基于 java 的编辑器，您可以在从 IRIS 数据库执行 fetch 从编辑器中导出大量数据。这是用 Java 构建的开源 SQL 客户端，它使用 JDBC 连接到 IRIS 数据库。

Squirrel SQL 的特点

• Java 19 兼容性
• 多个插入符/光标编辑
• 全局首选项和新会话属性搜索
• Saved Sessions 的多项改进（用于保存和恢复 Session 的所有 SQL 编辑器的特性）
• 可配置的鼠标右键菜单
• 重新设计的添加/编辑 JDBC 驱动程序对话框

安装 Squirrel SQL 的步骤

IRIS 配置和用户帐户包含需要跟踪的各种数据元素，许多人难以在 IRIS 实例之间复制或同步这些系统配置和用户帐户。那么如何简化这个过程呢？

在软件工程中，CI/CD 或 CICD 是持续集成 (CI) 和（更常见的）持续交付或（较少见的）持续部署 (CD) 的组合实践集。 CI/CD 能消除我们所有的挣扎吗？

我在一个开发和部署 IRIS 集群的团队工作。我们在 Red Hat OpenShift 容器平台上的容器中运行 IRIS。

如果您当前没有使用 Kubernetes，请不要停止阅读。即使您没有使用 Kubernetes 或在容器中运行 IRIS，您也可能会遇到与我和我的团队面临的挑战类似的挑战。

我们决定将代码与配置分开，并将它们放在不同的 GitHub 存储库中。每次在代码库中进行提交时，都会触发管道运行。结果，从代码库中的文件构建了一个新image。

我们通过将 YAML 文件和其他配置工件添加到部署 GitHub 存储库，将配置定义为以 GitOps 方式使用的代码。 GitOps 是一个软件开发框架，它使组织能够持续交付软件应用程序，同时使用 Git 作为单一事实来源有效地管理 IT 基础设施（以及更多）。 GitOps 的好处之一是能够轻松回滚。您所需要做的就是恢复到 Git 中的先前状态。

自定义更多的Production组件的设置

本示例会在Production的组件BO（业务操作）中增加自定义的配置信息，例如添加目标系统信息，当然此类信息也可以放在已有的配置”注释“中。

为production组件新增设置信息

1. 为组件创建”目标服务器“设置信息。 现在想要为一个组件SoapDemo.BO.Operation.MyWebServiceSoap新增一个名为”目标服务器“的设置信息。
2. 在SoapDemo.BO.Operation.MyWebServiceSoap类中增加以下代码，然后编译此类。其中Info为，您想将此设置放在哪一种设置中，Info代表”信息设置“，Basic代表”基本设置“，详细信息请参考设置类型
   

   Property 目标服务器 As %String(MAXLEN = 2000, XMLPROJECTION = "ATTRIBUTE");
   Parameter SETTINGS = "目标服务器:Info";

3. 进入Production页面，刷新改页面，如下图所示，此时已经成功为组件增加 ”目标服务器“ 设置。 

获取组件设置信息

以下是 2023 年 InterSystems 开发者工具大赛的技术红利，您可以在投票中获得额外加分：

• 嵌入式 Python的使用
• Docker容器的使用
• ZPM 包部署
• 在线演示
• 代码质量通过
• 开发者社区文章
• 开发者社区第二篇文章
• 上传 YouTube 视频
• 第一次贡献

请参阅下面的额外加分项详细信息：

嵌入式 Python的使用 - 3 分

在您的应用程序中使用嵌入式 Python，可以获得 3 分加分。您至少需要 InterSystems IRIS 2021.2及以上版本。

Docker 容器的使用 - 2 分

如果应用程序使用在 docker 容器中运行的 InterSystems IRIS，则该应用程序将获得“Docker 容器”奖励。这是最简单的模板。

ZPM 包部署 - 2 分

如果您为您的全栈应用程序构建和发布 ZPM（ObjectScript 包管理器）包，您可以获得2分加分，以便它可以使用如下方式部署：

zpm "install your-multi-model-solution"

已安装的ZPM 客户端命令，请参考：

ZPM客户端。文档。

项目的在线演示 - 2 分
如果您将项目作为在线演示提供给云，则可额外获得 3 个奖励积分。您可以自己完成，也可以使用此模板- 这是一个 示例。这是有关如何使用它的视频。

代码质量通过且零错误 - 1 分

使用学习服务中的一系列资源制定您今年的学习目标。在2023 年 1 月简报中，了解如何找到与您的工作任务相关的有针对性的学习资源，并通过课堂课程或练习题为认证做准备。

什么是网页抓取：

简单来说，网络抓取、网络收获或网络数据提取是从网站收集大数据（非结构化）的自动化过程。用户可以根据需要提取特定站点上的所有数据或特定数据。收集的数据可以以结构化格式存储以供进一步分析。

网页抓取涉及的步骤：

1. 找到您要抓取的网页的 URL
2. 通过检查选择特定元素
3. 编写代码获取被选元素的内容
4. 以需要的格式存储数据

就这么简单！

用于网络抓取的流行库/工具是：

• Selenium – 用于测试 Web 应用程序的框架
• BeautifulSoup – 用于从 HTML、XML 和其他标记语言中获取数据的 Python 库
• Pandas – 用于数据操作和分析的 Python 库

什么是Beautiful Soup？

Beautiful Soup 是一个纯 Python 库，用于从网站中提取结构化数据。它允许您解析来自 HTML 和 XML 文件的数据。它充当辅助模块，并以与使用其他可用开发人员工具以网页交互的方式与 HTML 交互。

Python 已成为世界上使用最广泛的编程语言（来源：https://www.tiobe.com/tiobe-index/），SQL 作为数据库语言继续引领潮流。 Python 和 SQL 一起工作以提供 SQL 单独无法提供的新功能不是很好吗？毕竟，Python 拥有超过 380,000 个已发布的库（来源：https://pypi.org/），它们具有非常有趣的功能，可以在 Python 中扩展您的 SQL 查询。本文详细介绍了如何使用嵌入式 Python 在 InterSystems IRIS 数据库中创建新的 SQL 存储过程。

用作示例的 Python 库

本文将使用两个非常有用的库：Geopy 和 Chronyk。

Geopy 是一个用于将地理编码（地址和地理坐标的限定）应用于地址数据的库。有了它，就可以从街道名称中获取邮局格式的邮政编码和完整地址。非常有用，因为许多记录都有地址。

Chronyk 用于使用人类语言处理日期和时间。这非常有用，因为在内部，对于 IRIS 和 Python，日期是一个数字，表示自初始日期以来经过的时间量。对于人类来说，日期是 7 月 20 日，或者昨天，或者明天，或者两个小时前。 Chronyk 接受接收这样的日期，然后将其转换为通用日期格式。

InterSystems IRIS 中的 Python 支持

在Windows配置DSN

1. 确认InterSystems ODBC客户端驱动已安装
   • InterSystems IRIS ODBC驱动会随着InterSystems IRIS安装包默认安装。
   • 如果没有随着InterSystems IRIS安装，请由此下载驱动，下载后执行.exe文件进行安装。
2. 定义DSN（Data Source Names）
   
   • 打开Administrative Tools
   • 打开ODBC Data Sources Administrator（32-bit 或者 64-bit）
   • 选择‘System DSN’，点击右边 ‘Add’，弹出‘Create New Data Source’窗口。
   • 选择一个InterSystems IRIS 安装版本的ODBC驱动，点击‘Finish’
   • 如下图所示，输入驱动名称，IP地址，端口号（使用超级服务端口号），命名空间，用户名和密码。 
   • 然后点击 'Test Connection' 进行连接测试

在Linux配置DSN

本篇文章使用的InterSystems IRIS for Windows (x86-64) 2021.1 (Build 215U) Wed Jun 9 2021 09:39:22 EDT

Mysql ODBC 和 JDBC 驱动版本：8.0.28

使用ODBC 网关连接mysql

在虚拟化环境中使用镜像，构成镜像的InterSystems IRIS实例被安装在虚拟主机上，创造了一个混合的高可用性解决方案，将镜像的优点与虚拟化的优点结合起来。镜像通过自动故障切换对计划内或计划外的故障提供即时响应，而虚拟化HA软件在计划外的机器或操作系统故障后自动重新启动承载镜像成员的虚拟机。这允许失败的成员迅速重新加入镜像，充当备份（或在必要时作为主机）。

当镜像被配置在虚拟化环境中时，请参考以下建议：

• 故障转移成员的虚拟主机和备机不可以配置在同一台物理机上。

• 为了避免单点存储故障，故障转移成员上的InterSystems IRIS实例所使用的存储应永久隔离在不同磁盘组或存储阵列的独立数据存储中。

• 在虚拟化平台层面上进行的一些操作，如备份或迁移，可能会导致故障转移成员长时间没有反应，从而导致不需要的故障转移或不理想的警报频率。为了解决这个问题，你可以增加QoS超时设置。

• 在进行导致故障转移成员连接中断的计划性维护操作时，你可以暂时停止备份上的镜像，以避免不必要的故障转移和警报。

1. VMWare快照引起的网络中断导致非计划内主备机切换问题

1.1 问题描述

在创建虚拟机快照时，虚拟机需要短时间的冻结，这个短时间冻结通常指虚拟机静默，在静默过程中网络连接处于中断状态。由于数据库的不断增长，使用VMWare快照的方式对虚拟机进行备份的时长也会不断增加，当对虚拟机进行快照的时长长于InterSystems镜像服务质量 (QoS) 超时时间，即当主机网络中断超过QoS超时时间，仲裁机与备机观察并相互确认与主机的连接丢失后，将发起切换过程，使原备机成为主机并将虚拟IP从主机MAC地址解绑后重绑定到备机的MAC地址上。特别需要注意的是，在这种由于网络中断引起的切换中，仲裁与备机都无法得知主机的实际工作状态。因此，在主机网络连接恢复后，为了为了避免因切换期间主机还在处理数据导致主备机间数据不一致，备机主动发起请求让主机下线，关闭主机，此时主机状态显示为关闭（Down）。

1.2 解决方案

对于由于虚拟机快照引起的网络中断造成的非计划内主备切换问题，请参考以下两种解决方案：

此篇文章给大家介绍一个使用pyodbc连接到 InterSystems IRIS数据库的示例，详情如下：

InterSystems IRIS 安装在Redhat 操作系统中，使用pyodbc在Mac操作系统中连接到Redhat 操作系统中InterSystems IRIS数据库。

连接前准备：

1. Python 开发环境
2. DB-API驱动：irispython wheel 文件
3. Connection String

步骤：

连接前准备：

1. .Net 开发环境
2. InterSystems IRIS 客户端组件:InterSystems.Data.IRISClient.dll，这个dll文件可以再IRIS安装包中找到，在IRIS/dev/dotnet/bin/version
3. Connection String

步骤：

连接前准备：

1. C++ 开发环境
2. InterSystems ODBC 驱动 （ODBC 驱动会随InterSystems IRIS安装包自动安装在服务器中）
3. Connection String

步骤：

连接前准备：

1. Java 开发环境
2. InterSystems JDBC 驱动
3. Connection String

步骤：

在Windows中，InterSystems IRIS 会将Python引擎一起安装在安装目录中，可以将Python的代码在InterSystems IRIS内核中运行，允许Python代码与ObjectScript代码混合运行，以获得最佳开发性能。一般基于UNIX的操作系统会自带一个Python，所以不会随InterSystems IRIS安装包自动安装Python引擎。

在InterSystems IRIS 2021.2 以上的版本中才支持Embedded Python，其余版本不支持使用Embedded Python

步骤 - Windows

当使用集成平台传递异步消息时，在消息查看器查看消息状态的时候会出现 ‘已放弃’（Discarded） 的消息状态。

‘已放弃’ 的消息状态出现主要有以下原因：

• 当响应的消息在响应请求超时后才到达你要发送的目的地，这条消息就成为了 ’已放弃‘ 的消息。
• 因某种原因，消息无法交付，手动将消息标记为 ‘已放弃’。
• 异步传递的消息，无需等待返回消息，这时如果配置了返回消息，这条消息也会成为 ’已放弃‘ 的消息。

注意：被标记为 ‘已放弃’的消息任然会被永久储存，只有但你明确删除它们时，消息才会被删除

如图所示，业务流程 HCC.SVR.Prod.BPMainControl 向 业务流程 HCC.SVR.Prod.BP.SubscribeAndPublish发送异步消息，如果在HCC.SVR.Prod.BPMainControl调用HCC.SVR.Prod.BP.SubscribeAndPublish，而HCC.SVR.Prod.BP.SubscribeAndPublish设置了响应消息，那么从HCC.SVR.Prod.BP.SubscribeAndPublish设置的响应消息就会成为 ’已放弃‘ 的消息

InterSystems IRIS 允许从任何符合DB-API的Python应用程序对InterSystems IRIS 进行快速、无缝地访问。Python DB-API驱动是对PEP 249 v2.0（Python数据库API规范 v2.0）的完整兼容。

步骤

各位开发者, 

新的视频已经发布在BiliBili平台：

⏯ 在InterSystmes IRIS 使用 Business Process Designer（业务流程设计器）