#Machine Learning (ML)

0 关注者 · 23 帖子

机器学习 (ML) 是计算机科学领域人工智能的一个子集,通常使用统计技术使计算机能够利用数据进行“学习”,而无需明确编程。

了解更多信息

文章 Hao Ma · 三月 25, 2021 8m read

关键字:PyODBC,unixODBC,IRIS,IntegratedML,Jupyter Notebook,Python 3

目的

几个月前,我简单谈到了关于“将 Python JDBC 连接到 IRIS”的话题。我后来频繁提起它, 因此决定再写一篇 5 分钟的笔记,说明如何“将 Python ODBC 连接到 IRIS”。

在 Windows 客户端中通常很容易设置 ODBC 和 PyODBC,不过我每次在 Linux/Unix 风格的服务器中设置 unixODBC 和 PyODBC 客户端时,都会遇到一些麻烦。

有没有一种简单连贯的方法,可以不安装任何 IRIS,在原版 Linux 客户端中让 PyODBC/unixODBC 针对远程 IRIS 服务器运行?

范围

最近,我花了点时间研究如何在 Linux Docker 环境的 Jupyter Notebook 中从头开始让一个 PyODBC 演示运行起来, 记录下这篇稍微有些繁琐的笔记,以供日后快速参考。  

范围内: 

这篇笔记将涉及以下组件:

  • PyODBC over unixODBC 
  • 安装了 TensorFlow 2.2 和 Python 3 的 Jupyter Notebook 服务器
  • 带有 IntegratedML 的 IRIS2020.3 CE 服务器,包括示例测试数据。
  • 在此环境中

    0
    0 414
    公告 Claire Zheng · 四月 22, 2024

    Hi 开发者们,

    我们非常高兴地邀请大家参加新的 InterSystems 在线编程竞赛,此次编程大赛关注生成式AI(GenAI), 向量搜索(Vector Search )与机器学习(Machine Learning)!

    🏆 InterSystems 编程大赛:Vector Search, GenAI 与 ML 🏆

    时间:2024年4月22日 - 5月19日 (美国东部时间)

    奖金池: $14,000

    0
    0 194
    公告 Claire Zheng · 一月 28, 2024

    近日,InterSystems宣布 InterSystems IRIS® Cloud SQL 和 InterSystems IRIS® Cloud IntegratedML® 服务全面上市。 这些全面托管的云原生智能数据服务使开发人员能够轻松地在SQL环境中构建云原生数据库和机器学习(ML)应用程序。

    通过 Cloud SQL和 Cloud IntegratedML,开发人员可以访问下一代关系数据库即服务(DBaaS),DBaaS快速且易于配置和使用。 嵌入式AutoML功能支持开发人员在全面托管的、弹性的云原生环境中,仅仅通过几条类似SQL的命令即可轻松开发并执行机器学习模型。

    0
    0 80
    文章 Michael Lei · 八月 9, 2022 23m read

    在这篇文章中,你可以访问InterSystems开发者社区中与学习InterSystems IRIS最相关主题的文章库。找到按机器学习、嵌入式Python、JSON、API和REST应用、管理和配置InterSystems环境、Docker和云、VSCode、SQL、分析/BI、全局、安全、DevOps、互操作性、Native API排列的顶级发表的文章。快来享受学习的乐趣吧!

    机器学习

    机器学习是建立先进的数据分析和自动化人工活动的一种必要的技术,具有很好的效率。它可以创建认知模型,从现有的数据中学习,并根据其自我调整的算法进行预测、概率计算、分类、识别和 "非创造性 "的人类活动的自动化。

    在所有情况下,InterSystems IRIS作为一个数据平台和环境来创建、执行、提供和使用这些机器学习模型。IRIS能够从SQL命令(IntegratedML)中使用ML,使用嵌入式Python和PMML(预测模型标记语言)来执行ML。你可以在以下文章中查看它的功能:

    1
    0 210
    文章 Michael Lei · 七月 29, 2022 3m read

    在这篇文章中,我试图找出多个领域来开发我们能够使用python和机器学习的功能。

    每家医院都在努力利用技术和服务来提高其服务质量和效率。

    医疗保健部门是一个非常大的、可供选择的服务领域,而python是做机器学习的最好技术之一。

    在每个医院里,人们都会有一些感觉,如果这种感觉能够被计算机理解,使用技术就有机会提供更好的服务。

    在这里,我们可以把这两者结合起来,在医疗部门,我正试图理解/识别各种选择,以提供更好的服务。

    首先,我们可以尝试使用python的机器学习来识别人并了解他们目前的感受。比如,在医院信息系统中,每个病人至少有一张照片,使用该照片我们可以识别病人,然后一旦病人到达医院,使用视频监控和机器学习技术需要识别这个人的感觉。

    在医院设施中会看到多种类型的感觉。

    1)紧张

    2)平静和冷静

    3)   哭泣

    4)  暴力的病人/亲属

    5)  生病的病人

    6)  高烧鉴定

    像上面的情况,我们可以看到多种不同的类型。

    如果一个已经登记的病人发高烧,那么使用闭路电视识别这个病人的情况,并捕捉温度热像仪,护理人员可以给予更好的支持,这在接待服务领域是非常大的区别。

    如果这个发高烧的人已经是一个登记的病人,如果利用现有的照片识别这个病人,那么我们可以做多件事情。

    1)如果该病人今天有预约,我们可以自动到达该病人处。

    0
    0 150
    文章 Michael Lei · 二月 17, 2022 23m read

    实时人工智能/机器学习计算的挑战

    我们将从我们在 InterSystems 数据科学实践中遇到的示例开始讲起:

    • “高负载”客户门户与在线推荐系统相集成。 计划是在整个零售网络层面重新配置促销活动(我们将假设使用“细分策略”矩阵而非“平面”促销活动母版)。 推荐机制会有哪些变化? 推荐机制内的数据馈送和数据更新会有哪些变化(输入数据量增加了 25000 倍)? 推荐规则生成设置会有哪些变化(生成规则的总量和“分类”呈千倍增加,因此需要将推荐规则筛选阈值缩小千倍)?
    • 设备健康监控系统使用“手动”方式馈送数据样本。 现在,它将连接到每秒可传输数千个过程参数读数的 SCADA 系统。 监控系统会有哪些变化(它能否应对以秒为单位的设备健康监控)? 当输入数据接收到包含数百列最近在 SCADA 系统中实现的数据传感器读数的新块时,会发生什么(是否有必要关闭监控系统以将新的传感器数据整合到分析当中,以及要关闭多久)?
    • 复杂的人工智能/机器学习机制(推荐、监控、预测)依赖于彼此的结果。 要调整这些人工智能/机器学习机制的功能以适应输入数据的变化,每月需要多少人工工时? 人工智能/机器学习机制在支持制定业务决策方面的总体“延迟”是多少(支持信息的刷新频率对比新输入数据的馈送频率)?
    0
    0 207
    公告 Claire Zheng · 七月 30, 2021

    亲爱的社区开发者们,大家好!

    我们真诚邀请您参加 Online Meetup:InterSystems 开发者竞赛(人工智能与机器学习)!

    时间: 2021年7月30日(周五) 11:00 AM (美东时间)23:00 (北京时间)

    在这场在线Meetup,您将了解到:

    • 此次优胜者的个人履历;
    • 获奖Application的简短Demo;
    • 有关应用技术的开放探讨、问答,以及下次竞赛的一些计划。
    0
    0 115
    文章 Michael Lei · 五月 12, 2021 28m read

    关键字:IRIS, IntegratedML, 机器学习, Covid-19, Kaggle 

    目的

    最近,我注意到一个用于预测 Covid-19 患者是否将转入 ICU 的 Kaggle 数据集。 它是一个包含 1925 条病患记录的电子表格,其中有 231 列生命体征和观察结果,最后一列“ICU”为 1(表示是)或 0(表示否)。 任务是根据已知数据预测患者是否将转入 ICU。

    这个数据集看起来是所谓的“传统 ML”任务的一个好例子。数据看上去数量合适,质量也相对合适。它可能更适合在 IntegratedML 演示套件上直接应用,那么,基于普通 ML 管道与可能的 IntegratedML 方法进行快速测试,最简单的方法是什么?

    0
    0 114
    文章 Michael Lei · 五月 8, 2021 8m read

    关键字:Python,JDBC,SQL,IRIS,Jupyter Notebook,Pandas,Numpy ,机器学习 

    1. 目的

    这是一个用于演示的 5 分钟快速笔记,通过 Jupyter Notebook 中的 Python 3 调用 IRIS JDBC 驱动程序,以经由 SQL 语法从 IRIS 数据库实例读取数据和向 IRIS 数据库实例写入数据。 

    去年,我发表了关于将 Python 绑定到 Cache 数据库的简要笔记(第 4.7 节)。 如何使用 Python 挂入 IRIS 数据库以将其数据读入 Pandas 数据框和 NumPy 数组进行常规分析,然后再将一些经过预处理或标准化的数据写回 IRIS 中,准备进一步用于 ML/DL 管道,现在可能是时候回顾一些选项和讨论了。

    一些立即浮现的快速选项

    1.    ODBC:Python 3 和原生 SQL 的 PyODBC?
    2.    JDBC:Pyhton 3 和原生 SQL 的 JayDeBeApi?
    3.    Spark:PySpark 和 SQL?
    4.    Python Native API for IRIS:超越先前的 Python Binding for Cache?
    5.   ** IPtyhon Magic SQL %%sql**?  可以支持 IRIS 了吗?

     这里有漏掉其他选项吗?  我有兴趣尝试任何选项。 

    2. 范围 

    0
    0 416
    文章 Michael Lei · 四月 14, 2021 8m read

    什么是分布式人工智能 (DAI)?

    试图找到一个“无懈可击”的定义是徒劳的:这个术语似乎有些“超前”。 但是,我们仍然可以从语义上分析该术语本身,推导出分布式人工智能也是人工智能(请参见我们为提出一个“实用”定义所做的努力),只是它分布在多台没有聚合在一起(既不在数据方面,也不通过应用程序聚合,原则上不提供对特定计算机的访问)的计算机上。 即,在理想情况下,分布式人工智能的安排方式是:参与该“分布”的任何计算机都不能直接访问其他计算机的数据和应用程序,唯一的替代方案是通过“透明的”消息传递来传输数据样本和可执行脚本。 与该理想情况的任何偏差都会导致出现“部分分布式人工智能”- 一个示例是通过中央应用程序服务器分发数据, 或者其反向操作。 不管怎样,我们都会得到一组“联合”模型(即,在各自数据源上训练的模型,或者按自己的算法训练的模型,或者同时以这两种方式训练的模型)。

    0
    0 259
    文章 Hao Ma · 三月 26, 2021 2m read

    目前,机器学习的使用过程仍然有些困难,需要消耗大量的数据科学家服务。 AutoML 技术的诞生便是为了帮助组织降低这种复杂性和对专业 ML 人员的依赖。

    AutoML 允许用户指向一个数据集,选择感兴趣的主题(特征)并设置影响主题的变量(标签)。 接着,用户告知模型名称,然后基于机器学习创建预测或数据分类模型。

    这不需要了解认知算法,因为 AutoML 会在内部执行市面上的主要算法,并指出预测或分类数据的最佳算法。

    用户现在可以从经过训练的模型中指向新数据,轻松进行预测和分类。

    新的 InterSystems IRIS Advanced Analytics 除了与非常著名的 H2O 或 DataRobot(作为附加选项)搭配使用之外,还具有 AutoML 引擎 IntegratedML。

    AutoML 运算通过 SQL 命令执行,详见:https://docs.intersystems.com/irislatest/csp/docbook/Doc.View.cls?KEY=GIML

    0
    0 184
    文章 Hao Ma · 三月 26, 2021 15m read

    关键字:IRIS,IntegratedML,Flask,FastAPI,TensorFlow Serving,HAProxy,Docker,Covid-19

    目的:

    过去几个月里,我们提到了一些深度学习和机器学习的快速演示,包括一个简单的 Covid-19 X 射线图像分类器和一个用于可能的 ICU 入院的 Covid-19 实验室结果分类器。  我们还介绍了 ICU 分类器的 IntegratedML 演示实现。  虽然“数据科学”远足仍在继续,但从“数据工程”的角度来看,或许也是尝试一些 AI 服务部署的好时机 - 我们能否将目前所接触到的一切都封装成一套服务 API?  我们可以利用哪些常用的工具、组件和基础架构,以最简单的方式实现这样的服务堆栈?

    0
    0 1377
    文章 Hao Ma · 三月 26, 2021 1m read

    Intersystems IRIS 是开发、运行和消耗数据科学服务的绝佳平台。 IRIS 可以使用适配器从任何类型、格式、协议和时间提取数据。 这些数据集可以通过 BPL、DTL 和 Object Script 准备,并存储为 SQL 或 NoSQL 数据。 最后,它可以被 IRIS 内部的开放 ML 算法所消耗,并在 IRIS 仪表板中可视化。 了解详情:https://docs.intersystems.com/irislatest/csp/docbook/Doc.View.cls?KEY=PAGE_data_science

    0
    0 138
    文章 Hao Ma · 三月 26, 2021 4m read

    使用 IRIS 和 Python 创建聊天机器人

    本文将展示如何把 InterSystems IRIS 数据库与 Python 集成,以服务于自然语言处理 (NLP) 的机器学习模型。

    为什么选择 Python?

    随着在世界范围内的广泛采用和使用,Python 拥有了出色的社区,以及许多加速器 | 库用于部署任何类型的应用。 如果您感兴趣,请访问 https://www.python.org/about/apps/

    Iris Globals

    我接触到 ^globals 后很快就熟悉了,它们可以用作快速获取现成数据模型中数据的方法。 因此,首先,我将使用 ^globals 存储训练数据和对话以记录聊天机器人的行为。

    自然语言处理

    自然语言处理或 NLP 是 AI 的一个主题,它创造了机器从我们的语言阅读、理解含义的能力。 显然,这并不简单,但是我将展示如何在这个广阔而美丽的领域中迈出您的第一步。

    演示 - 来试试吧

    我在这里部署了 Chatbot 应用作为演示: http://iris-python-suite.eastus.cloudapp.azure.com:8080

    工作原理

    机器学习

    首先要知道与普通软件开发相比,机器学习具有不同的范式。 很难理解的要点是机器学习模型的开发周期。

    浅显解释预警

    一个标准的应用开发周期大概是这样:

    开发代码 -> 测试(使用开发数据)-> 部署(真实用户数据)

    0
    0 395
    文章 Hao Ma · 三月 25, 2021 7m read

    上一部分,现在要利用 IntegratedML VALIDATION MODEL 语句提供信息以监视您的 ML 模型。 您可以在此处观看实际运作。

    此处所示代码衍生自 InterSystems IntegragedML 模板IRIS 文档提供的示例,我主要是把代码混合了起来。 这是一个简单的示例,目的是为进一步讨论和未来工作提供一个起点。

    注:此处提供的代码仅作说明之用。 如果您想尝试,我开发了一个 Open Exchange 技术示例应用 (iris-integratedml-monitor-example),并将其提交到 InterSystems IRIS AI Contest。 读完这篇文章后您可以去看看,如果喜欢,就请投我一票吧! :)

    目录

    第一部分:

    第二部分:

    监视 ML 性能

    要监视 ML 模型,至少需要两个功能:

    1. 性能指标提供程序 2) 监视和通知服务

    幸运的是,IRIS 为我们提供了这两个必要的功能。

    获取 ML 模型性能指标

    上一部分所示,IntegratedML 提供了 VALIDATE MODEL 语句来计算以下性能参数:

    0
    0 117
    文章 Hao Ma · 三月 25, 2021 4m read

    几个月前,我在 MIT Technology Review 读到一篇很有意思的文章,作者解释了新冠疫情如何给全球 IT 团队带来关乎机器学习 (ML) 系统的难题。

    这篇文章引起我对 ML 模型部署后如何处理性能问题的思考。

    我在一个 Open Exchange 技术示例应用 (iris-integratedml-monitor-example) 中模拟了一个简单的性能问题场景,并提交到 InterSystems IRIS AI Contest。 读完这篇文章后您可以去看看,如果喜欢,就请投我一票吧! :)

    目录

    第一部分:

    第二部分:

    IRIS IntegratedML 和 ML 系统

    讨论 COVID-19 以及它对全球 ML 系统的影响之前,我们先来简单谈谈 InterSystems IRIS IntegratedML。

    通过将特征选择之类的任务及其与标准 SQL 数据操作语言的集成自动化,IntegratedML 可以协助开发和部署 ML 解决方案。

    例如,对医疗预约的数据进行适当的操作和分析后,可以使用以下 SQL 语句设置 ML 模型,预测患者的履约/失约情况:

    0
    0 275
    文章 Hao Ma · 三月 25, 2021 1m read

    对于有海量数据运算场景的机器学习项目来说,IRIS 是一个很好的选择,原因包括:

    1. 与 MongoDB 一样,支持使用分片扩展数据存储库。
    2. 支持创建分析型多维数据集,与分片关联可提高性能。
    3. 支持使用各种数据适配器选项按计划或实时收集数据。
    4. 允许使用 Python 或 ObjectScript 中的逻辑自动化整个重复数据删除过程。
    5. 允许使用可视流 (BPL) 和数据转换器 (DTL) 协调并自动化到存储库的数据流。
    6. 通过 docker (IaC) 和 Cloud Manager 脚本提供高级自动扩展支持。
    7. 支持通过 ZPM 在配置中加载 ObjectScript 库。
    8. 与 Python 和 R 的互操作性支持实时执行机器学习。
    9. 允许使用 AutoML 引擎、IntegratedML 对所指向的数据集执行最佳算法。
    10. 允许创建执行后分析,例如 AutoML 预测和分类、Python 和 R 认知处理的输出、BI 数据透视表,并且都带有自己的视图或第三方视图。
    11. 允许使用 JReport 创建高级视图和报告。
    12. 可以通过 API 管理实现最大限度的重用和获利能力。 
    0
    0 400
    文章 Hao Ma · 三月 25, 2021 12m read

    Covid-19 肺部 X 射线分类和 CT 检测演示 关键字:COVID-19,医学影像,深度学习,PACS Viewer 和 HealthShare。

    目的

    在这场史无前例的新冠疫情笼罩之下, 我们竭尽所能为客户提供支援,同时利用先进的 AI 技术观察着不同的疫情战线。 

    去年,我简单提及了一个深度学习演示环境。 在这个漫长的复活节周末,我们就来看一看现实世界的图像,在 Covid-19 肺部 X 射线数据集上测试运行一些深度学习模型以进行快速分类,并见证这类用于 X 射线甚至 CT 的工具如何通过 docker 等方式快速部署到云端,实现及时的“AI 分诊”并协助放射科医生。     

    这只是一个 10 分钟的快速笔记,希望通过简单的方法帮助各位上手实践。   

    0
    0 494