19.08.31更新：这篇文章最终的结果是7月完成的毕业设计，一个AR步行街改造项目：

这份设计刚完成时我并不确定时机是否已经成熟来从事城市空间AR开发相关的工作（当时在英国也并不了解国内），直到在刚回国的时候通过网络认识了志同道合的小伙伴。他和他的朋友在中国美术学院也完成了一份和我类似的城市空间AR开发的项目：之江NPC大游戏，同样是一个大型城市空间场景的AR app开发：

跟他一合计我就下定决心走出创业这一步了。出乎意料的是国内虽然仍然没有什么城市空间AR应用，但关注这个方向的人却非常多，我们也接到很多有意思的项目。

下图就是一座城市的城市滨水空间改造项目，希望用AR将这座城市数十公里的江水沿岸改造成混合现实的空间。我们提出在岸边滨水公园的市民可以使用手机或者pad玩这些与地方文化相关的AR游戏/景观，而这条河上的游轮线路上，游船上的游客就可以使用眼镜设备来体验这个混合现实的旅程。200多页的策划里其实还有很多很多其他的内容。

这个项目由于体量及其巨大，推进也需要耐心。

同时我也接到很多其他中等体量或者更小体量的 城市 / 街道 / 小镇 / 园区 等开放空间AR项目。（暂时的项目主要面向移动端，选择了的Unity为开发平台）。

由于目前并没有一个成熟的混合现实空间设计与开发行业，因此这个人才市场也不存在。但小团队已经不足以应付现在我手上正在推进的项目了，如果有朋友同样有对这个方向感兴趣，请私信或V 联系我本人！哪怕最后没有一起，我们也可以多多交流这个领域的产品与开发知识，一起成长。

—————————————————————————

19.06.04更新：看了WWDC19，和同时发布的ARkit3，已经实现了绿幕效果。我知道这个技术苹果肯定会实现，没想到来得这么快，现在就看到了，厉害！

————————————————————————

我是一个关注AR/VR/MR的建筑系学生，这个话题我已经关注好久了，也分享一下自己最近关于这个领域的学习吧~（建议WiFi环境，土豪随意）

建筑设计最核心的主题是空间，而苹果在半年前的WWDC2018上对ARkit平台的最新改进在我看来就是打开了AR空间的宝箱！其改进如下：

• Object Detection 物件识别
• Image Tracking 图像追踪
• Environment Texturing 环境感知
• Saving and Loading Maps 储存与加载测绘
• Face Tracking Enhancement 人脸识别追踪

为什么说ARkit2的更新打开了空间的宝箱呢？

一个个解释。

1.物件识别

上个版本的ARkit实现图像识别的方式是通过在图像上寻找追踪点并匹配来实现的，新更新的物件识别功能还是使用的图像识别的方式，但是给在物件上寻找到的追踪点加上了三维坐标信息，物件识别就是匹配有相对坐标的追踪点所组成的点云，我第一个扫描的是自己的杯子：

官方的物件扫描程序ARkit Scanner在扫描完成之后会默认匹配一个坐标轴，其原点这就是这个物件的点云的坐标原点。坐标轴的方向也有。

召唤一个闪电测试一下：

OK，只要闪电的范围再小点就好了。

基于此，更进一步的设计就是在一个app里用事先扫描好的杯子的原点作为所有动画场景的坐标原点，选择多款不同的饮料绑定多个动画。本来的想法是多制做一些组成一个饮品展会。但是那周的设计课汇报前只制作完了两个场景——茶叶生长和奶牛漫步。

虽然结果不完美，但AR能让小小的茶桌空间都变得更加有趣一点点，更何况我们的建筑空间与城市空间呢！？

接下来两周我完成了一个名为wolo的项目。

我制作了九个用来叙述一个城市故事的一组简单场景：

然后将前八个场景绑定到八个物件上，物件散落在一个空间的不同位置，使用者可以在通过这个空间的时候按照他的通过路径以不同的顺序看到到这八个小场景，了解这个城市故事，这样就赋予了拥有这八个物件的空间一种随机的叙事性：

汇报的时候是有几个场景放到一起了:

交互设计真太重要了。。。wolo这个项目仅仅几个控制识别功能的按钮的简单交互老师们都迷糊了一阵。。

其实这个城市故事也可以变成别的故事，这八个物件也可以替换成商店里的系列商品，游戏厅里的几个玩具，或者展览的展品，活动现场的道具。迪斯尼已经在这么做了。现在大家应该在很多游乐场所能玩到这类作品。

2.图像追踪

物件识别和图像识别一样，都是识别之后显示一个场景或者一个简单的动画，但是作为参考坐标点的物件和图像不能移动。这次改进ARkit2解决了2D图像在移动情况下的追踪问题。

以前的图像识别只能显示静态图片相关的内容：

因为ARkit2的效果本质上是以60Fps（每秒60张图片）的频率不停地结合相机将静态渲染画面呈现在手机屏幕上。通过对算法的优化，在识别和渲染速度提升之后同样的设备现在可以更快地刷新这个静态渲染结果，在视觉上同步，也就实现了跟踪效果。

有了图像跟踪就可以把AR内容拿到手里把玩了。可以说舒服了很多，对吧：

以后由AR Drawing组成的AR作品集应该会成为主流汇报方式吧~~~

3.环境感知

这个功能是为了实现更真实的渲染。

环境感知这块的更新由五个部分组成：空间定位，相对尺度，环境光感知，阴影模拟，材质反射。

最厉害的更新是环境材质反射：

这功能的实现是通过在渲染算法的底层内置一个mapping box（测绘方块），将摄像头捕捉到的图像预先制作成材质赋予到这个方块上。

这个方块将扮演一个reflection probe（反射探测体）的作用，后续渲染时将它扫描得到的环境贴图投影到相应坐标的具有反射材质的物体上。但问题是传统来说，要完成这个方块的材质贴图，又需要预先对物理环境进行360度全方位扫描才行，这对终端用户来说是不现实的。苹果在这里加入了先进机器学习算法，让环境扫描—材质制作—材质投影—终端渲染这四个过程在本地设备自动地同时进行，实时完成方块材质并实现环境材质反射。

4.储存与加载测绘信息

启动ARkit内置的world mapping功能，照相机就可以实时地将环境中的追踪点带坐标地记录，并构建一套坐标体系。这算是图像识别+物件识别功能的升级版。这个坐标体系是以一系列追踪点组成的点云文件的形式被设备记住的。

下次回到这个环境，如果相机摄像头捕捉到的环境能够与记忆中的追踪点云匹配，那就能激活这个环境中的AR内容。

并且，这个点云信息可以多台设备共享！

于是就有的大神换了一个思路，在ARkit基础之上灵活运用空间坐标体系加上他自己弄的算法，做了一套效果更好的空间测绘方案。

思路是这样，ARkit在将环境扫描完成之后，得到的点云文件是可以用来生成一个密集的mesh文件的。差不多长下面这样：

他们搞的算法就是实时把没有发生几何属性剧烈变化的近似网格（mesh)合并成一个网格块(mesh block)，然后用四色定理的原则给合并之后的不同简化面定义不同的shader（这个是材质更上一层的一个概念，可以理解为材质编辑文档），然后将一定范围内简化之后的网格块与空间坐标组成一个网格大块（mesh chunk)储存。

这样形成的环境文件就是一个记录了空间坐标的简单几何体。整个房间扫描下来是这个样子：

干净漂亮！实时扫描的结果！玩空间扫描的同学应该明白这多舒服吧！

因为得到的是带空间坐标和区分过材质的网格，这些几何网格是可以用来实时计算遮挡与碰撞关系的。

虽然肯定还是比不上语义分割那样真的可以区分识别不同的物体来的完美，而且边缘还不整齐，但这真的很好啊！对静态环境的空间设计已经足够了！他们把这制作成了一个SDK，同时我也在Github上看到了好几个这类案例的开源项目。

ARkit没有解决的问题就是，一旦环境状态有所改变（比如桌布换了，家具摆放也换了），就不行了。这个问题跟目前这个环境测绘模块是使用的图像识别与物件识别一样的技术路径有关系。然而城市里的环境其实是在不停地变化的，因此这个模块还需要完善和思考。

5.人脸识别追踪

这个改进对于社交美妆娱乐等方向的应用可能会很有用，我看不到建筑学上的意义所以没关注。

ARkit上次的更新主要就这五点。

目前在学校里做AR研究由于交互方式的优势，大家普遍使用的都是Hololens作为项目的载体，但我选择了苹果的ARkit。手机AR的弱点也很明显，那就是以前所有的移动平台都没有SLAM，这对研究空间设计来说是一个很大的劣势。但是，苹果今年给了我一个大大的惊喜。将机器学习算法与计算机视觉技术结合并整合到底层，实现了SLAM的一些功能。本来非常复杂的东西，现在变成了编辑器里一些简单的函数和功能模块，几行代码就能调用。如果在未来加入semantic segmentation语义分割，在渲染中实时反应运动中的物体（主要是人和车）间的前后遮挡关系，对城市与建筑空间设计行业就完美了。我觉得这个对嚷嚷要造车的苹果来说这不是什么难题，应该很快就能看到。

为了方便理解，我把一个特定的场景/物件/图片所触发的场景/动画/交互，称为一个事件（Instance）。

wolo那个项目汇报时，产生了两个需要思考的问题：

第一个就是，wolo这个项目可以放到任何一个地方，与所在的空间没产生联系。它是没有语境的（Non-contextual）。

第二个则是我之前没想过的技术问题，渲染范围有距离限制。

但建筑空间的尺度往往达到十米甚至百米，而城市公共空间的尺度则更大。虽然随着技术的进步这个问题肯定能解决的很好，但目前这个渲染距离的限制在可预见的这段时间都会影响我的学习。

为了毕设能改进这两个问题，我又做了一个关于墙的小demo试了一下。

我首先把我的两幅作品作为追踪点贴在我蜗居的小房间内两个不同的地方，然后把这部分室内空间的三维模型导入电脑：

校队好模型的真实尺度之后，分别设置原点就得到了各自相对位置的坐标：

我给两个坐标点加了一共同的事件，一个在两幅画中来回传递的红点，这个点的空间移动，可以由任何一幅画触发。将两个触发事件组成一个Boolean（或否？）事件，在一个动画被激活的情况下另外一副画则处于不被激活的状态。想法就是离一个追踪点太远的话另外一些在同一坐标体系下的追踪点仍然可以激活这些内容，这样就可以和探索战争迷雾一样地在大尺度空间中体验AR。

可以是点，也可以是线，也可以是面。

空间设计所需要的所有元素就都在这里了：

然后，我用方块制作了一面会动的砖墙来替换掉侧面的玻璃幕墙放到这个空间坐标中，并用音乐让这些砖块动起来：

配音：Chieftans Gather, WOW德拉诺之王

在软件里改个材质给这面墙一个新的气氛真的是分分钟的事。

如果房间四面全都是这样的砖墙，这个物理空间本身就变成了一种软件空间。

也可以换个音乐换种互动方式。在这种情况下，音乐是镶嵌在这面墙里的，也有远近大小方向等空间属性，也成了空间设计的一部分。这种空间声学设计应该可以给建筑声学也带来一些新的思考吧

完全改掉由方块组成的砖墙变成其其他几何形式相比重新装修来说也简单多了。

而对普通人来说，这种东西就成了可以在网上下载和挑选的空间产品。人和空间的关系也会经历一个转变。

估计谁也不会觉得在自己家里玩这个对空间体验有什么太大的意义。

但公共建筑就不一样了。

公共建筑与城市空间里普通人的空间感受，很大部分就是建筑师对形式与光影的设计结果。

这两天给毕业论文弄了一个简单的例子：

混凝土抗压但是不抗拉，多年前两位大师巧妙利用钢的特性创造出来的比例几乎失调的伞状柱厅和如同两片纸片反搭在一起的东海教堂不仅是设计也是工程学上的经典。密斯为了获得漂浮的绝对平面这一概念强迫症一般地折磨钢结构工程师去追求更薄更细。而ETH数字建造中心为了得到极限轻薄的砖十字拱，开发算法，运用计算机的力量将空间结构中每一块砖头的受力运算到完美。

为了在物理现实世界中得到这些形式和空间体验之后，结果很难更改。

而在混合现实的世界，这些空间体验可以在同一个地方，同时得到。

但既然已经走进了数字世界，那。。。现在的数字设计领域除了想象力，什么都能做出来。。。如果再加上智能化的艺术设计工具，比如Style-Transfer, Wave-Function-Collapse，Content Aware Model/Fill 。。。等等。我们将迎来一个什么样的世界？

但对建筑与城市设计来说，anything is everything is nothing什么都是等于什么都不是。

在这样一个时代，由人工智能工具辅助的设计师在设计过程中的决策就显得比设计技巧更加重要。人均生产力将被大大地提升。

没错，AR/MR空间设计这个行业现在还不存在。但它一定可以在城市规划设计，景观设计，建筑设计与室内设计这些行业之外，单独成为另一个空间行业。

总体来说以上内容都是在学习AR空间设计怎么做的问题，属于实践层面。就像每一个建筑师都要有力学材料结构水暖电等综合的工程知识才能做出好项目一样，虽然我并不是工程专业出身，学习了解到的这一点点技术知识都是为了更好地理解和实现设计。主要的精力其实是放在回答要做什么和为什么做什么的设计与理论学习上的。

我觉得好的AR空间产品包括四个方面：

Global Context场地语境

Local Context场景语境

Object Tag物件标签

Personal Tag个性化标签

。。。场地语境在技术上和LBS应用没什么区别，设计来说就是一定要有场地研究，别让app里有死猪出现在沙特。场景语境需要更好更快的SLAM，设计的话就是比如减少让需要驻足交互的内容出现在走道或楼梯口，或者不要与这个空间的特定氛围冲突例如把喜庆的AR内容加到纪念馆里。物件标签很好理解，图像追踪物件识别都属于这类。而个人标签则是AR空间产品带给城市与建筑的新东西——可交互与个性化的公共空间。每一个话题扩展下去都是无数的论文。。。当然，还有很多AR产品与建筑和城市无关，是不需要语境的。

松田桂一学长的Hyper-reality关注AR的朋友应该都看过了。。。

他在毕业论文'Domesti/City'（家/城）里探讨了由于AR技术的进步，建筑文化里长期以来发展出的关于家庭空间与城市空间，空间的私密性与公共性，的二元范式将被彻底解构。不是在哪一个建筑设计或者城市设计个例中变得模糊，而是从宏观上这种基于二元概念的空间理解范式将完全被另一种空间理解范式所取代——由AR空间互联网所赋予的在任何时间任何地点都同时具有任何程度的公共性与私密性的薛定谔式空间（我自己根据论文的意思瞎翻译的）。

一个人可以把家变成远程会议室，也可以戴上耳机把机场大厅变成定制的私人音乐空间。而在城市中由于不同的人有不同状态，空间也处于一种私密与公共的叠加态。

空间的薛定谔状态将成为未来人们生活空间的新常态，这对如何理解设计的影响是巨大的。因此需要建立一个新的基于物理与虚拟混合状态下的建筑学。学长的论文到此就结束了。。。这个新建筑学到底怎么样他也不知道。

（个人是不同意学长的观点的，我认为，AR并不会带来关于空间的公共与私密二元状态的消解，反而会大大加强这两种空间的差异——私密/公共的评价标准将不仅仅由空间中的使用人数之类的物理属性来评价，而由语境化的空间事件的密度决定(Intensity of the contextualised spacial instance）。说白话就是有多少app在服务着这个空间决定了这个空间的私密与公共程度。）

学长现在在Leap Motion做创意设计，最近他们做了一个用他们自己的智能眼镜开发的Demo展示Leap Motion在AR交互上的可能性。

AR/VR/MR真的完成之后会如何拓展建筑与城市设计的可能？只需要翻一翻MIT/GSD/Bartlett/AA/SciArch等等对不切实际的激进想法比较包容的学校每年设计年鉴里的作品就可以一窥一二。。。很多设计很难真的用物理材料去建成，但用上智能眼镜之后，完全没问题。

建筑与城市在在这个世纪最大的变化就是空间软件化与内容网络化。

Bartlett的精神领袖Peter Cook爵士在上世纪Archigram时期有一个著名的方案叫Instant City，幻想了一个由机器，帐篷，热气球组成的随时都在重新组合中变化的城市。

未来十到二十年，我们的城市即将以虚拟信息叠加的方式把这种随时都在进行着剧烈空间变化与功能重组的城市变成现实。

以上就是最近这段时间我个人的一些学习进展了。。。

上个世纪20年代，经过了几十年的发展与沉淀之后，工业革命已经深刻地改变了工程行业。1923年柯布西耶发布了他的《走向新建筑》，现代主义以摧枯拉朽之势席卷全球。

我喜欢建筑也喜欢城市，所以经常在思考AR/VR/MR的时候，我也会庆幸我们这代年轻人生在了一个前所未有的好时代。100年前那代建筑师们的青年时代，钢铁来了，玻璃来了，电梯来了，汽车来了。他们得到了现代主义。

今天，物联网来了，人工智能来了，虚拟现实来了，自动驾驶来了。

本世纪20年代智能眼镜会进入每一个人的生活。

同样经过了几十年的发展与沉淀，信息革命也会带领我们走向另一种混合现实下的新建筑。这里也要感谢一下祖国的工程师们，因为他们的努力，我们会是世界上第一个5G全覆盖社会。而基于全球最高水平的5G基础设施，以城市空间AR/VR为载体的一个混合现实新世界也将在这个20年代率先诞生于我们国家，叠加到我国的大城市上。

那样的建筑空间会是什么样的？会有什么样的新思想新主义产生？人与空间的关系会怎么改变？城市与建筑的关系又有哪些新的可能？对建筑与城市的5G和AR/VR应用探索本身就是一场大实验！

读着Cyberpunk科幻长大，还能在有生之年看到它变成现实，或许还能亲历这个过程。这真的是一件很浪漫的事啊~！

参考资料：

https://developer.apple.com/arkit/

https://github.com/maxxfrazer/ARKit-SCNPath/tree/master/Example

Mediating Mediums — Greg Tran Design

http://km.cx/projects/domest-city

http://blog.leapmotion.com/northstar/

http://manovich.net/index.php/projects/the-poetics-of-augmented-space

6D.ai

https://blog.prototypr.io/behind-the-magic-how-we-built-the-arkit-sudoku-solver-e586e5b685b0

https://medium.com/6d-ai/demystifying-meshes-809fde794d08