Вы умышленно сравниваете процессоры из разных десятилетий, или перепутали ПеньПро и Пень-4?

"возможность запукать ОС на ускорителе" и "возможность запускать отдельную ОС на каждом вычислительном блоке ускорителя" это немного разные вещи. Технически, например, даже сейчас на Phi можно запускать автономные вычисления (когда управляющая программа работает на одном из вычислительных блоков), однако такая схема на практике как правило неприменима, поскольку управляющей программе зачастую нужно много памяти.
Кроме того, поддержка нужного языка хороша, но недостаточна для запуска программы, написанной на нём (кроме, разве что, "hello,world", если реализация языка соответствует стандарту, а то и с ним могут быть проблемы). Так что переделывать всё равно придётся, просто новый язык учить не надо (почти).
У интела архитектура "гетерогенных" вычислений гораздо более гомогенна, чем у видюх. Для пользователя это просто куча мелких компов, соединённых в очень быструю сеть.
А терафлопсы - это гигагерцы нашего времени. При разной архитектуре имеет нетривиальное отношение ко времени счёта какой-либо конкретной задачи конкрктным софтом.
Другой вопрос, если не вычислять на ускорителях ничего самому, а пользоваться библиотекой, оптимизированной для конкретных архитектур. Тогда есть шансы, что всё-таки достигнешь хотя бы сходной доли от максимальной производительности на разных системах. Но это только для типовых задач, для которых оные библиотеки существуют

Скорее SMP. Сеть там снаружи не видна, она только для общения внутри устройства.

Как это, в итоге, работает? Из новости ничего не понятно. Нужен особый софт, адаптация текущего или воткнул ускоритель, поставил драйвер и получил распараллелевание на него много-поточных приложений на х86?

Вроде как-то так. Правда с одним большим НО. Не только многопоточных, но еще и вовсю использующих SIMD, а то скорость никакая будет.

Кстати, в CompuBench CLBenchmark их Xeon Phi 5110P сливает подчистую.

Я описал с точки зрения хоста (он же управляющий узел получается). А так да, снаружи не видна.
Тем не менее не SMP привычный, в котором предполагается, что адресуемая память - общая

Да нет, обычный вполне.
Много ядер с L1/L2, соединенные interconnect mesh. На всю сеть вроде 4 контроллера памяти.

Посмотрел документацию. SMP там типа есть, почти, наверное. Примерно так там и написано.
Когерентности кешей не хватает, причём отслеживаются ещё состояния когерентности строк в различных блоках. Непонятно, как обмен данными по-нормальному между ядрами происходит, мучать контроллер памяти как-то несолидно в таких случаях (типичный пример - синхронизация потоков на разных ядрах), мало их, на всех не хватит

из кэша в кэш через сеть походу.
по крайней мере похожим способом работает octeon